基于Ollama工具在本地电脑上部署并运行Microsoft Phi-3 大模型

Phi-3 Mini是由Microsoft于昨日（2024-04-25）正式发布的拥有3.8亿参数的轻量级开源大模型，Microsoft声称Phi-3 Mini是目前最先进的轻量级开源模型，它由过滤之后的公开网络数据进行训练而成，具有回复内容质量高和推理密集性等特性，同时还结合了监督微调和直接偏好优化特性来确保指令执行得更加稳定和安全。Phi-3 Mini特别适合在计算环境受限的场景下使用，体积小，能够帮助你在有限计算资源上完成更强的推理任务。Phi-3 Mini开源大模型以MIT协议许可发布，根据此协议的规定，你可以将它用在你的任何学术项目或其他该协议许可的范围。

媲美GPT3.5

根据Microsoft官方发布的基准测试报告，Phi-3-Mini-4K-Instruct小小的2.3GB大小，性能已经媲美了开源的GPT3.5，并在多个测试方面的性能表现超过了GPT3.5，可以说是非常不错的。

详细了解，可在此参考官方发布的Phi-3 Mini基准测试报告表格。

本地部署

本地体验最简单的方式就是使用Ollama工具，它支持在你的CMD/Terminal窗口中执行一条简单的命令即可完成指定大模型的下载、安装、运行，并直接开始和模型对话。Ollama工具也是跨平台的，无论你使用的Windows、Linux还是Mac都可以在这里找到安装包，下载并安装Ollama。

当然，虽然Phi-3 Mini大模型的总体积也就只有2.3GB，但是要想在你的本地电脑上运行它，请确保你的笔记本或台式电脑最好拥有3GB的空闲内存（这意味着你的电脑配置至少是4GB以上才行，因为你的操作系统和其他软件会占用一些内存）。当你完成Ollama安装之后，请打开你电脑上的CMD/Terminal窗口，执行下列命令来安装Phi-3 Mini：

ollama run phi-3

安装过程中会首先下载此模型，根据你的网络速度可能需要稍等片刻：

一旦安装完成，你的窗口中就会进入对话状态

看到此窗口提示时，你便可以直接在窗口内输入提示词，开始和他对话了，下面我让它帮我写了一封电子邮件来辞职，他的相应还是非常快的，内容基本满意。

>>> 帮我写一封辞职信给David，告诉他我将会在下周一离职，其他信息你自己看着办。
亲爱的David，

您好！首先，我想表示我对过去与您共同度过的工作经历深表感谢。在这段时间里，您和我一起克服了各种 挑战，并成功地达到了项目目标。
因此，我必须向您提出一个重大的决定：我将在下周一（XX月XX日）离开职位。这一决定不是容易取得的， 我深知它可能会给我们团队产生影响，并无法忽视这样做所造成的牺牲。
请记住，我致力于确保当前项目的完成和残缺处的培养不会因为个人变化而受到影响。我期望能在这段时间 里给您、团队成员以及合作伙伴们提供所需的支持和帮助，并确保过渡时段流畅无须追问。
我会在告别后稍作安排，以确保我能够帮您解决任何突发事务。此外，如有任何问题或需要进一步详情，请 随时与我联系。
最后，我将在结束前准备好所有必要的工作和文件的转移。我期望这个过渡期能给我们团队带来協力互动与 合作的机会，并帮助我见面更多次。

再次感谢您和团队对过去工作的支持和理解。

真诚地,
[你的全名]

>>> Send a message (/? for help)

你可以使用Phi-3 Mini很好的帮助你完成常识、语言理解、数学、代码、长上下文和逻辑推理相关的任务，Enjoy!