一个简短的借助 MLX 在 Mac 上运行微软的2.7B小语言模型 Phi-2 [

微软官方出的 Windows AI Studio,如果你需要:

  • 本地测试Phi-2 小模型

  • 测试 RAG

  • 微调模型

  • 针对 Windows 优化模型

并且你是Windows 系统 + NVIDIA 的显卡,可以试试用它 。

官方说明:
Windows AI Studio 通过集成 Azure AI Studio Catalog 和其他类似 Hugging Face 的AI 模型目录中的最新 AI 开发工具和模型,使得开发生成式 AI 应用程序变得更加简单。你可以浏览由 Azure ML 和 Hugging Face 提供动力的 AI 模型目录,下载它们到本地进行微调和测试,然后在你的 Windows 应用中使用它们。因为所有的计算都在你的设备上进行,所以要确保设备的性能能够担负起这个任务。

未来,我们还计划将 ORT/DML 集成进 Windows AI Studio 的工作流程中,这样开发者就能够在任何一款 Windows 设备上进行 AI 模型的运行了。

微博正文](https://weibo.com/1727858283/NxeE1fFwD) 的教程

步骤1:下载针对 MLX 的 Phi-2 权重启动文件!
huggingface.co/mlx-community/phi-2
网页链接

步骤2:克隆或下载 MLX-Examples 项目库到本地
github.com/ml-explore/mlx-examples

步骤3:执行 phi2 程序(需要安装 Python)
python phi2 .py --prompt “My name is”

除了 Phi-2,还有很多其他模型可以测试,例如
Mistral-7B 等:
huggingface.co/mlx-community