目录

第 1 步：下载模型
第 2 步：安装依赖
第 3 步：编译 LLaMA CPP
第 4 步：转换模型
Step5：运行模型

语言模型大战

随着人们对人工智能及其在日常生活中的应用越来越感兴趣，Meta 的 LLaMA、OpenAI 的 GPT-3 和 Microsoft 的 Kosmos-1 等众多示例模型正在加入大型语言模型 (LLM) 的行列。此类模型的唯一问题是您无法在本地运行这些模型。到现在为止。感谢Georgi Gerganov和他的llama.cpp项目，可以在没有专用 GPU 的情况下在单台计算机上运行 Meta 的 LLaMA。

在 M1 Mac 上本地运行 LLaMA 涉及多个步骤。我不确定其他平台或其他操作系统，因此在本文中我们只关注上述组合。

第 1 步：下载模型

存储库中打开了一个 PR，它描述了一种替代方式（

https://github.com/facebookresearch/llama/pull/73

无论如何，在你下载了模型（或者更像模型，因为文件夹中有几种不同类型的模型）之后你应该有这样的东西：

❯ exa --tree
.
├── 7B
│  ├── checklist.chk
│  ├── consolidated.00.pth
│  └── params.json
├── 13B
│  ├── checklist.chk
│  ├── consolidated.00.pth
│  ├── consolidated.01.pth
│  └── params.json
├── 30B
│  ├── checklist.chk
│  ├── con