普通人的本地大模型：Ollama让你在自己的电脑上跑AI

先说结论：Ollama 让本地跑大模型像喝水一样简单

如果你还在为 API 费用心疼，或者担心数据隐私外泄，Ollama 就是你的救星。它支持 Llama3、Qwen、Mistral 等热门模型，一条命令就能下载运行，连显卡都不用太好——我的 MacBook Air M1 都能流畅跑 7B 模型。

下面直接上干货：安装、下载模型、运行体验，以及一些实用小技巧。

一、Ollama 是什么？为什么要用？

Ollama 是一个开源的本地大模型运行工具，它把模型的下载、配置、运行全部封装成一条命令。你不需要懂 Python、CUDA 或者 Docker，只要会打开终端就能用。

相比在线 API，本地运行的好处很明显：

• 隐私安全：数据不出电脑，适合处理敏感信息。
• 零成本：一次下载，终身免费，适合高频调用。
• 离线可用：没网也能用，飞机上、地铁上都可以。

当然，缺点也有：模型大小受限于你的内存和硬盘，7B 模型大约需要 4-8GB 内存，13B 模型需要 16GB+。不过对于大部分人的日常使用，7B 模型已经够用。

二、安装 Ollama：三分钟搞定

Ollama 支持 macOS、Linux 和 Windows。我用的是 macOS，但步骤几乎一样。

macOS / Linux

打开终端，执行：

curl -fsSL https://ollama.com/install.sh | sh

等待脚本自动完成，然后运行 ollama -v 验证安装。

Windows

去 Ollama 官网 下载 exe 安装包，双击安装即可。Windows 会自带终端，安装后打开 PowerShell 就能用。

安装完记得重启终端，或者重新打开一个窗口。

三、下载并运行模型：一条命令的事

Ollama 有一个官方模型库，你可以用 ollama pull 下载，或者直接用 ollama run 一步到位。

比如运行 Llama3 8B：

ollama run llama3

第一次运行会自动下载模型，大约 4.7GB。下载完成后直接进入对话界面，输入问题即可。

想试试国产模型 Qwen2 7B？同样简单：

ollama run qwen2:7b

其他常用模型：

• mistral：Mistral 7B，轻量高效。
• codellama：专门写代码的模型。
• gemma:2b：Google 的轻量模型，适合低配电脑。

全部模型列表可以看 Ollama Library。

四、实际体验：我的 MacBook Air M1 跑 Llama3

我的机器是 MacBook Air M1 (8GB 内存)，跑 Llama3 8B 时内存占用约 6GB，响应速度大概每秒生成 10-15 个 token，日常聊天完全够用。如果跑 Qwen2:7b，速度差不多。

注意：如果内存不够，Ollama 会自动使用 swap，但会变慢。建议至少 8GB 内存，16GB 更佳。

运行效果截图（脑补）：输入“写一首关于夏天的诗”，模型输出：

夏天是冰镇西瓜的甜，
是蝉鸣午后的懒，
是汗珠滚落的咸，
是夕阳下的一抹蓝。

虽然有点中二，但至少逻辑通顺，而且没有乱编。

五、进阶技巧：自定义模型和 API 调用

Ollama 不止能聊天，还支持通过 API 调用，方便集成到自己的应用中。

自定义模型参数

你可以用 Modelfile 自定义模型温度、上下文长度等。创建一个文件 Modelfile，内容：

FROM llama3
PARAMETER temperature 0.7
PARAMETER top_p 0.9

然后运行 ollama create myllama -f Modelfile，就可以用 ollama run myllama 了。

API 调用

启动 Ollama 服务（默认自动启动），然后用 curl 调用：

curl http://localhost:11434/api/generate -d '{
  \"model\": \"llama3\",
  \"prompt\": \"Hello, world\"
}'

返回 JSON 格式，可以直接被程序解析。

六、注意事项与总结

• 硬盘空间：模型文件很大，7B 模型约 4-5GB，13B 约 8GB。确保有足够空间。
• 性能优化：如果电脑配置低，可以选择更小的模型，比如 gemma:2b 或 qwen2:0.5b。
• 隐私提醒：本地运行虽然安全，但模型本身可能包含偏见，使用时注意。

总之，Ollama 是普通人接触本地大模型的最佳入口。不用纠结显卡和配置，先装一个跑起来，感受一下 AI 在本地运行的感觉。相信我，你会爱上这种掌控感。

如果遇到问题，欢迎在评论区留言，我会尽量回复。下次见！