Ollama

适合什么

• 处理包含客户信息、未发布内容等不适合上传的素材。
• 断网或弱网环境下仍然要跑批量摘要、分类、打标签。
• 想先验证一个 AI 流程是否值得做，不想一开始就为 API 付费。
• 在本地做提示词调试，确认效果后再决定要不要换云端模型。

不适合什么

• 需要长上下文、多步推理或严格业务规则的任务，小模型容易出错。
• 高吞吐的在线服务，单机算力会成为瓶颈。
• 需要随时弹性扩容的场景，本地机器无法按请求量伸缩。

常用命令

拉取并试跑一个模型：

ollama pull qwen2.5:7b
ollama run qwen2.5:7b "用一句话解释什么是断点续跑"

查看已下载的模型和正在运行的模型：

ollama list
ollama ps

确认本地接口是否可用：

curl http://127.0.0.1:11434/api/tags

删除不再需要的模型，释放磁盘：

ollama rm qwen2.5:7b

模型怎么选

先看可用内存，再看任务难度：

• 7B 级模型适合短文本摘要、固定标签分类、简单改写；
• 14B 级模型理解能力更好，但内存和速度要求明显上升；
• 同一系列里优先选带指令微调的版本，按明确格式输出时更稳；
• 不要只看参数量，中文能力和量化方式同样重要，先拿真实数据试 20 条。

注意

• 默认只监听本机地址，不要随意改成对外监听。
• 模型文件会占几 GB 磁盘，下载前确认空间。
• 模型许可证各不相同，商用前看清楚。
• 本地运行不等于结果可信，涉及金额、日期和事实的内容仍然要人工核对。
• 处理敏感素材时，先断网完整跑一遍，确认脚本没有其它在线调用。