跳到正文
跟我做

ROUTE

本地 AI 工具箱:素材不出本机

先确认电脑能跑多大的模型,再做批量摘要和分类,用 SQLite 记录任务状态。断网可用,没有 API 账单,素材留在自己的电脑里。

3 篇已发布14 分钟读完

适合谁

  • 手上有一批访谈、评论或内部文档,不方便上传到在线服务。
  • 想先验证一个 AI 处理流程,不想一上来就为 API 付费。
  • 已经试过本地模型,但每次都从头跑,中断后只能重来。

做完得到什么

  • 一份硬件门槛判断:内存和显卡够不够跑 7B 或 14B。
  • 一条能断网运行的批量处理脚本,输出固定结构并可校验。
  • 一个记录任务状态的本地数据库,中断后能接着跑。
  • 一套判断“本地模型够不够用”的标准,知道什么时候该换云端。

推荐顺序

先跑硬件自查,确认能跑多大的模型;再做本地模型那一篇,确认输出质量能接受;最后补 SQLite 状态表,把一次性脚本变成可重复运行的工具。顺序反过来也能跑,但你会先花时间处理重复任务,再回头补状态管理。

相关工具:Ollama 和 SQLite。

后续可以加什么

  • 用图像模型在本地批量生成封面素材。
  • 把处理结果做成一个本地搜索页面。
  • 给不同任务类型加优先级,让重要内容先跑。
  • 在断网环境做一次完整演练,确认没有任何隐藏的在线依赖。

按顺序做

每一步都建立在上一步的产物上,建议不要跳步。

  1. 1约 3 分钟

    本地跑大模型前,先算清这台电脑够不够

    一个不装依赖的 Node 脚本,读内存、CPU 和 NVIDIA 显卡,按 4-bit 量化给出 3B、7B、14B、32B 的选择建议,再决定要不要下载模型。

  2. 2约 6 分钟

    断网也能批量处理:用本地模型做摘要、分类和打标签

    用 Ollama 在本机跑一个 7B 级模型,配合一段 Node 脚本批量处理访谈、评论和文章,结果校验后落盘,素材不出本机。

  3. 3约 5 分钟

    批量任务跑到一半断了:用 SQLite 做去重、断点续跑和失败重试

    用一个单文件数据库记录每条任务的状态,让中断后的脚本能接着跑,重复执行不重复处理,失败的条目自动有限重试。