摘要

你是否遇到过这种情况？ 电脑里存了几千个 PDF、Markdown 笔记，想找资料时却怎么也搜不到？ 想用 AI 辅助分析，又不敢把公司的机密文档发给 ChatGPT？

今天这篇教程，我将手把手教你利用 Ollama（后端模型运行器）+ AnythingLLM（超强知识库前端），在本地电脑搭建一个完全免费、无需联网、数据绝对安全的个人 AI 知识库。 全程无需写代码，有手就行！建议收藏慢慢看。

目录

1. 为什么要搭建个人 AI 知识库 (RAG)？

2. 核心工具介绍（Ollama + AnythingLLM）

3. 第一步：安装 Ollama 并拉取模型

4. 第二步：部署 AnythingLLM 桌面版

5. 第三步：投喂数据，见证奇迹

6. 进阶玩法：云端大模型（Gemini 3 Pro）接入

---

1. 为什么要搭建个人 AI 知识库 (RAG)？

简单的说，通用的 AI（如 ChatGPT）像是一个博学的博士，但他不知道你公司的内部规定，也不知道你去年的会议纪要。

RAG (检索增强生成) 技术，就是给这个博士配了一本**“你的专属笔记本”**。当你提问时，他会先翻笔记本，再回答问题。

本地搭建的优势：

• 🔒 隐私安全： 数据不出本地，断网也能用。

• 💰 完全免费： 不需要充值 API，电费就是成本。

• 🧠 懂你： 它可以读取你的代码库、论文、电子书。

2. 核心工具介绍

我们将使用目前 GitHub 上最火的“黄金搭档”：

• Ollama： 本地大模型运行神器，支持 Llama 3, DeepSeek, Mistral 等主流模型。轻量级，一行命令启动。

• AnythingLLM Desktop： 专为 RAG 设计的桌面端应用，自带向量数据库，界面友好，支持一键把各种文档变成知识库。

---

3. 第一步：安装 Ollama 并拉取模型

1. 下载安装 访问 Ollama 官网 (ollama.com)，下载对应系统（Windows/Mac/Linux）的安装包并安装。

2. 验证安装 打开终端（CMD 或 Terminal），输入： ollama --version 如果出现版本号，说明安装成功。

3. 拉取模型 我们推荐使用国产之光 DeepSeek 或者 Llama 3（根据你的显存大小选择）。在终端输入：

# 拉取 DeepSeek 7B (适合 8G 内存以上电脑)
ollama run deepseek-coder:v2

# 或者拉取 Llama 3 (通用性强)
ollama run llama3

注意：第一次运行会自动下载模型权重文件（约 4GB），请保持网络畅通。

---

4. 第二步：部署 AnythingLLM 桌面版

1. 下载 去 AnythingLLM 官网 (useanything.com) 下载 Desktop 版本。

2. 配置向导 安装后打开，你会看到配置向导：

• LLM Preference (首选模型): 选择 Ollama。如果你的 Ollama 在后台运行，它会自动检测到。选择刚才下载的 deepseek-coder 或 llama3。

• Vector Database (向量数据库): 默认选择自带的 LanceDB 即可（无需配置，开箱即用）。

3. 创建工作区 起个名字，比如“我的编程学习库”或“公司项目文档”。

---

5. 第三步：投喂数据，见证奇迹

这是最关键的一步！

1. 在 AnythingLLM 界面中，点击 Upload (上传) 按钮。

2. 支持格式：PDF, TXT, MD, DOCX，甚至可以直接贴 GitHub 仓库链接！

3. 上传后，点击 "Move to Workspace"，然后点击 "Save and Embed" (保存并向量化)。

   • 这一步系统会把你的文档切片，转换成 AI 能读懂的数学向量。

测试效果： 回到聊天框，勾选你刚才上传的文档，提问：

“根据我上传的《架构师笔记.pdf》，总结一下微服务的优缺点。”

你会发现，AI 不仅回答了问题，还会列出引用来源（Citations），告诉你这段话出自文档的第几页！

---

6. 进阶玩法：云端大模型接入（追求极致效果）

如果你觉得本地模型跑得慢，或者电脑配置不够，你可以接入云端 API。

最近 Gemini 3 Pro 非常火，长文本处理能力极强（1M+ Context）。如果你有 API Key，可以在 AnythingLLM 设置中：

• LLM Provider: 选择 Google Gemini

• API Key: 填入你的 Key

这样，你就拥有了一个**“拥有超级大脑 + 你的私人记忆”**的终极形态！

Tips: 申请 Gemini API 需要外币卡？如果遇到支付困难，可以翻看我之前的文章白嫖gemini 3 pro方法-CSDN博客

别再傻傻付费了！用这张“隐形卡”，白嫖市面上99%最强AI工具（保姆级教程，手慢无！）-CSDN博客

---

结语

搭建个人知识库，是每个技术人从“初级工”迈向“专家”的必经之路。它不仅能帮你管理知识，更能帮你通过 AI 发现知识盲区。

动手试试吧！如果在安装过程中遇到报错，欢迎在评论区贴出截图，我会在 24 小时内回复！