引言

在数字化时代，构建个人知识库已成为技术爱好者的新趋势。为此，我专门编写了一篇简单易懂的教程，旨在帮助您使用FastGPT和Docker Compose搭建自己的本地知识库。这篇“保姆级”教程将引导您轻松完成这一任务。

关于FastGpt

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！本文就以FastGpt来搭建一个属于自己的ai助理

核心流程图

FastGpt前置基础知识

5大模型类别

• LLMModule(大型语言模型)

  大型语言模型（LLM）是设计用来处理和理解人类语言的AI模型。它们通常在大量的文本数据上进行训练，能够执行语言翻译、文本摘要、问答以及文本生成等任务。

  • qwen-tubo(初代的通义千问文本模型,我们日常聊天的文本模型), chat-3.5-turbo(ChatGPT3.5)

• vectorModels(向量模型) :向量模型用于将数据（通常是文本或图像）表示为高维空间中的向量。这些模型在机器学习和AI中是基础性的，用于执行相似性搜索、聚类和分类等任务LLM的模型训练就是基于向量模型.

• reRankModels(重排模型): 重排模型通常用于在初步排序或筛选后，对结果进行进一步的精细排序,这类模型的作用的是对于结果进行重新排列,提高回答的准确率.

  • 例如，在搜索引擎中，重排模型可能会根据用户的点击行为或反馈来调整搜索结果的顺序。

• audioSpeechModels(音频语音模型): 音频语音模型专注于处理和分析音频数据，尤其是语音。这些模型可以用于语音识别、语音合成、情感分析等任务。

• **whisperModel(音频处理模型) **: 用于执行如语音识别、音频分类或语音到文本的转换等任务。

M3E

Moka Massive Mixed Embedding 的缩写

• Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用 **uniem** ，评测 BenchMark 使用 **MTEB-zh**
• Massive，此模型通过**千万级** (2200w+) 的中文句对数据集进行训练
• Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索
• Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量+

环境准备

Docker部署

FastGpt的部署,极大的进行依赖Docker环境,所以需要在你的本地或者需要部署的服务器进行安装Docker环境

Linux系统

安装依赖包

yum install -y yum-utils device-mapper-persistent-data lvm2

设置阿里云docker-ce镜像源

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装Docker

yum install -y docker-ce

启动docker并设置开机自启

#启动docker命令
systemctl start docker
#设置开机自启命令
systemctl enable docker
#查看docker版本命令
docker version

配置国内镜像源

因为docker服务在国外，会导致下载慢或者无法下载。需要配置国内镜像，以阿里云为例：

您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器

#创建文件
sudo mkdir -p /etc/docker
#修改配置文件
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://**(替换为自己的地址).mirror.aliyuncs.com"]
}
EOF
##重启docker
sudo systemctl daemon-reload
sudo systemctl restart docker

Windows系统

我们建议将源代码和其他数据绑定到 Linux 容器中时，将其存储在 Linux 文件系统中，而不是 Windows 文件系统中。

可以选择直接使用 WSL 2 后端在 Windows 中安装 Docker Desktop。

也可以直接在 WSL 2 中安装命令行版本的 Docker。

MacOs系统#

推荐直接使用 Orbstack。可直接通过 Homebrew 来安装：

brew install orbstack

开始部署

架构图

FastGpt部署

新建文件夹

本地创建一个名为【fastgpt】的文件夹并进去

windows：右键-》新建

linux：

新建文件夹

mkdir fastgpt

进入

cd fastgpt

下载配置文件

下载不下来可以直接本地新建相应文件，然后将文件中的内容放进去

# 下载config.json文件
wget https://gitee.com/sigmend/FastGPT/raw/main/projects/app/data/config.json -o config.json
# 下载docker-compose.yml
wget https://gitee.com/sigmend/FastGPT/raw/main/files/deploy/fastgpt/docker-compose.yml -o docker-compose.yml

启动容器

以管理员身份运行cmd,并进入FastGPT目录

# 在 docker-compose.yml 同级目录下执行
docker-compose pull
docker-compose up -d

Mongo数据库初始化

首次使用时，需要连接数据库，已经默认配置了数据库信息，但是第一次连接需要进行初始化，不然无法登陆。

1、终端中执行下面命令，创建mongo密钥：

openssl rand -base64 756 > ./mongodb.key
chmod 600 ./mongodb.key
# 修改密钥权限，部分系统是admin，部分是root
chown 999:root ./mongodb.key

2、修改 docker-compose.yml，挂载密钥

这一步检查即可，一般都是默认

mongo:
#  image: mongo:5.0.18
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
container_name: mongo
ports:
 - 27017:27017
networks:
 - fastgpt
command: mongod --keyFile /data/mongodb.key --replSet rs0
environment:
 # 默认的用户名和密码，只有首次允许有效
 - MONGO_INITDB_ROOT_USERNAME=myusername
 - MONGO_INITDB_ROOT_PASSWORD=mypassword
volumes:
 - ./mongo/data:/data/db
 - ./mongodb.key:/data/mongodb.key

3、重启服务

docker-compose down
docker-compose up -d

4、进入容器执行副本集合初始化

# 查看 mongo 容器是否正常运行
docker ps
# 进入容器
docker exec -it mongo bash

# 连接数据库（这里要填Mongo的用户名和密码）
mongo -u myusername -p mypassword --authenticationDatabase admin

# 初始化副本集。如果需要外网访问，mongo:27017 。如果需要外网访问，需要增加Mongo连接参数：directConnection=true
rs.initiate({
 _id: "rs0",
 members: [
   { _id: 0, host: "mongo:27017" }
 ]
})
# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()

访问FastGPT

目前可以通过 ip:3000 直接访问(注意防火墙)。登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。

如果需要域名访问，请自行安装并配置 Nginx。

首次运行，会自动初始化 root 用户，密码为 1234（与环境变量中的DEFAULT_ROOT_PSW一致），日志里会提示一次MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;可忽略。

OneApi部署

关于OneApi

OneApi的作用就是把这些API的调用进行了整合到了一起,使我们进行使用的时候完全的按照OneAPI的一套规范就能够进行调用和使用其他的大模型,无疑OneApi极大的进行提高了我们进行学习AI的效率,不用在不同的模型接口之间进行切换,也使得FastApi可以直接的通过这套规范进行训练

项目地址：https://github.com/songquanpeng/one-api

部署OneApi

在终端中输入相关命令
项目中的3000端口被占用，需要重新设定一个端口映射

# 使用 SQLite 的部署命令（不用安装mysql）：
docker run --name one-api -d --restart always  -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

# 使用 MySQL 的部署命令，在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`，请自行修改数据库连接参数，不清楚如何修改请参见下面环境变量一节。
# 例如：
docker run --name one-api -d --restart always -p 13000:3000 -e SQL_DSN="root:123456@tcp(127.0.0.1:3306)/oneapi" -e TZ=Asia/Shanghai -v /home--network host/ubu:ntu/data/one-api:/data justsong/one-api

命令详解

docker run: 这是 Docker 的主要命令之一，用于创建并启动一个新的容器。
–name one-api: 这个选项为即将运行的容器设置一个名字，这里名字被设为 one-api。这样做可以更容易地识别和引用容器。
-d: 这个选项表示容器将在“分离模式”下运行，意味着它会在后台运行。
–restart always: 这指定了容器的重启策略。在这里，always 意味着如果容器停止（无论是由于错误还是由于任何其他原因），它将自动重启。
-p 13000:3000: 这是端口映射。此设置将容器内的 3000 端口映射到宿主机的 13000 端口。这意味着宿主机的 13000 端口上的流量将被转发到容器的 3000 端口。
-e TZ=Asia/Shanghai: 这个选项设置了一个环境变量。在这里，它设置了容器的时区为 Asia/Shanghai。
-v /home/ubuntu/data/one-api:/data: 这是一个卷挂载。它将宿主机的 /home/ubuntu/data/one-api 目录挂载到容器内的 /data 目录。这允许在容器和宿主机之间共享数据。
justsong/one-api: 这是要运行的 Docker 镜像的名称。在这个例子中，它将从 Docker Hub（或者其他配置的注册中心）拉取名为 justsong/one-api 的镜像。

访问OneApi

可以通过ip:13000访问OneAPI，默认账号为root密码为123456。本地访问: http://localhost:13000

请注意：到了这一步后暂时还不能训练模型，还需要结合m3e，本教程先部署所有需要的环境后，再教学配置以及使用，请继续往后看。

M3E嵌入模型部署

关于m3e嵌入模型

M3E 是 Moka Massive Mixed Embedding 的缩写，是一个由 MokaAI 训练并开源的文本嵌入模型。适合使用场景主要是中文，少量英文的情况，其在文本分类和文本检索任务上表现出色，据称在某些任务上超越了 ChatGPT。

此工具是我们实现本地化个人模型的必备，当然，也不是非m3e不可，但是本文以m3e为教程演示，其他工具自行寻找教程。

拉取镜像

docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

启动镜像

# 使用CPU运行
docker run -d --name m3e -p 6100:6008 registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api
# nvida-docker 使用GPU
docker run -d --name m3e -p 6100:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

one-api部署国内大模型

登入one api

根据设定的端口，在浏览器内输入localhost:13000,默认账号为root密码为123456

创建渠道

登录进去后，点击上方的【渠道】->【添加新的渠道】

渠道有很多，比如：文心一言、openAI、讯飞星火、通义千问等。

以添加文心一言为例

添加对话模型渠道

添加m3e嵌入模型渠道

密钥默认设置为: sk-aaabbbcccdddeeefffggghhhiiijjjkkk

创建令牌

修改 FastGPT 配置文件

config.json

 "chatModels": [
	...
     #新增一个模型配置
   {
       "model": "qwen-turbo",#要和oneApi中定义的模型名称一致
       "name": "通义千问", #要和oneApi中定义的渠道名称一致
       "maxContext": 8000,
       "maxResponse": 4000,
       "quoteMaxToken": 2000,
       "maxTemperature": 1,
       "vision": false,
       "defaultSystemChatPrompt": ""
   }
   ...
   ]

docker-compose.yml

	# oneApi的服务地址
	# base_url为ip地址:13000 注意：这个地方的ip不能是localhost或者127.0.0.1，需要外网ip或者局域网ip
      - OPENAI_BASE_URL=http://*******:13000/v1
    # api-key点击令牌复制的key
      - CHAT_API_KEY=sk-**************

添加m3e向量模型:

"vectorModels": [
  ......
    {
      "model": "m3e",
      "name": "m3e",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
    },
  ......
]

重启FastGpt

docker-compose down
docker-compose up -d

Fast创建个人知识库

创建知识库

索引模型选择配置好的m3e

文件处理模型选择配置好的语言对话模型

导入文本，文档数据等

添加成功后，等待索引成功即可。

创建知识库应用

新增一个应用

选择需要关联的知识库

自定义对话测试

此时语言模型对话内容中，就可以穿插自己定义的知识库内容了，还可以发布、预览

到此，就完成了基础的部署。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）