Jetson Orin使用Docker运行ollama
交互模式运行ollama。
·
- 安装 NVIDIA 容器工具包 首先确保用了最新的 NVIDIA 容器工具包。运行以下命令:
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
- 修改 Docker 配置文件 你可能需要在 Docker 配置文件中指定默认的 runtime 。打开
/etc/docker/daemon.json文件并添加(或修改)以下配置:
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []
}
}
}
- jetson-containers安装步骤:
cd /opt/
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
交互模式运行ollama
jetson-containers run $(autotag ollama)
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)