• 安装 NVIDIA 容器工具包 首先确保用了最新的 NVIDIA 容器工具包。运行以下命令:
sudo apt-get update 
sudo apt-get install -y nvidia-container-toolkit 
sudo systemctl restart docker
  • 修改 Docker 配置文件 你可能需要在 Docker 配置文件中指定默认的 runtime 。打开 /etc/docker/daemon.json 文件并添加(或修改)以下配置:
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}
  • jetson-containers安装步骤:
cd /opt/ 
git clone https://github.com/dusty-nv/jetson-containers 
bash jetson-containers/install.sh

交互模式运行ollama

jetson-containers run $(autotag ollama)

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐