ollama 指定GPU运行
对于本地部署的deepseek,如果想要指定在某张或者某几张卡上执行的话。
·
对于本地部署的deepseek,如果想要指定在某张或者某几张卡上执行的话。
1.添加环境变量
sudo vim /etc/systemd/system/ollama.service
在[Service]下面增加一行,这里我指定只用第三张GPU,则添加
Environment="CUDA_VISIBLE_DEVICES=2"
保存,退出
2.重启ollama服务
systemctl daemon-reload
systemctl restart ollama
3.测试效果
ollama run 你的模型
再打开一个窗口,然后执行 nvidia-smi 查看是否在指定的GPU上工作
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)