银河麒麟高级服务器操作系统 V11（AI 增强版） 上安装 华为昇腾 Atlas 300I Duo 推理卡 并部署 Qwen 系列大模型，Cloudera CDP 7.3（或类 CDP 的 CMP 7.13 平台，如华为鲲鹏 ARM 版）适配

在 银河麒麟高级服务器操作系统 V11（AI 增强版） 上安装 华为昇腾 Atlas 300I Duo 推理卡 并部署 Qwen 系列大模型（如 Qwen2.5-7B 或 QwQ-32B） 的完整操作指南。本流程基于官方兼容性验证和社区实践（截至 2025 年 11 月），适用于信创环境下的国产化 AI 推理部署。

🧩 一、前提条件

1. 硬件要求

• 服务器：搭载 鲲鹏 920 或 飞腾 S5000C CPU
• NPU 卡：Atlas 300I Duo（双 Ascend 310P，48GB HBM）
• 内存：≥ 64GB（建议 128GB+）
• 磁盘：系统盘 ≥ 100GB，模型存储盘 ≥ 100GB（SSD）

2. 软件环境

• 操作系统：银河麒麟高级服务器操作系统 V11（aarch64 架构）
  • 内核版本：≥ 5.10（推荐 6.6）
  • 查看命令：

Bash：

cat /etc/os-release | grep PRETTY_NAME

uname -r

arch  # 必须为 aarch64

3. 获取软件包（从华为官网）

访问 https://www.hiascend.com/software/cann，选择：

• 产品：Atlas 300I Duo
• OS：Kylin V10/V11 或 openEuler 22.03 LTS SP3
• 下载以下文件（示例版本）：
  • Ascend-hdk-310p-npu-driver_24.1.0.1_linux-aarch64.run
  • Ascend-hdk-310p-npu-firmware_7.5.0.5.220.run
  • Ascend-cann-toolkit_8.0.RC1_linux-aarch64.run
  • mindie-2.0.RC2-300I-Duo-py311-openeuler24.03-lts.tar.gz（MindIE 镜像）

💡 提示：若页面无“Kylin V11”选项，选择 openEuler 22.03/24.03 兼容版通常可用。

🔧 二、安装昇腾驱动与固件

步骤 1：创建用户（可选但推荐）

Bash：

sudo groupadd HwHiAiUser

sudo useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash

步骤 2：安装固件（先装！）

Bash：

chmod +x Ascend-hdk-310p-npu-firmware_*.run

sudo ./Ascend-hdk-310p-npu-firmware_*.run --full

步骤 3：安装驱动

Bash：

chmod +x Ascend-hdk-310p-npu-driver_*.run

sudo ./Ascend-hdk-310p-npu-driver_*.run --full --install-for-all

步骤 4：重启并验证

Bash：

sudo reboot

npu-smi info  # 或 ascend-smi info

✅ 成功应显示 2 个 NPU 设备（Device ID 0 和 1），状态为 OK。

🐳 三、准备 MindIE 推理环境（基于 Docker）

步骤 1：安装 Docker（若未安装）

Bash：

sudo dnf install docker -y

sudo systemctl enable --now docker

sudo usermod -aG docker $USER

newgrp docker  # 刷新组权限

步骤 2：加载 MindIE 镜像

Bash：

docker load -i mindie-2.0.RC2-300I-Duo-py311-openeuler24.03-lts.tar.gz

# 验证

docker images | grep mindie

步骤 3：下载 Qwen 模型（以 Qwen2.5-7B-Instruct 为例）

Bash：

pip3 install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /data/models

cd /data/models

python3 -c "

from modelscope import snapshot_download

snapshot_download('Qwen/Qwen2.5-7B-Instruct', cache_dir='./Qwen2.5-7B-Instruct')

"

⚠️ 修改模型配置（关键！）：

Bash：

sed -i 's/"torch_dtype": "bfloat16"/"torch_dtype": "float16"/g' \

  /data/models/Qwen2.5-7B-Instruct/config.json

chmod 750 -R /data/models/Qwen2.5-7B-Instruct

🚀 四、启动 MindIE 服务容器

启动命令（单卡或双卡）

Bash：

docker run -itd \

  --net=host \

  --shm-size=2g \

  --device=/dev/davinci0 \

  --device=/dev/davinci1 \

  --device=/dev/davinci_manager \

  --device=/dev/hisi_hdc \

  --device=/dev/devmm_svm \

  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \

  -v /usr/local/sbin:/usr/local/sbin:ro \

  -v /data/models:/models \

  --name qwen-mindie \

  mindie:2.0.RC2-300I-Duo-py311-openeuler24.03-lts \

  bash

✅ 若仅用单卡，去掉 --device=/dev/davinci1，并在配置中设 worldSize=1。

⚙️ 五、配置并启动推理服务

步骤 1：进入容器

Bash：

docker exec -it qwen-mindie bash

步骤 2：修改配置文件

编辑 /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json：

Json：

{

  "ServerConfig": {

    "ipAddress": "0.0.0.0",

    "port": 8080,

    "managementPort": 8081

  },

  "BackendConfig": {

    "npuDeviceIds": [[0, 1]],   // 双卡：[[0,1]]；单卡：

    "ModelDeployConfig": {

      "ModelConfig": [{

        "modelName": "qwen2.5-7b",

        "modelWeightPath": "/models/Qwen2.5-7B-Instruct",

        "worldSize": 2            // 与 npuDeviceIds 数量一致

      }]

    }

  }

}

步骤 3：启动服务

Bash：

cd /usr/local/Ascend/mindie/latest/mindie-service/bin

nohup ./mindieservice_daemon > service.log 2>&1 &

🧪 六、测试 API 接口

在宿主机执行：

Bash：

curl http://localhost:8080/v1/chat/completions \

  -H "Content-Type: application/json" \

  -d '{

    "model": "qwen2.5-7b",

    "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}],

    "max_tokens": 256

  }'

✅ 成功返回 JSON 格式的模型回复即表示部署成功。

📌 七、常见问题与注意事项

问题	解决方案
npu-smi info 无输出	检查 PCIe 插槽供电、BIOS 设置（启用 Above 4G Decoding）
模型加载失败	确保 config.json 中 torch_dtype 改为 "float16"
容器内无法识别 NPU	启动容器时必须挂载所有 /dev/davinci* 和驱动目录
内存不足	增加 --shm-size 至 ≥2GB，关闭无关进程
麒麟 V11 SELinux 阻止访问	临时执行 setenforce 0 测试，或配置策略

✅ 总结

通过以上步骤，你已在 银河麒麟 V11 上成功：

• 安装 昇腾 Atlas 300I Duo 驱动；
• 部署 MindIE 推理框架；
• 加载并运行 Qwen2.5-7B 大模型；
• 对外提供 OpenAI 兼容 API。

🔒 安全提示：生产环境建议启用 HTTPS、API 密钥认证，并配合 麒麟天御安全平台 进行访问控制。

如需部署 QwQ-32B 等更大模型，请确保使用 双卡（worldSize=2） 并分配足够内存（≥96GB）。

银河麒麟高级服务器操作系统Kylinos V11 AI功能介绍？

银河麒麟高级服务器操作系统 KylinOS V11（以下简称“麒麟V11”）是麒麟软件于2025年8月正式发布的全新一代国产服务器操作系统，其核心亮点之一是深度集成AI能力，标志着国产操作系统从“功能性支撑平台”向“智能型连接基座”的战略升级。以下是其AI功能的全面介绍：

一、定位：打造“AI原生操作系统”

麒麟V11并非简单地“支持AI”，而是将AI能力内嵌到操作系统内核与服务层，实现：

• 算力智能调度
• AI任务自动优化
• 安全可信推理
• 开发运维一体化

目标是为政企用户提供开箱即用、安全可控、高效易用的AI基础设施。

二、核心AI功能模块

1. AI子系统（AI Subsystem）

• 预装于系统底层，无需额外安装。
• 提供统一的AI运行时环境，兼容主流框架（PyTorch、TensorFlow、MindSpore等）。
• 支持 CPU/GPU/NPU 异构算力统一纳管，自动选择最优硬件执行推理任务。

2. 智能算力调度引擎

• 基于“磐石架构”实现 多样算力融合调度。
• 支持：
  • 本地算力共享：低算力终端可调用同局域网内高算力设备（如服务器NPU）完成AI任务。
  • 动态负载均衡：多用户并发请求时自动分配NPU资源。
  • 离线/在线混部优化：提升昇腾、寒武纪等国产AI芯片利用率20%+。

3. kyCopilot 智能助手（面向管理员）

• 内置自然语言交互界面，支持：
  • “查看最近慢查询”
  • “优化数据库性能”
  • “生成防火墙规则”
  • “分析系统日志异常”
• 基于本地轻量化大模型，数据不出域，保障安全。

4. AI模型安全防护体系

• 模型完整性校验：防止模型被篡改或投毒。
• 推理过程隔离：通过安全容器隔离AI任务，避免越权访问。
• 敏感信息脱敏：在日志、输出中自动过滤身份证、手机号等隐私字段。
• 支持国密算法加密模型传输与存储。

5. 智能运维与自优化

• 自动识别低效SQL、小文件、分区不合理等问题。
• 结合历史负载，预测性扩容或调整资源配额。
• 提供可视化性能热力图与优化建议报告。

三、对国产AI硬件的深度适配

麒麟V11已全面适配主流国产AI加速卡：

硬件厂商	支持型号	适配状态
华为昇腾	Atlas 300I Duo / 900	✅ 官方认证，驱动/CANN预集成
寒武纪	MLU370 / MLU590	✅ 支持Neuware SDK
天数智芯	IPU系列	✅ 基础驱动支持
燧原科技	云燧系列	⚠️ 社区测试中

特别针对 昇腾310P/910B 芯片，提供一键部署 MindIE 推理引擎 的工具链。

四、典型AI应用场景

场景	能力体现
大模型私有化部署	支持Qwen、DeepSeek、ChatGLM等模型在NPU上高效推理
金融风控实时分析	利用低延迟网络栈 + AI模型毫秒级响应
视频智能分析	单台服务器支持256路1080P视频结构化（基于Atlas 300I Duo）
智能运维（AIOps）	自动根因分析、故障预测、日志聚类
科研计算	为高校/研究所提供AI+HPC混合调度平台

五、技术优势总结

维度	麒麟V11 AI能力
架构	原生集成，非插件式
安全	全链路可信，符合等保2.0/3.0
生态	700万+软硬件适配，Kylin SDK提供2200+接口
成本	不单独收费，包含在操作系统授权中
自主可控	代码自主率超90%，无国外依赖

六、官方数据与背书

• 已支撑 “天问探火”“嫦娥探月” 等国家重大工程中的智能任务。
• 在 上海证券交易所 核心交易系统中验证，端到端性能提升20%。
• 中国电子计划投入 百亿资金，重点支持麒麟OS的AI创新应用。

✅ 总结

银河麒麟高级服务器操作系统 V11 的AI功能，不是“附加功能”，而是其作为新一代智能基座的核心竞争力。它解决了国产化环境中“有硬件无调度、有模型无安全、有算力无效率”的痛点，真正实现了：

“让AI跑得更快、更稳、更安全，且无需专家调优。”

适用于政务、金融、能源、交通、航天等对安全、可靠、智能有高要求的关键行业。

📌 注：所有AI功能均随KylinOS V11商业授权免费提供，无需额外订阅或按调用量付费。