SimAI安装与配置指南

1. 项目基础介绍

SimAI 是由阿里云开源的一款面向大规模 AI 模型训练的仿真工具。它能够模拟整个大规模语言模型（LLM）的训练过程，包括框架、集体通信、网络层等，为研究人员提供端到端的性能数据。SimAI 的主要编程语言是 C++，同时也使用了 Python、Shell 和 CMake 等语言。

2. 项目使用的关键技术和框架

SimAI 使用了以下关键技术和框架：

• 集体通信算法：用于在大规模训练中高效地处理数据传输。
• 网络仿真：使用 NS3 等网络仿真工具来详细模拟所有的通信行为。
• AI 模型训练仿真：提供对大规模 AI 模型训练过程的详细模拟。
• 多种仿真模式：包括快速仿真的 SimAI-Analytical 模式，详细仿真的 SimAI-Simulation 模式，以及物理流量生成的 SimAI-Physical 模式（Beta）。

3. 项目安装和配置的准备工作

在开始安装 SimAI 之前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu 20.04
• 编译器：GCC/G++ 9.4.0
• Python 版本：3.8.10
• 可选：对于生成工作负载，推荐使用 NGC 容器镜像。

详细安装步骤

1. 克隆仓库

   打开终端，执行以下命令以克隆 SimAI 仓库：

   git clone https://github.com/aliyun/SimAI.git
   cd ./SimAI/
   

2. 更新子模块

   在克隆的仓库中，执行以下命令来更新子模块：

   git submodule update --init --recursive
   git submodule update --remote
   

3. 编译 SimAI-Analytical

   使用以下命令编译 SimAI 的分析版本：

   ./scripts/build.sh -c analytical
   

4. 编译 SimAI-Simulation (ns3)

   使用以下命令编译 SimAI 的仿真版本：

   ./scripts/build.sh -c ns3
   

5. 使用 SimAI-Analytical

   编译完成后，可以通过以下命令运行 SimAI 的分析版本：

   ./bin/SimAI_analytical -w example/workload_analytical.txt -g 9216 -g_p_s 8 -r test- -busbw example/busbw.yaml
   

6. 创建网络拓扑

   在运行 SimAI-Simulation 之前，需要创建一个网络拓扑。使用以下命令生成网络拓扑：

   python3 ./astra-sim-alibabacloud/inputs/topo/gen_Topo_Template.py -topo Spectrum-X -g 128 -gt A100 -bw 100Gbps -nvbw 2400Gbps
   

7. 运行 SimAI-Simulation

   创建网络拓扑后，可以使用以下命令运行 SimAI 的仿真版本：

   AS_SEND_LAT=3 AS_NVLS_ENABLE=1 ./bin/SimAI_simulator -t 16 -w ./example/microAllReduce.txt -n ./Spectrum-X_128g_8gps_100Gbps_A100 -c astra-sim-alibabacloud/inputs/config/SimAI.conf
   

以上步骤提供了一个基础的安装和配置指南。详细的教程和示例可以参考项目的官方文档和教程。