note

文章目录

一、deepseed之autoTP+zero1训练框架

deepseed新发布了一个训练方式autoTP，deepseed就是玩zero的，zero是一种配合DP省显存的方式：

  • zero1是优化器被打散，
  • zero2是梯度，
  • zero3直接是模型参数，

如果手里卡有限，显存不够，一般是采用FSDP+zero3来训练才能装下比较大的模型，但是zero3因为能拆的都拆了，所以一通信就all2all，计算全被通信吃了，MFU就非常小，虽然是DP但是训练速度特别慢，于是deepseed就把autoTP+zero1这个方案提出来了，TP的优势是拆模型的layer到各个不同的GPU上，每块卡拿的显存就没那么大，再结合zero1在同一个TP组里，把优化器的TF32给优化小，所以理论上在某些情况可以达到和FSFP+zero3一样的节省显存的效果，但是由于它最多是TP组内的all-gather所以通信上要远远小于FSDP+zero3，所以训练速度反而快。https://github.com/deepspeedai/DeepSpeed/blob/master/blogs/huggingface-tp/README.md

在这里插入图片描述

Reference

[1] https://github.com/deepspeedai/DeepSpeed/blob/master/blogs/huggingface-tp/README.md

Logo
火山引擎开发者社区

火山引擎开发者社区是火山引擎打造的AI技术生态平台，聚焦Agent与大模型开发，提供豆包系列模型（图像/视频/视觉）、智能分析与会话工具，并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长，新用户可领50万Tokens权益，助力构建智能应用。

更多推荐

OBS Studio音频分离：人声与背景音乐分离全攻略

你是否曾在直播或录屏时遇到这样的困境：想要单独调整人声音量却影响了背景音乐，或是后期剪辑时无法消除环境噪音？OBS Studio（Open Broadcaster Software Studio，开放广播软件工作室）作为免费开源的音视频录制与直播工具，提供了强大的音频处理框架，通过合理配置滤镜链与外部工具组合，可实现专业级别的人声与背景音乐分离。本文将系统讲解3种分离方案，从基础声道分离到AI驱动

avatar 火山引擎开发者社区

lmstudio-python：简化LLM操作的强大Python SDK

lmstudio-python 是一款功能强大的 Python SDK，旨在帮助开发者轻松地使用大型语言模型（LLM）进行文本生成、对话系统搭建以及其他相关应用。通过简单易用的API，lmstudio-python 能够让用户快速集成 LLM 功能，无论是进行基础文本补全还是复杂的对话系统设计。## 项目技术分析lmstudio-python SDK 以 Python 为基础，提供了一个同

avatar 火山引擎开发者社区

OBS Studio AI增强：智能场景识别与自动优化全攻略

你是否曾在直播切换场景时手忙脚乱？是否因复杂的参数配置而错失最佳直播时机？OBS Studio作为开源直播软件的佼佼者，虽提供强大的自定义功能，但传统手动操作已难以满足专业创作者对效率和质量的双重需求。本文将系统介绍如何通过AI技术增强OBS Studio的核心能力，重点实现智能场景识别与自动参数优化，让你的直播制作流程效率提升300%。读完本文你将获得：- 基于OpenCV的实时场景分析插

avatar 火山引擎开发者社区