作者存储小海·2024-06-06 10:09

华为与科大讯飞联合打造中国首个超大规模国产算力平台“飞星一号”AI数据湖存储底座

字数 1757阅读 458评论 0赞 0

科大讯飞作为亚太地区赫赫有名的智能语音和人工智能企业，拥有语音及语言国家工程实验室和认知智能全国重点实验室。面对业界百模大战，谁可以快速部署高性能大模型训练平台，快速训练上线，谁就能先一步抢占市场有利位置。为此科大讯飞与华为联合打造存、算、网全栈国产化的 AI 大模型解决方案，共同建设国内首个支持万亿参数大模型训练的算力平台“飞星一号”。

华为 AI 数据湖解决方案，基于多套 OceanStor 专业存储分级建设，提供几十 PB 超大存储容量。依托智能数据分级与多集群故障隔离、高效数据治理的高性能存储，为客户提供 TB 级带宽，端到端加速 AI 模型开发。

##大模型建设中遇到了哪些问题？
 星火认知大模型从海量数据和大规模知识中持续进化，实现了从提出、规划到解决问题的全流程闭环。人工智能技术从感知理解世界的专用领域向生成创造世界的通用领域进行跨越式演进，这一过程产生了对数据存储的新挑战：
 
**GPU 利用率低 ：** AI 大模型训练以多机多卡任务为主，故障频率高，模型加载和断点续训 CheckPoint 读写时，对存储系统 IO 和带宽性能要求很高，千卡以上集群平均每天故障 1 次，断点恢复时间高达 15 分钟 + ，每次损失几十万。

**集群分散不可靠 ：**多家存储“烟囱式”建设，总容量几十 PB ，切分成几十个 PB 级的分散小集群，极大地增加了管理复杂度，并采用软硬分离的方式建设存储集群，降低了存储集群的可靠性同时也降低了带宽能力。

**数据治理困难：** AI 训练集的文件数量有百亿个，当前“烟囱式”存储集群的建设模式，形成多个数据孤岛，数据需要人工迁移，效率低。同时无全局数据可视能力，无法识别冷热数据与高价值数据，数据难以治理。

综上可以看到大模型厂商对存储的核心诉求是：
 1、  高性能的存储底座，以便支撑多机多卡的 AI 集群极致的训练时长和尽可能快的断点续训能力，降低错误回滚率。
 2、  统一的 AI 存储数据湖管理能力，高效可靠的数据治理能力。
 
## 优质存储成为大模型时代的“黄金门票”
 华为数据存储与科大讯飞联合打造中国首个超大规模算力平台 AI 数据湖存储底座，针对通用 AI 大模型训练，科大讯飞采用算、存分离架构，计算侧追求更加极致的算力释放，存储侧部署多套华为 OceanStor AI 存储，提供可靠高效的几十 PB 可得容量。
 
![AI 数据湖方案架构图 ](/home/attachment/202405/09/1244863_171523643413655.png)

**15min->1min ，断点续训恢复速度提升 15 倍，日节省几十万**
断点续训恢复速度提升 15 倍：集群最大提供 TB 级大带宽，缩短 CheckPoint 读写耗时，断点续训恢复时长从 15min 缩短到 1min ，速度提升 15 倍。
 
 **统一集群管理， 99.999% 高可靠**
存储集群安全可靠：华为 OceanStor AI 存储单集群多 Storage Pool 的方案，管理面合一，数据面分离，通过数据面隔离避免 AI 集群故障扩散；同时通过亚健康管理、大比例 EC 等进一步提升存储可靠性，单集群可靠性达 99.999% 。
 
** 全生命周期管理 TCO 降低 30%**
数据治理成本低：统一数据湖管理， GFS 全局文件系统，无损多协议互通，免除数据孤岛，数据全局可视、可管，高效流动，跨域调度效率提升 3 倍，数据零拷贝，端到端加速 AI 模型开发；千亿元数据秒级检索，智能识别数据热度，精准分级，实现存储系统性能与容量均衡。

面向未来更大规模算力集群华为 OceanStor AI 存储专为 AI 而生，与科大讯飞联合打造中国首个超大规模算力平台 AI 数据湖存储底座，借助海量数据和知识加速星火认知大模型持续进化，共建“让机器能听会说，能理解会思考，用 AI 建设美好世界”的美好愿景！
 
[了解更多华为存储AI观点](https://e.huawei.com/cn/material/enterprise/19b2539dad20414585dbee4e5575073e)

AI 存储

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

华为与科大讯飞联合打造中国首个超大规模国产算力平台“飞星一号”AI数据湖存储底座

添加新评论0 条评论

文章目录收起目录

作者其他文章

相关文章

相关问题

相关资料