第八届数字中国建设峰会｜国产芯训推优化解决方案发布

4月29日，第八届数字中国建设峰会在福州开幕。峰会期间，中国电子云携手天数智芯、清程极智联合发布国产芯训推优化解决方案。

中国电子云AI产品线研发总监刘鑫介绍，大模型作为人工智能领域前沿技术，具有强大的数据处理能力，能够优化传统产业的生产流程和供应链管理，提高生产效率。政府工作报告提出，支持大模型广泛应用，并将其作为激发数字经济创新活力的核心举措之一。

当前，大模型面临着能源消耗与算力成本的不断攀升、数据隐私与安全、技术与应用的鸿沟等诸多亟须解决的问题。基于当前大模型技术发展现状，中国电子云认为构建一个好用的大模型应该具备:应用场景满足度高；可通过数据飞轮让大模型持续给业务提供价值；通过L1大模型+场景小模型高效解决实际问题；推理引擎和芯片深度优化，提升应用落地的性价比。

为实现以上四个目标，中国电子云联合天数智芯、清程极智从芯片、AI-Infra、模型、工具链、应用5个层面进行了布局优化。

在芯片层面，天数智芯与中国电子云通用芯片对大模型算子的指令集、矩阵乘、片上缓存以及流水线进行了深度优化，充分发挥通用架构在灵活性、兼容性与扩展性上的优势。通过软硬协同，显著提升训推效率与资源利用率，目前在同等并发情况下，芯片成本可以下降15%；

AI-Infra层面，中国电子云联合清程极智推出并行加速框架以及AI编译器，并协助芯片厂商对通信库以及芯片编程语言进行了优化，在不损失精度前提下，极致优化推理效率，在同等硬件配置下，并发提升10倍以上，响应延迟降低50%；

在模型、工具链及应用层面，中国电子云主导设计了最优的匹配方案，中国电子云L1模型相比业界的SOTA模型冷启动时间缩短至1天，冷启动的效果提升20%以上；并提供系统级的支撑优化，模型开发时间可缩短了70%；使得党政及关键行业用户可通过中国电子云提供的工具平台构建相应的智能体应用。

中国电子云联合天数智芯以及清程极智芯片和训推引擎的整体优化，实现了在分布式训练场景下加速效果接近2倍，推理吞吐量提升10倍，单机硬件成本下降10%以上。

当前，中国电子云已经构建了端到端的AI解决方案，中国电子云的大模型应用是基于异构算力平台、模型开发平台、大模型应用平台构建。其中算力平台支持异构算力的统一调度与管理。模型开发平台、大模型应用平台通过各种工具加速智能体应用的生产，上层应用分为通用应用和行业应用，通用主要解决客户跨行业的通用需求，行业应用主要是针对具体的行业，需要深入行业，了解行业know-how和行业的知识才能构建的应用。

目前，中国电子云AI解决方案已经成功在石家庄、天津红桥、湖北江陵、南航、湖北机场集团、深圳龙岗城投集团、山东公用集团等政企行业客户进行了落地应用。未来，中国电子云将深化AI技术与解决方案在千行百业落地应用，助力千行百业向“全要素、全流程、全场景”智能化迈进。