新闻动态

GCC会客厅|对话 Torsten Hoefler:分布式AI与超算融合的创新之路与未来图景

11月7日,2025全球计算大会(CGC2025)在深圳隆重召开。大会以“筑新基·赋新能,拥抱AI新机遇”为主题,特邀6位中外院士领衔,40余位产业高端专家、10余位国际嘉宾等超1000位全球计算领域政产学研用各界精英共襄盛会,全方位搭建技术交流、成果展示与产业合作的高端平台。会上,全球计算联盟GCC战略咨询委员会(SAC)委员、欧洲科学院院士、苏黎世联邦理工学院教授Torsten Hoefler作为重磅演讲嘉宾带来《Entering the Age of Computation with LLMs and Reasoning Language Models》主题演讲。

在大会期间,我们特别邀请到Torsten教授走进GCC会客厅,围绕分布式AI算法创新、超算与AI协同难题破解及未来技术布局等关键议题展开深度对话,分享他极具国际视野的前沿洞见。


点击查看专访视频



技术突破:分布式AI算法的三重创新密码

今年3月,Torsten Hoefler 凭借其在高性能计算领域的开创性工作及对人工智能革命的重要贡献,被授予2024年度ACM计算奖(ACM Prize in Computing)。其研究使人工智能效率提升上千倍,是诸多大模型的基石,深刻影响着全球计算行业发展格局。谈及算法的关键创新,他表示这是众多研究者共同努力的成果,主要依托三大核心技术支撑。

首先是稀疏化技术(SPARSIFICATION),通过避免模型参数每次全部调用,实现资源的高效利用,当前最高可实现50倍的速度提升。这一技术理念已被广泛应用,像DeepSeek 所推广的“专家混合技术”,以及最近发布的Kimi模型,均基于此技术构建。

其次是量化技术(QUANTIZATION),通过减少参数存储所需比特数提升效率。Torsten教授与合作者通过GPTQ (Accurate Post-Training Quantization for Generative Pre-trained Transformers)成功将模型精度从32比特压缩至4比特,接近人类大脑4比特的运行精度,实现近10倍的压缩效果,大幅降低存储成本。

最后是并行系统(PARALLEL SYSTEMS),聚焦于硬件与网络的成本优化。通过构建高效的并行计算架构与网络,实现机器成本降低10倍,三者协同作用最终达成上千倍的 AI 效率提升,让大型语言模型(LLMs)在便携式设备上的广泛应用成为可能。

协同攻坚:超算与 AI 融合的核心解决方案

当前,超级计算与人工智能协同发展过程中,数据传输缓慢、算力调度混乱等问题成为行业普遍面临的挑战。Torsten教授认为,解决这些问题的关键在于搭建不同领域社群之间的桥梁,实现传统的高性能计算社区与新兴的AI社区的深度融合。

针对数据传输难题,他提出构建更强大的互联网络是核心路径。由全球多方参与者主导的“超以太网”(Ultra Ethernet)已成为行业实践,通过统一的互联网络标准,实现高性能计算与AI的高效衔接,目前Ultra Ethernet 1.0已完成协议标准化,为跨平台通信提供基础保障。

面对算力调度混乱问题,Torsten教授团队正在研发“以数据为中心的并行 Python”工具,通过静态与动态结合的智能算法调度计算任务。该方案可实现模拟代码的反向微分,让传统超算模拟代码像AI模型一样工作,实现端到端训练,达成超算与AI的真正融合。目前相关技术仍处于持续研究完善阶段。
未来布局:技术拐点与重点关注领域

展望未来3-5年,Torsten 教授认为高性能计算与 AI 领域的技术拐点将集中在加速器与网络两大核心组件的优化升级。这两大组件相互依存、协同作用,共同推动行业突破发展。


在加速器领域,需遵循AI计算原则,重点关注专用数据类型、专用稀疏模式(即加速器需对该模式提供支持),以及“空间计算”——例如晶圆级计算(Wafer Scale Computing)等大芯片技术的应用将解决设备布局调度中的流水线空转等问题。此外,在模拟设备的创新层面,例如Axelera AI公司的模拟点积引擎( Analog Dot Product Engine),效率较标准计算提升百倍,将成为提升加速器性能的重要方向。


在网络领域,Ultra Ethernet生态构建成为关键挑战。尽管协议标准已确立,但如何制造兼容适配的网络交换机与网卡,搭建全球通用的生态系统,实现不同企业、不同地区设备的高效通信,是行业需共同攻克的目标。Torsten 教授建议全球计算伙伴重点聚焦这两大核心领域,把握行业发展机遇。

结语

从分布式AI算法的三重创新实现上千倍效率提升,到超算与AI融合的技术方案探索,再到未来加速器与网络技术的布局展望,Torsten教授以深厚的科研积淀与前沿视野,为全球计算领域发展提供了宝贵思路。在访谈的尾声,Torsten教授再次强调:计算领域的突破并非一人之功,而是全球同仁协同创新的成果,并表达了对GCC的期待与祝愿。

作为全球计算联盟(GCC)搭建的高端交流平台,GCC会客厅始终致力于汇聚全球顶尖智慧,推动计算领域的技术突破与生态共建。未来,GCC也将承载这份期许,继续携手行业精英与会员单位,共同破解技术难题,助力全球计算产业高质量发展,书写智能计算时代的崭新篇章。

欢迎转载!转载前请联系微信后台留言进行授权确认,转载时必须注明原文出处。如未能提前联系,转载时请确保内容与原文保持一致;若转载内容与原文存在实质性差异或误导性表述,GCC及本文作者将保留予以追究的相关法律权利。