大模型参数规模持续飙升,背后的算力、显存和能耗也成倍消耗。如何让大模型运行更快、更省、更高效?GCC-HiFloat社区给你答案!
HiFloat社区官网现已正式开放——这是国内首个专注于低位宽AI数据格式(HiF8 / HiF4)的一站式技术交流平台。无论你是开发者、科研人员、芯片与系统厂商还是AI发烧友,来这里就能一键获取相关标准规范、仿真工具、开源案例,还有众多精彩的社区活动等你参与。点击文末“阅读原文”直接访问~
HiFloat是面向AI计算场景优化的低位宽浮点数据格式,致力于在模型效果、计算效率和硬件实现成本之间取得更好的平衡,为大模型训练、推理和量化优化提供新的技术选择。当前主要包括HiF8和HiF4两类格式。通俗来说,大模型在训推过程中需要频繁处理大量数据。传统的数据格式精度高,但占存储、费算力。低位宽数据格式用更少的比特数表示数据,在尽可能减少精度损失的同时,让大模型跑得更快、更省显存、更少能耗。其中:
HiF4:面向更低位宽的4比特计算场景,进一步探索更高效的大模型训推能力。
网站将持续沉淀HiFloat在大模型训练、推理和量化场景中的实验结果与实践案例。开发者可以通过具体模型、评测任务和实验数据,更直观地了解低位宽格式带来的效率提升,以及在不同场景中需要注意的问题。
HiFloat社区官网不仅是一个集合了标准、工具与案例的资源平台,更是一个面向开发者和产业伙伴的开放交流平台。未来,社区将持续开展技术分享、模型共创、赛事活动、案例征集和生态合作等活动,推动更多研究成果转化为可复现、可推广、可落地的实践方案。
HiFloat生态:邀您共建