昨日,HiFloat社区官网带着白皮书、仿真工具和标准规范率先亮相。今天HiFloat开源代码仓正式上线,一次性开放量化仿真工具、模型适配代码、开发框架和完整可复现方案。
下文将详细介绍已上线的10个代码仓并附链接,欢迎下载使用!
开源代码仓进一步补齐了从技术资料走向实际开发的关键环节。开发者不仅可以通过HiFloat社区网站了解HiFloat的设计思路,还可以在开源代码仓直接查看代码、运行示例、开展模型量化实验,并根据自己的业务场景探索新的适配方式。目前,HiFloat开源代码仓包括以下三类资源:
基础工具:
快速体验HiFloat量化能力
链接:
https://github.com/GCC-HiFloat/HiFloat4-Quantization_Library
链接:
https://github.com/GCC-HiFloat/HiFloat8-Quantization_Library
通用框架:
进一步探索模型量化与推理部署
3、HiFP8
HIFP8是面向HiFloa8的量化框架,与基础量化仿真库相比,HiFP8更关注完整的模型量化与部署流程。仓库支持BF16伪量化和uint8真量化两种模式,并提供模型导出、标准评测、SmoothQuant、MoE模型支持以及vLLM推理部署相关能力。对于希望进一步把HiFloat8应用到真实大模型推理场景中的开发者,HiFP8提供了更加完整的实践路径。链接:
https://github.com/GCC-HiFloat/HiFP8
模型实践:
覆盖视频生成与语言模型等应用场景
4、HiSQRot4_Wan2.2
面向Wan2.2文生视频模型,提供基于HiFloat4的W4A4训练后量化方案。方案将SmoothQuant和Rotation等思路用于模型量化,在尽可能保持原始生成流程的基础上,对目标线性层进行低位宽替换。适合希望研究视频生成模型量化、低比特推理和效果保持能力的开发者参考。
链接:
https://github.com/GCC-HiFloat/HiSQRot4_Wan2.2
5、PTQ_Wan2.2面向Wan2.2图生视频模型,提供基于HiFloat4的训练后量化方案。仓库包含量化代码、运行示例、技术报告和模型资源链接,为开发者提供较为完整的复现入口。如果开发者希望了解如何将HiFloat4用于图生视频任务,可以通过该仓库快速查看量化流程和实验配置。
链接:
https://github.com/GCC-HiFloat/PTQ_Wan2.2
6、Percentile_Wan2.2
面向Wan2.2文生视频模型,提供基于分位数校准的HiFloat4 W4A4训练后量化方案。仓库开放了推理代码、配置文件和复现说明,重点展示如何通过校准方法改善低比特量化表现。对于关注量化校准策略、模型效果对比和可复现流程的开发者,具有较强的参考价值。
链接:
https://github.com/GCC-HiFloat/Percentile_Wan2.2
7、LLMC_Wan2.2
提供了LLMC与Wan2.2相结合的一体化实践流程,覆盖模型量化、视频生成以及VBench评测。适合希望了解完整实验链路和工程实践的开发者,包括如何准备环境、执行量化、生成视频并完成效果评测。
链接:
https://github.com/GCC-HiFloat/LLMC_Wan2.2
8、QAT_PTQ_Wan2.1
该仓库面向Wan2.1文生视频模型,展示了基于HiFloat8 W8A8的训练后量化和量化感知训练方案。其中:PTQ,即训练后量化,适合在已有模型基础上进行快速量化;QAT,即量化感知训练,在训练过程中考虑量化带来的影响,以进一步改善模型效果。适合希望对比不同量化路线、研究视频生成模型W8A8训练与评测流程的开发者。
链接:
https://github.com/GCC-HiFloat/QAT_PTQ_Wan2.1
9、QAT_Wan2.1
围绕多模态模型训练和Wan2.1相关场景提供工程实践资源,并包含HiF8相关模块、训练脚本、模型配置和评测文件。适合具备一定训练经验的开发者进一步探索多模态大模型训练、昇腾环境适配和量化训练流程。
链接:
https://github.com/GCC-HiFloat/QAT_Wan2.1
10、QAT_Pangu
面向OpenPangu-Embedded-1B模型,展示了基于HiFloat8 W8A8的量化感知训练方案。包括模型评测、复现说明和量化模型权重入口,适合希望了解HiFloat8在语言模型训练和量化部署中应用方式的开发者。
链接:
https://github.com/GCC-HiFloat/QAT_Pangu
不只是代码发布,更是开放共建的开始
HiFloat开源代码仓的上线,不只是一次资源汇总,也意味着社区建设进入了新的阶段。低比特计算是一项需要持续迭代的系统工程。它不仅涉及数据格式本身,也涉及模型算法、训练框架、推理引擎、硬件适配、评测工具和实际应用场景。不同开发者可以从不同方向参与进来:
无论你是算法工程师、系统开发者、科研人员、高校学生,还是关注AI算力效率的产业伙伴,都欢迎加入HiFloat开发工作。
HiFloat社区与开源代码仓将持续完善代码仓和技术文档,推动更多模型适配、工具升级和实践案例开放,为开发者提供更加清晰、易用、可复现的技术资源.让我们一起推动低比特AI计算技术从开放走向共建,从实验走向应用。