划重点:

⭐ 清华大学和哈尔滨工业大学联合发布论文，​清将大模型压缩到1bit，华哈保持83% 性能;

⭐ OneBit 方法首次尝试1bit 量化，提出突破了2bit 的可把限制;

⭐ 新方法结合1bit 层结构、基于 SVID 的大模参数初始化和量化感知训练。

CSS站长资源（ChinaZ.com）3月4日 消息:近期，型压清华大学和哈尔滨工业大学联合发布了一篇论文，持性成功将大模型压缩到1bit，​清仍保持83% 的华哈性能。这一成果标志着量化模型领域的提出一次重大突破。过去，可把2bit 以下的大模量化一直是研究人员难以逾越的障碍，而这次的型压1bit 量化尝试，引起了国内外学术界的持性广泛关注。

这项研究提出的​清 OneBit 方法，首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化感知训练，成功将大模型参数压缩到1bit 表示。该方法不仅保留了模型的高精度和高秩，还能够在极大幅度压缩模型参数的同时，保证模型至少83% 的性能。

OneBit 方法的核心在于将权重矩阵压缩到1bit，并引入两个 FP16格式的值向量以弥补精度损失。通过新的参数初始化方法 SVID 和知识迁移，成功将高精度预训练模型的能力转移到1bit 量化模型上。实验结果表明，OneBit 方法相较于其他2bit 量化方法，在验证集困惑度和 Zero-shot 准确度上表现更为优秀。

该研究的意义在于，成功突破了2bit 量化的障碍，为在 PC 和智能手机上部署大模型提供了新的可能性。未来，随着技术的不断进步，将有望实现将大型语言模型等大模型压缩到极低位宽，并实现在移动设备上高效运行的愿景。

论文地址:https://arxiv.org/pdf/2402.11295.pdf

(责任编辑：热点)