胖胖文章网 手机版
当前位置: 首页 > 实时讯息 >

华为昇腾推出高性能保精度量化方案,更好适配DeepSeek

0次浏览     发布时间:2025-05-25 10:15:00    

(文/万肇生 编辑/张广凯)

近日,华为公开了昇腾服务器上部署DeepSeek V3/R1推理的最佳实践,并介绍了一系列创新技术。

其中,华为在降低计算资源需求方面,创新提出了昇腾亲和的低比特量化解决方案OptiQuant,最终实现了INT8量化模式与FP8的模型推理精度持平。

由于DeepSeek V3/R1模型是基于英伟达生态训练,并推荐使用FP8精度推理,而国产芯片普遍没有原生支持FP8精度,导致国产芯片对DeepSeek的适配不佳。华为昇腾的上述研究应该就是为了解决这一问题。

通常情况下,在模型推理阶段,进行量化(如FP8量化为INT8)可以显著降低模型对硬件的存储需求和计算复杂度,但也会造成模型推理精度的损失以及逻辑错误等问题。因此如何保持推理精度,是低比特量化满足不同平台部署需求时的前提。

据华为介绍,基于BF16的DeepSeek需要1.3TB的显存空间,同时导致极大的算力和跨机通信开销。而校准集的泛化性缺失导致了在很多任务上难以达到与原有模型相近的精度水平,甚至在某些场景下精度下降十分严重。同时,还要考虑如何设计昇腾亲和的量化算法,以发挥硬件性能。

针对上述问题,华为提出了OptiQuant量化框架,一种高性能保精度量化方案,设计了层间自动混精、自动混合校准、离群值抑制、可学习的截断和SSZW参数量化算法。除了支持业界主流量化算法功能之外,它还新增支持三个功能:接入自定义量化算法和数值类型,可以将多种量化算法的自由组合搭配使用;支持业内主流评测数据集和用户自定义的数据校准集;支持数据并行和流水并行,针对不同大小的大语言模型实现精度验证性能加速。

OptiQuant框架主要由以下几个模块组成:

量化类型和数值类型:OptiQuant支持了Int2/4/8和FP8/HiFloat8等数据类型,支持业界的Qserve,HQQ,LUT等量化方法,在此基础上提出了可学习截断和量化参数优化等算法,进一步减少了量化误差。

多样化测试数据集和用户自定义校准集:多样化测试数据集和用户自定义校准集:OptiQuant支持了判断题,问答题,代码题和数学题等多种测试类别,语种上支持了十种常见语言。此外,OptiQuant支持用户自定义校准集,提升模型量化过程中的泛化性。

量化权重生成:OptiQuant提出了自适应层间混精算法,并且根据对应的量化配置生成对应的权重参数,通过去冗余技术减少参数保存的参数量;OptiQuant进一步提出了FlexSQ等算法,在数据校准过程中,对大模型激活异常值进行了平滑处理,有助于对激活做低比特量化。

最终,基于Atlas 800I A2服务器的精度测试实验结果显示,对于DeepSeek-V3-0324模型,W8A8C16和W4A8C16均采用Per-channel量化,实现了推理精度与FP8-GPU持平。

华为表示,在DeepSeek R1/V3大模型推理场景中,实现了INT8量化模式与FP8的模型推理精度持平,而且进一步发挥了华为Atlas 800I A2和CloudMatrix384集群推理硬件性能。而相关代码也将逐步开源。

本文系观察者网独家稿件,未经授权,不得转载。

    相关内容:

  • 国网山西省电力公司全力打造全链条智能应用体系

      数字化需求查重为数字化项目前期论证关键环节,日前,国网山西省电力公司基于光明电力大模型,结合提示词工程、RAG等技术构建了需求查重智能体,实现了一键式查重、可视化标注重复文本内容等功能,高效支撑数字化项目前期论证工作。  光明电力大模型是国家电网公司打造的国内首个千亿级多模态电力行业大模型,具备

    2025-07-10 06:44:00
  • 中汽中心牵头,联合清华、华为发布智驾白皮书 助力产业高质量发展

    来源:环球网 【环球网智驾综合报道】7月8日消息,今日,由中国汽车技术研究中心有限公司(以下简称“中汽中心”)牵头,清华大学、华为技术有限公司共同参与撰写的《汽车智能驾驶技术及产业发展白皮书》(以下简称“智驾技术白皮书”)正式联合发布,为中国智能驾驶技术与产业发展提供了系统性指引。智能驾驶作为汽车驾

    2025-07-09 17:29:00
  • 异地共享互认!济南市首批医保影像云索引数据直连国家医保信息平台

    近日,济南市首批医保影像云索引数据经山东省医保影像云索引共享模块上传至国家医保信息平台,进一步推动异地就医影像共享互认。核心突破:山东济南数据打通国家通道2025年5月13日,山东省医保信息平台正式上线“医保影像云索引共享模块”。在省局重点支持帮助下,济南市作为首批试点城市,快速响应、积极推进,5月

    2025-07-04 07:32:00
  • 搭载DeepSeek大模型,盛趣游戏以AI工具持续提升用户体验

    扬子晚报网7月2日讯(记者 姜天圣)近日,世纪华通旗下盛趣游戏运营的治愈系放置RPG手游《云海之下》迎来重要技术升级——搭载DeepSeek大模型的“知链”智能客服系统正式入驻游戏。它基于自研RAG(检索增强生成),深度融合DeepSeek大模型,不仅为玩家提供秒级游戏困惑解决方案,更延续了盛趣游戏

    2025-07-02 20:31:00
  • 盟科药业2024年研发投入3.69亿元 推进MRX-4全球III期临床试验

    来源:中访网财观中访网数据 上海盟科药业股份有限公司(股票代码:688373)近日发布2024年年报及问询函回复公告,披露其全年研发投入达3.69亿元,同比增长显著,其中74.15%用于委托研发费用。公司核心产品康替唑胺片销售收入增长43.51%,但归母净亏损扩大至4.41亿元,主要因研发支出增加。

    2025-06-28 01:51:00
  • 保护用户隐私!海尔空调获行业首个人工智能管理体系认证

    当智能家居成为日常,一句“打开空调”便能带来清凉便利,但我们在享受这份智慧的同时,隐忧也悄然埋下:这些24小时在线的智能联网设备,会不会过度“记住”我们的一举一动?健康数据、生活习惯……这些私密信息一旦泄露被滥用,家的安全感何在?基于此,海尔空调凭借其在AI技术应用上的深厚积累和显著成果以及用户隐私

    2025-06-22 21:38:00

网站内容来自网络,如有侵权请联系我们,立即删除!
Copyright © 胖胖文章网 琼ICP备2023010360号-16

Top