公司地址:
新闻国际企业科技园4432号

IT之家 10 月 28 日音信,近期发布的 DeepSeek V3.1 大模子,因搭载了 FP8 精度要领(UE8M0 FP8)激发业界宥恕。据华为策动当天音信,河南昆仑本领有限公司(简称“昆仑本领”)基于昇腾 AI 的 Ascend C 算子编程言语开云体育(中国)官方网站,研发出软 FP8 科罚决议。
据先容,FP8 精度要领对比传统的 FP16 / BF16 精度能让模子的显存需求凯旋减半,裁汰行状器硬件压力;对比常见的 INT8 量化精度,推理精度更高、数据暗意鸿沟更广,科罚了“降本钱”与“保后果”的矛盾。
▲ 图源:KunLun AI Space 官网截图该决议兑现了“精度无损、本钱减半”双重中枢打破:
将 FP8 权重模子输入昇腾硬件,通过精确的反量化算子,回荡为 BF16 要领参与策动,既保险了策动经过的准确性,又为后续新 FP8 权重模子的快速适配预留了生动空间,无需权裂缝领的屡次疗养;
在模子精度委果无损的前提下,单台 KunLun G8600 即可领悟启动满血版 DeepSeek V3.1 模子;即便在 KunLun G5500V2、KunLun G5580 等标卡机型上,也能兑现模子参数鸿沟翻番,同期大幅普及并发处理能力,让不同硬件建立的用户王人能享受到 FP8 推理的本领红利。

昆仑本领的软 FP8 科罚决议领有三大中枢本领:自研 FP8 反量化算子,显存与内存带宽双减半;算子整图下发,推理效劳普及 32%;生态级兼容:主流模子无缝营救。
IT之家从华为策动获悉,KunLun AI Space 软 FP8 科罚决议全面兼容 DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3 等主流 FP8 量化模子。同期开云体育(中国)官方网站,该决议具备很好的彭胀性,不错快速营救后续新出的模子。
告白声明:文内含有的对外跳转贯穿(包括不限于超贯穿、二维码、口令等表情),用于传递更多信息,节俭甄选时间,限度仅供参考,IT之家扫数著作均包含本声明。 ]article_adlist--> 声明:新浪网独家稿件,未经授权谢绝转载。 -->