阿里魔搭社区开源推理引擎 DashInfer
CSS站长资源(ChinaZ.com)5月24日 消息:ModelScope 推出了预训练大语言模型(LLM)推理引擎 DashInfer,阿里支持 C++ 和 Python 语言接口,魔搭可在多种 CPU 架构上高效推理大模型。社区
DashInfer 采用 C++ Runtime 编写,开源支持连续批处理和多 NUMA 推理,推理能充分利用服务器级 CPU 的引擎算力,为推理14B 及以下的阿里 LLM 模型提供更多硬件选择。该引擎已开源,魔搭提供轻量级架构,社区高精度实现,开源优化的推理计算 Kernel,以及行业标准 LLM 推理技术。引擎DashInfer 支持主流 LLM 开源模型和 PTQ 量化技术。阿里
此外,魔搭引擎还提供多语言 API 接口,社区支持多种硬件和数据类型,包括 x86CPU 和 ARMv9CPU,以及 FP32、BF16、InstantQuant 等数据类型。关于模型支持,DashInfer 可以加载和序列化模型,执行推理过程,并采用 DLPack 格式的 tensor 与外部框架交互。在单 NUMA 架构下,推理引擎使用多线程和线程池进行调度;而在多 NUMA 架构下,引擎采用多进程 client-server 架构,实现 tensor parallel 的模型推理。
性能测试结果表明,DashInfer 在 ARM 和 x86CPU 上具有良好的推理性能,能够有效提升大模型推理效率。
代码开源地址:
https://github.com/modelscope/dash-infer
推理体验地址:
https://www.modelscope.cn/studios/modelscope/DashInfer-Demo
(责任编辑:短视频)
- ·小米小爱同学AI助手通过大模型备案
- ·微信转账520和1314能要回吗:特定时间特殊数字转账一般认定为赠与
- ·超高颜值!Redmi Turbo 3镜瓷白配色发布:今晚开售
- ·“义乌最牛老板娘”创业,放弃百万年薪,打着地铺做出上亿生意
- ·Shakker官网体验入口 AI图像生成软件工具在线使用地址
- ·周鸿祎:大模型不会摧毁每一个行业 将打造大模型工厂
- ·终于等来了榴莲1斤1字打头 榴莲自由的风刮到了青岛
- ·苹果计划推出全新iPhone 16 Pro系列 将引入玫瑰钛色
- ·文心一言APP一键生成专属数字分身 iOS和Android用户免费用
- ·诺基亚Lumia“复活”!曝HMD正复刻Lumia手机:经典设计回归
- ·70万用户评价:iPhone 15 Pro满意度 续航差成槽点
- ·雷军入局电池制造行业!小米汽车宁德时代合资公司成立
- ·诺基亚Lumia“复活”!曝HMD正复刻Lumia手机:经典设计回归
- ·76亿!孙正义再出手,领投比尔·盖茨狂赞的自动驾驶独角兽
- ·狂赚13亿流水的《幻兽帕鲁》,让“打工人”狠狠共情了?
- ·“义乌最牛老板娘”创业,放弃百万年薪,打着地铺做出上亿生意
- ·雷军回应参加歌手:不要开玩笑了 只想专心把车做好
- ·KPL推荐平板!iQOO Pad2系列官宣:5月31日预售
- ·AI拜年模拟器“决战拜年之巅”网络走红 快来看看你是不是“大孝子”
- ·删除D加密描述!《黑神话:悟空》来了:268元售价网友直呼良心