Allen AI开源微调模型OLMo-7B-Instruct
时间:2024-07-04 05:06:28 来源:带水拖泥网 作者:自媒体 阅读:339次
CSS站长资源(ChinaZ.com)2月29日 消息:Allen AI最近宣布开源了微调模型OLMo-7B-Instruct,源微这是调模一个真正意义上的开源项目。该模型是源微基于AI2的Dolma数据集构建的,该数据集包括了用于语言模型预训练的调模三万亿标记的开放语料库,还包括生成训练数据的源微代码。
官网:https://allenai.org/olmo
项目页:https://top.aibase.com/tool/olmo
此外,调模OLMo框架还包括四种7B规模模型变体的源微完整模型权重,每个模型至少训练了2T个标记。调模推理代码、源微训练指标和训练日志也都已提供,调模让用户可以轻松复刻微调过程。源微
为了帮助用户更好地评估模型性能,调模Allen AI还发布了用于开发中使用的源微评估套件。每个模型在训练过程中每1000步都有500多个检查点,调模并且提供了在Catwalk项目框架下的源微训练和评估代码。
这一系列的开源内容将使用户能够全面了解从预训练模型到RLHF微调模型的整个过程,为他们的研究和实践提供了强大的支持。Allen AI的举措为开源社区提供了更多可能性,促进了模型研究和应用的发展。
(责任编辑:热点)
最新内容
热点内容
- ·AutoMathText体验入口 数学内容的AI模型数据集免费在线下载地址
- ·小米卢伟冰:AI是未来 但AI手机是噱头
- ·理想老板李想都点赞:新款极氪001大定订单破万台
- ·谷歌发布「读屏」AI!PaLM 2-S自动生成数据,多项理解任务刷新SOTA
- ·今天周日春节调休要上班!网友吐槽iPhone闹钟没响 上班迟到了
- ·9万粉丝英语博主因四级没过停更:非学霸 剪辑视频花费大量时间
- ·首发649元 酷比魔方小酷平板2 Lite来了:11寸护眼大屏 8000mAh大电量
- ·3月天气预告:好消息是回暖了 坏消息是回南天来了
- ·胖东来在门口给顾客身上扫雪:对顾客关爱有加 提供温馨服务
- ·Redmi G Pro 2024现神级价格:8399元 性价比暴增