中文聊天模型Llama3-8B-Chinese-Chat发布 减少中英混答的问题
CSS站长资源(ChinaZ.com)4月23日 消息:Llama3-8B-Chinese-Chat 是中文一个基于 Meta-Llama-3-8B-Instruct 模型,通过 ORPO(无参照整体优选优化)方法进行微调的聊天中文聊天模型。该模型在处理中文问题时,模型相较于原始模型,布减减少了使用英文回答和混合中英文回答的少中情况,同时减少了表情符号的英混使用,使得回答更加正式和专业。问题
ORPO 是中文一种优化模型偏好和性能的方法,它利用赔率比(Odds Ratio)的聊天概念来调整模型的偏好设置,无需明确正确答案即可优化模型在特定任务中的模型表现。在 Llama3-8B-Chinese-Chat 模型中,布减ORPO 被用来优化模型对中文和英文的少中生成偏好,减少生成英文答案的英混倾向,以更好地适应中文对话环境。问题
模型的中文训练细节包括使用 DPO-En-Zh-20k 英汉数据集,经过3个周期的训练,学习率设置为5e-6,并采用余弦调度器调整。模型的上下文长度限制为8192字符,全局批次大小为64,使用的优化器为 paged_adamw_32bit,ORPO 参数(β)设置为0.05。
在实际应用中,Llama3-8B-Chinese-Chat 模型能够更准确地理解中文问题的意图,并以更恰当的方式响应。例如,它能够避免在回答中文问题时错误地使用英文或不必要的表情符号,提供更正式和专业的回答。
模型还展示了在安全和道德方面的应用,当用户提出不当请求时,模型能够坚持原则,拒绝提供有害或非法的信息,并引导用户参与安全和合法的活动。
此外,Llama3-8B-Chinese-Chat 模型在数学问题解答、写作和编程示例方面也表现出色,能够提供清晰、准确的解答和示例代码。
模型下载地址:https://top.aibase.com/tool/llama3-8b-chinese-chat
(责任编辑:业界)
- ·图领域通用框架来了!入选ICLR'24 Spotlight,任意数据集、分类问题都可搞定|来自华盛顿大学&北大&京东
- ·全球AI程序员诞生,码农饭碗一夜被砸!10块IOI金牌华人团队震撼打造,996写代码训练模型
- ·男生花1万找神婆改命结果生活更穷苦 诈骗嫌疑人已被抓获
- ·微信朋友圈的这条横线为何有长有短?「微信AI」人工智能应用有哪些
- ·Shopify发布“Magic”图像编辑器等AI增强功能,助力商家智能经营
- ·男生花1万找神婆改命结果生活更穷苦 诈骗嫌疑人已被抓获
- ·L系列宣布改名!理想汽车涨超6%
- ·谷歌限制AI聊天机器人Gemini回答与选举相关的查询
- ·为啥手机最后1%的电能用很久:预测不够精准!
- ·Apollo官网体验入口 医学领域多语言AI模型应用软件下载地址