谷歌AI提出MathWriting:整合人工书写和合成数据集等改变手写数学表达式识别
划重点:
⭐ 谷歌 AI 发布 MathWriting 数据集,谷歌工书改变为在线手写数学表达提供230k 人工编写和400k 合成样本,提出成为 ME 识别新标杆
⭐ MathWriting 数据集比 CROHME23具有更多样本和标签,合人合成包括广泛的写和数学符号和语法标记
⭐ MathWriting 支持训练模型、评估性能,数据手写数学式识并提供未来发展方向的表达别参考
CSS站长资源(ChinaZ.com)4月24日 消息:近年来,在线文本识别模型取得了显著进展,谷歌工书改变但数学表达(ME)识别作为更为复杂的提出任务仍未得到足够关注。
谷歌研究团队推出了 MathWriting,合人合成一个专注于在线手写数学表达的写和数据集,包含230k 人工编写和400k 合成样本,数据手写数学式识超越了类似 IM2LATEX-100K 的表达别离线 HME 数据集。与其他在线数据集兼容,谷歌工书改变MathWriting 以 InkML 格式共享,提出并通过栅格化墨迹有效扩展了离线 HME 数据集。合人合成这一举措为 ME 识别引入了新的标准,提供了标准化的真实表达以简化训练和强化评估,同时在 GitHub 上提供代码示例以便于使用。
与 CROHME23相比,MathWriting 样本数量几乎是其近3.9倍,标签数量经过归一化后增加了4.5倍。MathWriting 不仅具有更多人工编写的墨迹,还提供了更广泛的符号范围,包括大部分希腊字母和矩阵等,从而能够代表量子力学、微积分和线性代数等各种科学领域。
MathWriting 数据集包括253k 人工编写表达和6k 孤立符号用于训练、验证和测试,同时还有396k 合成表达。发布在知识共享许可下,以 LATEX 标准化注释作为真实标准,基于 MathWriting 的测试部分,使用字符错误率(CER)指标构建手写数学表达识别基准。各种识别模型,包括 CTC Transformer 和 OCR,展示了数据集的实用性。数据收集涉及人类贡献者通过 Android 应用程序复制渲染表达式,随后经过最少的后处理和标签归一化以提高模型性能。
MathWriting 数据集相比 CROHME23提供了手写数学表达的详细信息,包括广泛的标签和墨迹统计,为了多样性提供了宝贵信息。尽管存在识别挑战,但 MathWriting 是训练和评估手写识别模型的全面资源,为了提供对真实识别场景的见解。
MathWriting 具有广泛的应用,支持跨科学领域的识别训练,并能够生成合成表达式。与 CROHME23等数据集的整合有望提高模型性能和多样性。边界框数据有助于生成合成墨迹,可能为更自然的合成改进 LATEX 的严格结构。此外,还提供了用于 UI 功能的字符分割途径。未来的研究可以专注于优化训练 / 验证 / 测试分割以及开发针对数学表达的语言模型。
论文:https://arxiv.org/abs/2404.10690
(责任编辑:短视频)
- ·专访椰树 | 一年播放10亿,我是如何打造爆款直播间
- ·1.02亿吨!我国发现深水深层大油田
- ·Claude 3破译OpenAI邮件密文:人类未来掌握在「谷歌」手中!马斯克怒斥应改名ClosedAI
- ·MovieLLM: 一个词或一句话就能合成电影级视频
- ·Coze扣子怎么使用 字节AI应用开发平台官网地址入口
- ·3月21日上线!网飞版《三体》预告片发布:网友吐槽不像“三体”
- ·谁在承受电商低价战的代价
- ·Claude 3破译OpenAI邮件密文:人类未来掌握在「谷歌」手中!马斯克怒斥应改名ClosedAI
- ·替换万物3D!Meta 推ReplaceAnything3D可用文本引导3D场景编辑
- ·realme真我12/12 海外发布,采用120Hz 屏、5000mAh 电池