港大开源OpenGraph:攻克图基础模型难题,实现多领域通用图模型
要点:
1. 港大发布OpenGraph,港大h攻首次攻克图基础模型的开源克图三大难题,实现零样本学习适配多种下游任务。基础
2.OpenGraph通过统一图Tokenizer、模型模型可扩展的难题图Transformer和大语言模型知识蒸馏三部分构建通用图模型。
3.实验验证显示OpenGraph在跨数据集预测和图Tokenizer设计方面的实现优越性,以及基于LLM的多领知识蒸馏方法的有效性。
CSS站长资源(ChinaZ.com)3月15日 消息:近期,域通用图香港大学发布了OpenGraph,港大h攻这是开源克图一项突破性的成果,成功攻克了图基础模型领域的基础三大难题。该模型通过巧妙的模型模型技术实现了零样本学习,可以适配多种下游任务。难题OpenGraph的实现构建主要分为统一图Tokenizer、可扩展的多领图Transformer和大语言模型知识蒸馏三个部分。
OpenGraph通过创建统一的图Tokenizer解决了不同数据集之间节点集合和特征空间的变化问题。采用拓扑感知映射方案,实现了对不同图数据的高效tokenization,使得模型能够更好地理解和处理不同的图结构。
论文地址:https://arxiv.org/pdf/2403.01121.pdf
可扩展的图Transformer部分引入了采样技巧,包括Token序列采样和自注意力中的锚点采样方法。这些技巧有效降低了模型的训练时间和空间开销,同时保证了模型在复杂依赖关系建模方面的强大能力。
OpenGraph利用大型语言模型进行知识蒸馏,通过生成各种图结构数据进行训练,弥补了真实数据稀缺的问题。实验验证显示,OpenGraph在跨数据集预测和图Tokenizer设计方面具有显著优势,并且基于LLM的知识蒸馏方法也得到了有效验证。
OpenGraph的问世填补了图基础模型领域的空白,为通用图模型的发展提供了新的思路和技术支持,具有广泛的应用前景。
(责任编辑:知识)
- ·雪太大了 不少返乡人困湖北高速:电动车纷纷趴窝 油车主心疼
- ·公司欲取名深圳不怕影子斜被拒绝 网友:名字过于离谱
- ·AmbientGPT有哪些功能免费吗?怎么使用方法详细教程指南
- ·realme GT7 Pro即将亮相:搭载骁龙8 Gen4 性能可期
- ·广州鼓励网约车去机场火车站接单 确保旅客出行顺畅
- ·播放量超15亿次,“先秦淑女步”刷屏,他们到底在“素”什么?
- ·麦肯锡全球调查:生成式AI采用开始产生价值
- ·realme GT7 Pro即将亮相:搭载骁龙8 Gen4 性能可期
- ·苹果天价头显Vision Pro首摔来了:玻璃盖板碎成蜘蛛网 维修要5750元
- ·骆驼吃柠檬被酸出表情包 网友:酸爽到疯狂甩头
- ·Photo Factory官网体验入口 人工智能AI肖像生成服务平台在线使用地址
- ·半年花8万,年轻人开始疯抢“捏捏”
- ·TikTok Shop跨境电商启动“亿元俱乐部”,美区商家的机会来了
- ·这款AI产品为你提供一个游戏搭子,用Agent的方式在《我的世界》挖钻石
- ·76岁好莱坞硬汉演员卡尔·韦瑟斯去世 施瓦辛格发文悼念
- ·骆驼吃柠檬被酸出表情包 网友:酸爽到疯狂甩头
- ·反向合资时代来临!雷诺将与中国车企合作研发纯电车:竞争比亚迪
- ·iPhone 16 Pro系列设计突破性进展 苹果再次领先于竞争对手
- ·周星驰短剧商标已被申请注册 《金猪玉叶》预计 5 月在抖音上线
- ·周鸿祎回应为何选择问界M9:十个理由都绰绰有余 安全排