港大开源图基础大模型OpenGraph 增强图学习泛化能力
CSS站长资源(ChinaZ.com)5月9日 消息:香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的开源图基础大模型,专注于在多种图数据集上进行零样本预测。图基该模型通过学习通用的模型图结构模式,仅通过前向传播即可对全新数据进行预测,强图有效缓解了图学习领域的学习数据饥荒问题。
关键特点:
强泛化能力:OpenGraph 旨在通过图结构模式学习,泛化实现对未见数据的开源零样本预测。
提示调整技术:团队提出的图基提示调整技术提高了模型对新任务的适应性。
GitHub 开源:该工作已在 GitHub 上开源,模型供学术界和工业界使用和研究。强图
数据集间 token 差异解决:模型能够跨不同图数据集进行预测,学习解决了数据集间 token 差异的泛化问题。
节点关系建模:在构建通用图模型时,开源有效建模节点关系,图基对模型的模型扩展性和效率至关重要。
数据稀缺问题的解决:通过大型语言模型进行数据增强,模拟复杂的图结构关系,提升模型训练质量。
模型架构:OpenGraph 模型由统一图 Tokenizer、可扩展的图 Transformer 和基于大语言模型的知识蒸馏技术三个核心部分组成。
实验验证:在多样化的真实场景数据集上进行测试,涵盖节点分类和链接预测任务,OpenGraph 在零样本预测中表现优异。
未来工作:团队计划增加框架的自动化能力,自动识别噪声连接,进行反事实学习,并提取图结构的通用模式,以推动模型的应用范围和效果。
研究结论:
OpenGraph 作为图基础模型构建的初步尝试,通过在多个标准数据集上的广泛测试,证明了其出色的泛化性能。研究人员希望借助 OpenGraph 显著增强模型在零样本图学习任务中的泛化能力,并探索多种下游应用。
项目地址:https://github.com/HKUDS/OpenGraph
论文地址:https://arxiv.org/pdf/2403.01121
(责任编辑:短视频)
- ·考古了!苹果给安全研究员的iPhone 14 Pro送礼
- ·华为夏季全场景发布会汇总,鸿蒙生态再添众多新品
- ·支持5.5G网络!荣耀Magic6系列推送MagicOS 8.0.0.136升级
- ·电视操作太复杂 北京治理354家酒店:确保开机看直播
- ·英国超半数本科生承认使用AI辅助写作
- ·起猛了看到贝克汉姆养鸡:分享自己退休生活
- ·天猫:618将为商家提供2000亿极速回款额度
- ·美国18岁女罪犯因颜值超高爆红 将面临逃逸指控
- ·全球!三星Galaxy S24 Ultra DXO屏幕得分155分:碾压iPhone 15 Pro Max
- ·Deep Paint:一款可以直接在3D空间中绘画的插件
- ·ARC浏览器发布了2个好用功能 彻底改变传统搜索模式
- ·消息称小米SU7计划6月开启双班生产:月产能有望增至近2万台
- ·曝iOS 17.5恢复已删除多年照片 苹果官方暂未回应
- ·AI日报:谷歌杀器硬刚GPT-4o、Sora;字节推出豆包大模型“全家桶”;阿里再推AI虚拟试衣神器;腾讯开源混元文生图大模型
- ·理想汽车:春节假期开放全部超充站 理想车主免费充电
- ·AMD Zen5笔记本处理器全部改名!不再区分H、HS、U
- ·起猛了看到贝克汉姆养鸡:分享自己退休生活
- ·更先进的AIGC,为何却改变不了手机自拍美颜
- ·坐实国产!苹果Vision Pro产地公布:原汁原味的中国制造
- ·消息称小米SU7计划6月开启双班生产:月产能有望增至近2万台