会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 港大开源图基础大模型OpenGraph 增强图学习泛化能力!

港大开源图基础大模型OpenGraph 增强图学习泛化能力

时间:2024-07-04 04:44:10 来源:带水拖泥网 作者:短视频 阅读:576次

港大开源图基础大模型OpenGraph 增强图学习泛化能力

CSS站长资源(ChinaZ.com)5月9日 消息:香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的开源图基础大模型,专注于在多种图数据集上进行零样本预测。图基该模型通过学习通用的模型图结构模式,仅通过前向传播即可对全新数据进行预测,强图有效缓解了图学习领域的学习数据饥荒问题。

关键特点:

  • 强泛化能力:OpenGraph 旨在通过图结构模式学习,泛化实现对未见数据的开源零样本预测。

  • 提示调整技术:团队提出的图基提示调整技术提高了模型对新任务的适应性。

  • GitHub 开源:该工作已在 GitHub 上开源,模型供学术界和工业界使用和研究。强图

  • 数据集间 token 差异解决:模型能够跨不同图数据集进行预测,学习解决了数据集间 token 差异的泛化问题。

  • 节点关系建模:在构建通用图模型时,开源有效建模节点关系,图基对模型的模型扩展性和效率至关重要。

  • 数据稀缺问题的解决:通过大型语言模型进行数据增强,模拟复杂的图结构关系,提升模型训练质量。

  • 模型架构:OpenGraph 模型由统一图 Tokenizer、可扩展的图 Transformer 和基于大语言模型的知识蒸馏技术三个核心部分组成。

  • 实验验证:在多样化的真实场景数据集上进行测试,涵盖节点分类和链接预测任务,OpenGraph 在零样本预测中表现优异。

  • 未来工作:团队计划增加框架的自动化能力,自动识别噪声连接,进行反事实学习,并提取图结构的通用模式,以推动模型的应用范围和效果。

研究结论:

OpenGraph 作为图基础模型构建的初步尝试,通过在多个标准数据集上的广泛测试,证明了其出色的泛化性能。研究人员希望借助 OpenGraph 显著增强模型在零样本图学习任务中的泛化能力,并探索多种下游应用。

项目地址:https://github.com/HKUDS/OpenGraph

论文地址:https://arxiv.org/pdf/2403.01121

(责任编辑:短视频)

相关内容
  • 嗨AI海报体验入口 人工智能一键海报设计工具软件在线使用地址
  • 新麒麟下放2000元档!华为MatePad 11.5"S灵动版与Mate60同款处理器
  • 全域霸屏、TA破圈、全场景精准提效三步走,品牌商家打响618增长新战役
  • 首播连更4集!《庆余年第二季》官宣今晚开播:先导plus预告发布
  • 华为申请合界商标 此前已注册享界、傲界等类似商标
  • 李斌详解乐道品牌Logo:一条向上的路
  • 某电商平台小二被抓,一年受贿9200万元
  • 问界M5推出小订用户礼:转大定额外补贴1000元现金
推荐内容
  • 涨粉300万!90后讲师何楚涵,边讲课边玩短视频,仅半年成为“最会讲故事的女博士”
  • OPPO Reno12系列搭载超美小直屏,引领潮流美学新风尚
  • Redmi性能归来!曝K70版7月发
  • AMD Zen5笔记本处理器全部改名!不再区分H、HS、U
  • 全球!三星Galaxy S24 Ultra DXO屏幕得分155分:碾压iPhone 15 Pro Max
  • 定义家庭用车新标准!蔚来乐道独创购车家庭价格公式