Talk like a graph: Encoding graphs for large language models
中文摘要
由模型生成 · 人工抽检Google Research 在 ICLR 2024 提出将图结构编码为文本以提升 LLM 图推理能力,并发布 GraphQA 基准。研究发现编码方式、任务类型和图结构会影响性能,选对编码方法可使 LLM 图任务表现提升高达 60%。
全文
已译中文GraphQA 聚焦于与图相关的简单任务,例如检查某条边是否存在、计算节点或边的数量、查找与特定节点相连的节点,以及检查图中是否存在环。这些任务看似基础,但需要理解节点与边之间的关系。通过涵盖从识别模式到创建新连接等不同类型的挑战,GraphQA 帮助模型学习如何有效地分析图。这些基础任务对于图上更复杂的推理至关重要,例如寻找节点之间的最短路径、检测社区或识别有影响力的节点。此外,GraphQA 还包括使用各种算法生成随机图,如 Erdős-Rényi、无标度网络、Barabasi-Albert 模型 和 随机块模型,以及更简单的图结构,如路径图、完全图和星形图,从而为训练提供多样化的数据集。
在处理图时,我们还需要找到让 LLM 能够理解的、提出图相关问题的方式。提示词启发式方法 是实现这一目标的不同策略。下面我们来拆解常见的几种:
- 零样本 :只需描述任务(“这个图中是否存在环?”)并让 LLM 自行处理。不提供任何示例。 - 少样本 :这就像在正式测试前给 LLM 做一个小型练习测试。我们提供几个示例图问题及其正确答案。 - 思维链 :在这里,我们通过示例向 LLM 展示如何逐步分解问题。目标是教会它在面对新图时生成自己的“思考过程”。 - 零样本思维链 :与思维链类似,但我们不给训练示例,而是给 LLM 一个简单的提示词,比如“让我们一步一步地思考”,以触发它自己的问题解决分解。 - BAG(构建图) :这专门针对图任务。我们在描述中添加“让我们构建一个图……”这句话,帮助 LLM 聚焦于图结构。
我们探索了将图转换为 LLM 可以处理的文本的不同方式。我们的关键问题是:
- 节点编码 :我们如何表示单个节点?测试的选项包括简单的 整数 、常见名称(人物、角色)和字母。 - 边编码 :我们如何描述节点之间的关系?方法包括括号表示法、像“是朋友”这样的短语,以及像箭头这样的符号表示。
各种节点和边编码被系统地组合在一起。这产生了如下图所示的功能:
请输出本段的中文译文:
本译文由模型自动生成,仅供参考与快速理解;涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
3 个 · 均跳转原站,本站不托管文件正文为原站公开内容的抓取与清洗结果,英文条目附模型生成的中文译文;两者均仅供参考, 准确内容请以原站为准。内容版权归原作者所有,若认为侵权请联系我们下线。