无一大模子合格！北大、通研院提议超难基准，专诚评估长文关节会生成

股票杠杆

杠杆炒股，股票融资！

发布日期：2024-08-11 10:00 点击次数：144

这些模子的多信息检索、时分重排序、操办、相识推明智商弘扬均不乐不雅。

在长文关节会智商这块，居然莫得一个大模子合格！

北大聚合北京通用东谈主工智能探讨院提议了一个新基准数据集：LooGLE，专诚用于测试和评估谎话语模子（LLMs）长险阻文相识智商。

该数据集既冒昧评估LLMs对长文本的治理和检索智商，又不错评估其对文本长程依赖的建模和相识智商。

效果不评不知谈，一评估发现这些模子在复杂的长依赖任务中的多信息检索、时分重排序、操办、相识推明智商弘扬均不乐不雅。

比如像Claude3-200k，GPT4-32k、GPT4-8k、GPT3.5-turbo-6k、LlamaIndex这种买卖模子，平均唯有40%的准确率。

而像开源模子弘扬就更不睬想了…

ChatGLM2-6B、LongLLaMa-3B、RWKV-4-14B-pile、LLaMA-7B-32K平均唯有10%的准确率。

现在该论文已被ACL 2024接管。

论文共吞并行为通研院的李佳琪、王萌萌，通信作家为通研院探讨员郑子隆和北京大学东谈主工智能探讨院助理造就张牧涵。

LooGLE基准测试

LooGLE基准测试主要有这么几个性情：

率先，它包含包含近 800 个最新荟萃的超长文档。平均近2万字（是现存同样数据集长度的2倍），并从这些文档中再行生成了6千个不同规模和类别的任务/问题用于构建LooGLE。

现在现在莫得既评估LLMs对长文本的治理和记忆，又评估其对文本长程依赖的建模和相识智商的数据集。

LooGLE的数据集由7个主要的任务类别构成，旨在评估LLMs相识短程和长程依赖本体的智商。

团队假想了5种类型的长久依赖任务，包括相识与推理、操办、时分线再行排序、多重信息检索和节录。

通过东谈主工标注全心生成了跳跃1100对高质料的长依赖问答对，以知足长依赖性条款。这些问答对经过了严格的交叉考证，从而得到了对大型话语模子（LLMs）长依赖智商的精准评估。

LooGLE基准数据集仅包含2022年之后发布的文本，尽可能地幸免了预施行阶段的数据浮现，锤真金不怕火大模子应用其险阻体裁习智商来完成任务，而不是依靠记忆事实和常识储备。

该基准的文本源自曩昔招供的开源文档，包括了arxiv论文、维基百科著述以及电影和电视脚本，波及学术、历史、体育、政事、艺术、赛事、文娱等规模。

长文相识中长程问答任务生成

在本探讨中，团队组织了近百名标注者手工编制了约1100个果真的长依赖问答对，分为4类长依赖任务：多信息检索、时分重排序、操办、相识推理。

多信息检索：与传统的短期检索任务显赫不同，该任务下回应一个特定谜底经常需要在统共文本中征集多个踪迹或凭证。任务条款从长文本中曩昔溜达的有关凭证或踪迹中进行检索和提真金不怕火，贵金属投资然后对这些凭证进行汇总，材干得出最终谜底。

操办：与前一个任务访佛，率先需要从曩昔的文本中进行屡次信息检索提真金不怕火有关数字，举例对于数目、频率、握续时分、特定年份等。要得出准确的谜底，还需要对这些数字进行操办。这个进程既依赖于庞大的长险阻文信息提真金不怕火智商，况且波及一定进程的数学推明智商。

时分重排序：这个任务给大模子输入教唆“请再行胪列以下事件的时分轴”，以及一组按规则胪列的事件描绘。任务贪图是根据这些事件在长文本中出现的时分先后规则将这些事件胪列起来。奏凯完成这个任务需要对文档的主要故事情节进行抽取和相识，且条款模子具或然分意志。

相识推理：这个任务条款模子应用洒落在长险阻文中的凭证，深刻相识问题并推理出谜底。最常见的问题式样波及到因果筹商、影响、孝敬、作风以及与多样事件有关的基本属性。此外，当问题围绕着凭证的首要进程、显赫进程、最高或最重要方面时，则需要进行更曩昔的比拟和评估。此任务的谜底经常在源文本中不彰着。它们经常需要多步推理来模拟内在的筹商和依赖筹商，通过复杂的分析进程赢得谜底。

实验分析

为了提供更全面和通用的性能评估，LooGLE 使用基于语义同样性的度量、GPT4 行为判断的度量，以及东谈主类评估行为度量。在LooGLE上对9种开头进的长文本LLMs进行评估(其中包括OpenAI和Anthropic的商用模子，以及几个主流开源基座模子微调得到的长文本模子，和带有外部记忆模块的检索增强模子），得出了以下重要发现：

买卖模子显赫优于开源模子；

LLMs在短依赖任务（如短问答和填空任务）方面弘扬出色，但在更复杂的长依赖任务中均弘扬欠安；

CoT（念念维链）只在长险阻文相识方面带来了狭窄的阅兵；

基于检索的时候在短问答方面弘扬出彰着的上风，而通过优化的Transformer架构或位置编码来膨胀险阻文窗口长度的计谋对长险阻文相识的提高有限。