【PDFTriage：PDF分诊技术 】
该技术由斯坦福大学和Adobe 研究团队共同开发，主要解决了ChatGPT在处理长篇、结构复杂的文档（如PDF、网页、演示文稿等）时遇到理解不全或回答问题不准确的问题。
PDFTriage通过先了解文档的结构，然后精准地找到与用户问题相关的部分，最后用语言模型生成答案，从而解决了传统模型在处理长篇和复杂结构文档时的不足。
大型语言模型（LLM）在处理长篇、结构复杂的文档时面临以下几个主要问题：
1、上下文窗口限制：LLM通常有一个固定的上下文窗口大小，这意味着它一次只能处理有限数量的文本“令牌”（tokens）。对于长篇文档，这就需要进行预处理或分割，以便模型能够处理。
2、文档结构忽略：传统的LLM通常只处理纯文本，忽略了文档的结构信息（如页面、表格、标题等）。这在处理PDFs、网页或演示文稿等结构复杂的文档时会导致问题。
3、查询不准确：由于缺乏对文档结构的理解，当用户提出与文档结构有关的问题（例如，“表3中哪一年的收益最高？”）时，传统的LLM往往无法准确回答。
4、信息获取不全面：在处理结构复杂的文档时，仅仅依赖文本内容可能会导致信息获取不全面或不准确。
实验评估：
研究者创建了一个包含约900个问题和90份文档的数据集进行评估。实验结果显示，PDFTriage技术在处理各种类型的文档时都表现出色，优于现有的方法。
用户反馈：
根据用户反馈，PDFTriage生成的答案在多页任务（如结构问题和表格推理）中排名更高，而在一般文本任务（如分类和文本问题）中排名较低。然而，在所有问题类别中，PDFTriage都优于页面检索和块检索方法。
论文：https://arxiv.org/abs/2309.08872
文章转载自互联网的那些事 https://weibo.com/u/1627825392
- 复制链接
- 举报
