热门

最新

红包

立Flag

投票

同城

我的

发布
techsavvyllamaindex
llama_index
2 年前
truetechsavvyllamaindex

生成多模态报告 📄🖼️,利用先进的RAG + 结构化输出

这个周末,学习如何基于现有的复杂数据源(一个充满表格、图表和图片的幻灯片)自动生成包含交错文本和图片的多模态报告。

这比标准的QA界面迈进了一大步,后者通常只生成简短的回应。这还需要几个组件一起工作才能实现:

1. 使用LlamaParse解析复杂的幻灯片,利用我们的联合文本+多模态能力——返回文本和图片块!
2. 索引文本和图片块。你可以进行向量索引——在这里我们通过摘要索引存储所有块。
3. 定义一个包含交错文本和图片块的结构化输出模式。这是生成复杂报告的好格式。

输出是包含文本和图片的复杂文档。

Notebook:
https://github.com/run-llama/llama_parse/blob/main/examples/multimodal/multimodal_report_generation.ipynb

注册LlamaParse: https://cloud.llamaindex.ai/

CSDN App 扫码分享
分享
2
31
  • 复制链接
  • 举报
下一条:
关于代理用户体验的最终博客(暂时)内容涵盖:🧮电子表格(批量运行代理)🖼️生成式用户界面(代理生成用户界面)👩‍👧协作式(代理/人类在Google文档中共同工作)https://blog.langchain.dev/ux-for-agents-part-3/
立即登录