热门

最新

红包

立Flag

投票

同城

发布
techsavvyak
_akhaliq
2 年前
truetechsavvyak

在没有任何视觉输入的情况下，在MMMMU基准测试中表现出色，并且在六个基准测试中平均超过20%胜过随机选择的基线。2）在LLM和LVLM训练中存在非故意的数据泄露。即使没有视觉信息，LLM和LVLM仍能回答一些需要视觉的问题。
评论
10
  • 复制链接
  • 举报
下一条：
两个主要问题：1) 对于许多样本来说，视觉内容是不必要的。答案可以直接从问题和选项中推断出来，或者利用大型语言模型（LLMs）中嵌入的世界知识。这一现象在当前的基准测试中非常普遍。例如，GeminiPro取得了42.9%的成绩。