热门
最新
红包
立Flag
投票
同城
我的
发布
微软研究人员结合小型和大型语言模型以更快、更准确地检测幻觉
微软负责任AI团队的研究人员提出了一种强大的工作流程，以应对大语言模型（LLM）中幻觉检测的挑战。这种方法通过结合一个小型分类模型（具体来说是一个小型语言模型，SLM）和一个名为“受约束推理器”的下游LLM模块，旨在平衡延迟和可解释性。SLM执行初步幻觉检测，而LLM模块解释检测到的幻觉。这种方法利用了实际使用中幻觉相对不频繁的情况，使得使用LLMs对幻觉文本进行推理的平均时间成本变得可控。此外，该方法利用LLMs现有的推理和解释能力，消除了对大量特定领域数据的需求以及与微调相关的显著计算成本。
该框架解决了SLMs和LLMs结合时可能出现的一个问题：SLM的决策与LLM的解释之间的一致性。在幻觉检测中，检测和解释之间的一致性尤为重要。研究集中在解决两阶段幻觉检测框架中的这一问题。此外，研究人员分析了LLM关于SLM决策和真实标签的推理，探索了LLMs作为反馈机制来改进检测过程的潜力。该研究作出了两项主要贡献：引入了一个用于幻觉检测的受约束推理器，平衡了延迟和可解释性，并提供了对上游-下游一致性全面分析以及提高检测和解释对齐的实际解决方案。这种方法的有效性在多个开源数据集上得到了验证......
阅读我们对此的完整看法：https://www.marktechpost.com/2024/08/31/microsoft-researchers-combine-small-and-large-language-models-for-faster-more-accurate-hallucination-detection/
论文：https://arxiv.org/abs/2408.12748
@passage T @凌小燕
CSDN App 扫码分享
评论
11
- 复制链接
- 举报
下一条：
Cartesia AI发布Rene：一个突破性的13亿参数开源小型语言模型，正在改变自然语言处理应用Cartesia AI通过发布Rene，一个13亿参数的语言模型，做出了显著贡献。这个开源模型基于Mamba-2的前馈和滑动窗注意力层的混合架构，是自然语言处理（NLP）领域的一个里程碑式的发展。通过利用大规模数据集和尖端架构，Rene有望为从文本生成到复杂语言理解任务的各种应用做出贡献。Rene的架构是其最显著的特点之一。该模型基于Mamba-2框架，集成了前馈和滑动窗注意力层。这种混合方法使模型能够有效管理长距离依赖关系和上下文，这对于理解和生成连贯的文本至关重要。特别是滑动窗注意力机制，帮助Rene在处理大量数据时保持对相关文本部分的关注，使其在需要上下文理解的任务中更加高效。阅读全文请访问：https://www.marktechpost.com/2024/08/31/cartesia-ai-released-rene-a-groundbreaking-1-3b-parameter-open-source-small-language-model-transforming-natural-language-processing-applications/模型链接：https://huggingface.co/cartesia-ai/Rene-v0.1-1.3b-pytorch@宇宙长
