热门

最新

红包

立Flag

投票

同城

发布
devhelicone
来回吃bug
2 年前
truedevhelicone

5. 可观测性
深入了解你的大语言模型（LLM）应用中的成本模式对于成本优化非常重要。你可以使用像Helicone这样的可观测性平台来监控每个LLM的成本，比较模型输出并优化你的提示。

Helicone采用比其他选择更简单的方法，只需一行代码集成即可在各种模型和提供商中使用。
评论
9
  • 复制链接
  • 举报
下一条：
4. 使用RAG而不是将所有内容发送给LLM你还可以使用检索增强生成（RAG）代替直接将所有数据发送给LLM。RAG通过首先搜索预先索引的数据库来查找相关片段，然后将这些片段与原始查询一起提供给LLM，从而结合了信息检索和语言生成。RAG有助于减少发送给LLM的数据量，减少API调用和处理的tokens，从而降低成本。