热门

最新

红包

立Flag

投票

同城

发布
weixin_33542634
weaviate_io
2 年前
trueweixin_33542634

基于LLM的分块：
这种先进技术使用语言模型（LLM）来生成块。LLM处理文本并生成可以独立存在的语义上独立的句子或命题。尽管这种方法的准确性很高，但它也是计算负担最重的。
1
18
  • 复制链接
  • 举报
下一条：
语义分块 在这个技术中，文本被划分为有意义的单位，比如句子或段落，然后这些单位被向量化。这些单位会根据它们嵌入向量之间的余弦距离被组合成块，每当检测到显著的上下文转换时，就会形成一个新的块。