type
status
date
slug
summary
tags
category
icon
password
背景
RAG是一种搜索增强技术。首先大模型的训练集是一段时间内固定的，因为训练成本十分高昂，不可能抓取实时的信息进行作为训练集进行知识补充。所以用户在咨询一些实时的信息时，大模型的回答并不可靠。
方法
- 用户输入句子之后，用大模型拆分问题，转化为多个句向量
- 外挂一个知识向量库，作为大模型实时查询信息的补充
- 计算句向量跟知识向量库中每一项的余弦值，也就是相似度。使用bert等语言模型可以计算短句之间的相似度。
- 捞出相似度高的几个知识，作为大模型的输入
- 大模型输出回答给用户