RAG：Native RAG,向量与Embedding，向量模型本地部署，向量间相似度计算

Native RAG:

文档分块：

1、按照句子来切分

2、按照字符数来切分

3、按照固定字符数 结合overlapping window

4、递归方法

1、按照句子来切分

.py import re text = '巴拉巴拉，balabala,巴拉巴拉巴拉。' sent = re.splirt(r'。|？|！|\...|\...'，text) #使用正则 print（sent）

chunks = [] //把句号添加到前一句话里 for sen,pun in zip(sent[::2],sent[1::2]): chunks.append(sen+pun) print(chunks)

2、按照字符数来切分

import re text = '巴拉巴拉，balabala,巴拉巴拉巴拉。' chunks = [] //每隔50长度分割一次 for i in range(0,len(text),50)" chunks.append(text[i:i+50]) print(chunks)

还有重叠分割

4、递归分割

文档分割完 进行向量化

向量与Embedding

向量模型本地部署

下载模型到本地

向量间相似度计算：使用余弦距离1最相似和欧式距离0最相似