news 2026/8/8 0:34:27

06-FAISS向量数据库

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
06-FAISS向量数据库

①.基于 FAISS(Facebook 开源的高效向量检索库)和 LangChain 构建的中文文本向量检索系统,核心功能是将文本数据向量化后存入 FAISS 向量库,并实现相似性检索。

1.安装FAISS

pip install faiss-cpu,也可以是gpu,看具体使用情况

2.实现代码

import faiss from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_huggingface import HuggingFaceEmbeddings from langchain_core.documents import Document model_name = "BAAI/bge-large-zh-v1.5" model_kwargs = {'device': 'cpu'} encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity bge_hf_embedding = HuggingFaceEmbeddings( model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs, ) #1.初始化数据库 #先创建索引 #向量维度 index=faiss.IndexFlatL2(1024) vector_store=FAISS( embedding_function=bge_hf_embedding, index=index, docstore=InMemoryDocstore(), index_to_docstore_id={} ) # 2、 准备数据(Document) #page_content里面的数据必须经过向量化,不需要向量化的数据放在metadata document_1 = Document( page_content="今天早餐我吃了巧克力薄煎饼和炒蛋。", metadata={"source": "tweet", "time": "上午"}, ) document_2 = Document( page_content="明天的天气预报是阴天多云,最高气温62华氏度。", metadata={"source": "news"}, ) document_3 = Document( page_content="正在用LangChain构建一个激动人心的新项目——快来看看吧!", metadata={"source": "tweet"}, ) document_4 = Document( page_content="劫匪闯入城市银行,盗走了100万美元现金。", metadata={"source": "news"}, ) document_5 = Document( page_content="哇!那部电影太精彩了,我已经迫不及待想再看一遍。", metadata={"source": "tweet"}, ) document_6 = Document( page_content="新iPhone值得这个价格吗?阅读这篇评测一探究竟。", metadata={"source": "website"}, ) document_7 = Document( page_content="当今世界排名前十的足球运动员。", metadata={"source": "website"}, ) document_8 = Document( page_content="LangGraph是构建有状态智能体应用的最佳框架!", metadata={"source": "tweet"}, ) document_9 = Document( page_content="由于对经济衰退的担忧,今日股市下跌500点。", metadata={"source": "news"}, ) document_10 = Document( page_content="我有种不好的预感,我要被删除了 :(", metadata={"source": "tweet"}, ) documents = [ document_1, document_2, document_3, document_4, document_5, document_6, document_7, document_8, document_9, document_10, ] ids=['id'+str(i+1) for i in range(len(documents))] vector_store.add_documents(documents,ids=ids) #把数据库写入磁盘 vector_store.save_local('../faiss_db') #语言检索 resp=vector_store.similarity_search('今天的投资建议',2) for i in resp: print(i.page_content) print(type(i))

输出:

左边的文件栏也会出现保存的数据库:

②.从保存的向量数据库中进行检索

from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_core.embeddings import Embeddings from sentence_transformers import SentenceTransformer from langchain_core.documents import Document import faiss class CustomQwen3Embeddings(Embeddings): ''' 定义一个Qwen3的Embedding和lang'chain整合的类 ''' def __init__(self,model_name): self.qwen3_embedding = SentenceTransformer(model_name) #输入的问题向量化 def embed_query(self, text: str) -> list[float]: return self.embed_documents([text])[0] #文本内容向量化 def embed_documents(self, texts: list[str]) -> list[list[float]]: return self.qwen3_embedding.encode(texts) qwen3=CustomQwen3Embeddings('Qwen/Qwen3-Embedding-0.6B') #加载数据库 vector_store=FAISS.load_local('../faiss_db',embeddings=qwen3,allow_dangerous_deserialization=True) resp = vector_store.similarity_search_with_score('有美食的内容吗', k=4, filter={"source": 'tweet'}) # 带分数 for i,score in resp: print(type(i)) print(i) print(i.id) print(f"{score:3f}")

输出:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/7 12:42:09

HunyuanVideo-Foley:AI让视频自动配声

HunyuanVideo-Foley:AI让视频自动配声 你有没有试过剪完一段精心拍摄的日常vlog,回放时却像在看默片?——人影走动、锅铲翻飞,画面热火朝天,耳朵却一片死寂。观众还没来得及沉浸,就被这“无声胜有声”的尴尬…

作者头像 李华
网站建设 2026/8/7 22:07:45

信息安全技术与Kali Linux

信息安全技术概述 信息安全技术旨在保护信息系统中的数据免受未经授权的访问、泄露、篡改或破坏。其核心目标是确保数据的机密性、完整性和可用性(CIA三要素)。随着数字化进程加速,信息安全技术已成为企业、政府及个人的关键需求。 核心信息…

作者头像 李华
网站建设 2026/8/7 22:07:39

GEO系统:多区域搜索排名监控与品牌形象统一维护解决方案

一、品牌资产管理的数字化挑战在全球化运营和数字化营销时代,企业品牌面临两大核心挑战:区域分散性:不同地区搜索结果差异导致的品牌曝光不均衡形象碎片化:多渠道内容传播引发的品牌认知不一致二、GEO系统核心功能架构1. 智能多区…

作者头像 李华
网站建设 2026/8/6 20:47:21

17、Apache服务器的代理配置、URL重写、自定义日志及性能监控

Apache服务器的代理配置、URL重写、自定义日志及性能监控 在Web服务器管理中,Apache是一款广泛使用的开源服务器软件。本文将详细介绍Apache服务器的代理配置、URL重写、自定义日志创建以及性能监控的相关知识和操作步骤。 1. 代理服务器配置 当代理服务器正确设置后,若客…

作者头像 李华
网站建设 2026/8/6 20:06:51

18、Apache服务器性能测试与配置全解析

Apache服务器性能测试与配置全解析 1. 基础问题解答 在使用Apache服务器时,有一些基础问题需要了解。例如,若要在重启服务器前拒绝所有新请求并完成所有待处理请求,可使用 apachectl graceful 选项。 ab 工具的默认请求数为1,而Web服务器守护程序常用的配置文件是 h…

作者头像 李华
网站建设 2026/8/7 14:14:50

PostgreSQL 18 远程操作实战:从连接到备份的操作实践记录

PostgreSQL 18 远程操作实战:从连接到备份的完整指南 引言 作为一名开发者,掌握数据库的基本操作是必备技能之一。最近我在 Ubuntu 24.04 服务器上安装了 PostgreSQL 18,为了更好地理解和掌握 PostgreSQL 的日常管理和操作,我进…

作者头像 李华