基于LangChain的CSV数据检索增强生成（RAG）问答系统构建指南

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

基于LangChain的CSV数据检索增强生成（RAG）问答系统构建指南

2025-11-21

浏览次数：次

返回列表

基于LangChain的CSV数据检索增强生成（RAG）问答系统构建指南

本教程详细介绍了如何利用langchain框架构建一个基于csv文件的检索增强生成（rag）问答系统。文章涵盖了从csv数据加载、文本切分、嵌入生成到faiss向量数据库创建的完整流程。核心内容在于如何将faiss检索器集成到聊天机器人中，使语言模型能够根据用户查询从csv数据中检索相关信息，并结合这些信息生成准确、上下文感知的回答，从而有效解决llm的幻觉问题并增强其知识库。

引言：检索增强生成（RAG）与自定义数据问答

在大型语言模型（LLM）的应用中，一个常见的挑战是如何让模型回答其训练数据之外的特定领域知识。检索增强生成（Retrieval Augmented Generation, RAG）是一种有效的解决方案，它允许LLM在生成答案之前，先从外部知识库中检索相关信息，然后基于这些信息生成更准确、更具上下文感的回答。本教程将指导您如何使用LangChain库，结合FAISS向量数据库和OpenAI API，构建一个能够从CSV文件中提取信息并回答用户问题的应用程序。

1. 数据准备与向量数据库构建

首先，我们需要将CSV文件中的结构化数据转换为LLM可以理解和检索的格式。这通常涉及数据加载、文本切分、生成嵌入（embeddings）以及构建向量数据库。

1.1 数据加载与文本切分

LangChain提供了CSVLoader来方便地加载CSV文件。加载后，为了更好地进行嵌入和检索，我们需要将数据切分成更小的文本块（chunks）。对于CSV文件，如果每行代表一个独立的实体（如本例中的景点），通常可以按行进行切分。

from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.document_loaders.csv_loader import CSVLoader

# 定义FAISS向量数据库的保存路径
DB_FAISS_PATH = "vectorstore/db_faiss"
# 加载CSV文件，指定编码和分隔符
loader = CSVLoader(file_path="./data/cleanTripLisbon.csv", encoding="utf-8", csv_args={'delimiter': ','})
data = loader.load()

# 文本切分器，这里假设每行是一个独立的文档，所以使用换行符作为分隔符
# 注意：对于更复杂的文本，可能需要更智能的切分策略
text_splitter = CharacterTextSplitter(separator='\n', chunk_size=1000, chunk_overlap=0)
text_chunks = text_splitter.split_documents(data)

print(f"原始文档数量: {len(data)}")
print(f"切分后文本块数量: {len(text_chunks)}")

1.2 嵌入生成与FAISS向量数据库创建

文本切分后，我们需要将这些文本块转换为数值向量（即嵌入），以便进行相似性搜索。HuggingFaceEmbeddings允许我们使用各种预训练的Transformer模型来生成嵌入。FAISS是一个高效的相似性搜索库，我们将使用它来存储这些嵌入并进行快速检索。

# 初始化HuggingFace嵌入模型
# 'sentence-transformers/all-MiniLM-L6-v2' 是一个轻量级且性能良好的模型
embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')

# 从文本块和嵌入模型创建FAISS向量数据库
docsearch = FAISS.from_documents(text_chunks, embeddings)
# 将FAISS向量数据库保存到本地，以便后续加载和使用
docsearch.s*e_local(DB_FAISS_PATH)

print(f"FAISS向量数据库已创建并保存到: {DB_FAISS_PATH}")

这段代码首先加载CSV数据，将其切分成文档，然后使用预训练的HuggingFace模型生成每个文档块的嵌入。最后，这些嵌入被存储在一个FAISS向量数据库中，并保存到磁盘以备将来使用。

2. 聊天机器人核心逻辑

为了与LLM进行交互，我们通常需要一个封装了API调用和消息历史管理功能的辅助类。

2.1 GPT_Helper 类

GPT_Helper类负责与OpenAI API进行通信，管理对话历史，并获取模型的完成（completion）。

CA.LA

第一款时尚产品在线设计平台，服装设计系统

94 查看详情 CA.LA

from openai import OpenAI
from util import local_settings # 假设local_settings包含OPENAI_API_KEY

class GPT_Helper:
    def __init__(self, OPENAI_API_KEY: str, system_beh*ior: str = "", model="gpt-3.5-turbo"):
        self.client = OpenAI(api_key=OPENAI_API_KEY)
        self.messages = [] # 存储对话历史
        self.model = model

        if system_beh*ior:
            # 设置系统角色，指导模型的行为
            self.messages.append({
                "role": "system",
                "content": system_beh*ior
            })

    def get_completion(self, prompt, temperature=0):
        # 将用户提示添加到消息历史
        self.messages.append({"role": "user", "content": prompt})

        # 调用OpenAI API获取模型响应
        completion = self.client.chat.completions.create(
            model=self.model,
            messages=self.messages,
            temperature=temperature,
        )

        # 将模型的响应添加到消息历史
        self.messages.append(
            {
                "role": "assistant",
                "content": completion.choices[0].message.content
            }
        )
        return completion.choices[0].message.content

    def reset_messages(self):
        """重置对话历史，保留系统行为（如果存在）"""
        system_message = None
        if self.messages and self.messages[0]["role"] == "system":
            system_message = self.messages[0]
        self.messages = []
        if system_message:
            self.messages.append(system_message)

3. 将检索功能集成到聊天机器人中

这是RAG模式的核心：如何让聊天机器人利用向量数据库检索到的信息来增强其生成能力。

3.1 改造 AttractionBot 以支持检索

为了将CSV数据整合到问答流程中，我们需要修改AttractionBot类，使其在生成响应之前，先从docsearch对象中检索相关信息。docsearch.as_retriever()方法可以将FAISS向量数据库转换为一个检索器对象。

from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings

# 假设docsearch已经通过前面的步骤创建并加载
# 如果是重新运行，可能需要先加载
# embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')
# docsearch = FAISS.load_local(DB_FAISS_PATH, embeddings) # 重新加载向量数据库

class AttractionBot:
    def __init__(self, system_beh*ior: str, docsearch: FAISS):
        self._system_beh*ior = system_beh*ior
        self._username = None

        # 初始化GPT_Helper
        self.engine = GPT_Helper(
            OPENAI_API_KEY=local_settings.OPENAI_API_KEY,
            system_beh*ior=system_beh*ior
        )

        # 将FAISS向量数据库转换为检索器
        self.doc_retriever = docsearch.as_retriever()

    def set_username(self, username):
        self._username = username

    def generate_response(self, message: str):
        # 包含用户名（如果可用）
        user_message = f"{self._username}: {message}" if self._username else message

        # 使用检索器获取与用户查询最相关的信息
        # retrieve方法返回的是Document对象列表
        relevant_docs = self.doc_retriever.retrieve(user_message)

        # 将检索到的文档内容组合成一个上下文字符串
        # 这是一个关键步骤，将外部知识注入到LLM的输入中
        context = "\n\n".join([doc.page_content for doc in relevant_docs])

        # 构建包含检索上下文的完整提示
        # 明确告诉LLM基于提供的上下文来回答问题
        rag_prompt = f"请根据以下信息回答问题：\n\n{context}\n\n用户问题: {user_message}\n\n回答："

        # 使用语言模型生成响应，现在它有了额外的上下文信息
        response = self.engine.get_completion(rag_prompt)

        return response

    def reset(self):
        # 重置对话历史
        self.engine.reset_messages()
        # 如果有其他状态需要重置，也在此处处理

    @property
    def memory(self):
        return self.engine.messages

    @property
    def system_beh*ior(self):
        return self._system_beh*ior

    @system_beh*ior.setter
    def system_beh*ior(self, system_config: str):
        self._system_beh*ior = system_config

在上述修改中，我们做了以下关键改动：

在AttractionBot的__init__方法中，接收docsearch对象，并将其转换为self.doc_retriever。
在generate_response方法中，首先调用self.doc_retriever.retrieve(user_message)来获取与用户查询最相关的文档。
将检索到的文档内容（page_content）拼接成一个context字符串。
构造一个新的rag_prompt，将context和原始user_message结合起来，明确指示LLM基于这些信息进行回答。
将这个增强后的rag_prompt传递给self.engine.get_completion()。

3.2 实例化与使用

现在，我们可以实例化AttractionBot并开始进行问答。

# 确保在运行此部分之前，已经执行了数据准备和向量数据库构建的代码
# 如果是独立运行，需要先加载向量数据库
# embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')
# docsearch = FAISS.load_local(DB_FAISS_PATH, embeddings)

# 定义系统的行为，指导LLM的回答风格和范围
system_beh*ior = "你是一个关于葡萄牙里斯本景点的智能问答机器人，请根据提供的信息回答用户关于景点的问题。"

# 实例化AttractionBot，并传入docsearch对象
attraction_bot = AttractionBot(system_beh*ior=system_beh*ior, docsearch=docsearch)

# 设置用户名（可选）
attraction_bot.set_username("Alice")

# 进行问答
query1 = "里斯本有哪些著名的历史景点？"
response1 = attraction_bot.generate_response(query1)
print(f"用户: {query1}")
print(f"机器人: {response1}\n")

query2 = "告诉我关于贝伦塔的信息。"
response2 = attraction_bot.generate_response(query2)
print(f"用户: {query2}")
print(f"机器人: {response2}\n")

# 重置对话
attraction_bot.reset()
query3 = "里斯本的购物区在哪里？"
response3 = attraction_bot.generate_response(query3)
print(f"用户: {query3}")
print(f"机器人: {response3}\n")

4. 注意事项与最佳实践

文本切分策略： CharacterTextSplitter是一个基础的切分器。对于更复杂的文档结构，可以考虑使用RecursiveCharacterTextSplitter，它能根据一系列分隔符递归切分，更智能地保留语义完整性。chunk_size和chunk_overlap参数对检索效果有重要影响，需要根据数据特性进行调整。
嵌入模型选择： sentence-transformers/all-MiniLM-L6-v2是一个很好的起点，但对于特定领域或语言，可能需要尝试其他模型，如更大的Sentence Transformers模型或OpenAI的text-embedding-ada-002。
Prompt工程： 构造RAG提示时，清晰地分隔上下文和用户问题至关重要。明确指示LLM“根据以下信息回答”可以有效引导其行为。
检索结果处理： retrieve方法返回的是Document对象列表，通常包含page_content和metadata。metadata可以包含源文件、页码等信息，在某些高级场景下很有用。
错误处理与鲁棒性： 在实际应用中，需要考虑当检索不到相关信息时，LLM应该如何响应。可以设置一个回退机制，例如告知用户“我没有找到相关信息”。
性能与扩展性： 对于非常大的数据集，FAISS是一个高效的选择。如果数据量达到TB级别，可能需要考虑更专业的向量数据库服务（如Pinecone, We*iate等）。

总结

通过本教程，我们学习了如何利用LangChain框架，结合FAISS向量数据库和OpenAI API，构建一个基于CSV数据的检索增强生成（RAG）问答系统。这种方法有效地将外部知识库与大型语言模型结合起来，显著提升了LLM在特定领域问答的准确性和可靠性。RAG模式是构建知识密集型AI应用的关键技术之一，为开发者提供了强大的工具来克服LLM的固有局限性。

以上就是基于LangChain的CSV数据检索增强生成（RAG）问答系统构建指南的详细内容，更多请关注其它相关文章！

# 里斯本 # 公司网站推广怎样做好 # 北京百度手机seo # 许昌网站策划推广企业 # 武城otc营销推广 # 灌南硅基网站推广找哪家 # 推广网站资质要求是什么 # 优化类分析图网站设计 # 西藏seo技巧 # 餐饮渠道饮料营销推广方案 # ThinkPHP网站利于优化吗 # 如何将 # 的是 # 文档 # 相关信息 # 编码 # 递归 # 转换为 # 加载 # 是一个 # 切分 # csv文件 # api调用 # gpt # openai # ai # csv # 工具 # app