**使用MyScale和LangChain打造智能自查询检索器**-CSDN博客

本文链接：https://blog.csdn.net/rtykjhg/article/details/144503657

在现代机器学习应用中，处理和存储大量数据是一个常见的挑战，特别是在涉及自然语言处理（NLP）和大语言模型（LLM）的场景中。MyScale，作为一个集成的向量数据库，为我们提供了强大的数据存储和查询功能。本文将介绍如何使用MyScale与LangChain一起构建一个自查询检索器，以提升数据处理能力。

引言

本文旨在介绍如何使用MyScale向量存储和LangChain库构建一个自查询检索器。通过这一组合，您可以更高效地处理大规模数据集，适用于扩展应用或提升现有LLM应用性能。我们将涵盖MyScale的四个关键增强功能，并通过代码示例展示如何实现。

主要内容

MyScale的增强功能

contain比较器：
- 允许在列表中查找多个匹配元素。
时间戳数据类型：
- 使用timestamp数据类型支持ISO格式的日期匹配。
like比较器：
- 便于实现字符串模式搜索。
任意函数能力：
- 允许在查询中使用用户自定义函数。

创建MyScale向量存储

要使用MyScale，首先需确保安装了必要的Python包：

%pip install --upgrade --quiet lark clickhouse-connect

lark用于语法定义，而clickhouse-connect用于与MyScale后端进行连接。

在设置环境之前，您还需要准备OpenAI API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["MYSCALE_HOST"] = getpass.getpass("MyScale URL:")
os.environ["MYSCALE_PORT"] = getpass.getpass("MyScale Port:")
os.environ["MYSCALE_USERNAME"] = getpass.getpass("MyScale Username:")
os.environ["MYSCALE_PASSWORD"] = getpass.getpass("MyScale Password:")

创建数据向量存储

from langchain_community.vectorstores import MyScale
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"date": "1993-07-02", "rating": 7.7, "genre": ["science fiction"]},
    ),
    # 更多文档...
]

vectorstore = MyScale.from_documents(docs, embeddings)

自查询检索器

接下来，我们创建一个自查询检索器，并定义元数据字段：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genres of the movie. It supports equal and contain comparisons.",
        type="list[string]",
    ),
    AttributeInfo(
        name="date",
        description="The date the movie was released",
        type="timestamp",
    ),
    AttributeInfo(
        name="director",
        description="The name of the movie director",
        type="string",
    ),
    AttributeInfo(
        name="rating",
        description="A 1-10 rating for the movie",
        type="float",
    ),
]

document_content_description = "Brief summary of a movie"
llm = ChatOpenAI(temperature=0, model_name="gpt-4o")

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试和使用示例

# 测试自查询检索器
retriever.invoke("What are some movies about dinosaurs")
retriever.invoke("I want to watch a movie rated higher than 8.5")
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")