[智能体-263]：文档 Embedding 嵌入模型全解（RAG 第四步 Embed 环节）

一、作用定位把 Chunk文本→高维浮点向量。语义相近→向量空间距离近用于向量库余弦相似度检索RAG 链路分片chunk →EmbeddingModel→多维向量 → 存入向量库用户 Query 同样用同一个模型向量化才能匹配召回。关键入库、查询必须使用同一个Embedding模型否则向量空间不匹配召回失效。二、三大分类闭源 API 模型 / 开源本地模型 / 多模态 Embedding1. 商用闭源嵌入API 调用省心、效果优① OpenAI Embedding工业最常用python运行from langchain_openai import OpenAIEmbeddings embedding OpenAIEmbeddings(modeltext-embedding-3-small) # 可选text-embedding-3-large(高精度、向量维度3072) vec embedding.embed_query(北京住宿报销标准)优点泛化强、中英文通用、不用本地部署缺点付费、依赖外网。② 阿里通义 / 百度千帆 / 讯飞 embedding国产云端嵌入适配中文国内企业内网云场景。2. 开源本地 Embedding离线私有化首选无费用、本地 CPU/GPU 运行国内 RAG 标配BGE 系列BGE-small、BGE-base-zh中文 SOTALangChain 通过HuggingFaceEmbeddings加载。示例代码bash运行pip install sentence-transformerspython运行from langchain_community.embeddings import HuggingFaceEmbeddings # 中文最优bge-small-zh-v1.5 model_name BAAI/bge-small-zh-v1.5 embedding HuggingFaceEmbeddings(model_namemodel_name) # 单个文本向量化 vec embedding.embed_query(江南春天景色) # 批量文档向量化RAG入库用 doc_vecs embedding.embed_documents([chunk1,chunk2])主流开源清单BGEBAAI国内 RAG 首选bge-small/base/large-zh中文语义匹配极强all-MiniLM英文轻量化、体积小、速度快m3e另一款国产轻量化中文嵌入。3. 多模态 Embedding图文混合 RAGPDF 带图片、图表如 CLIP、bge-visual同时编码文字 图片适合图纸、说明书、教材类文档。三、两个关键 API 接口LangChain 统一规范.embed_query(text:str) → list[float]用户问题向量化.embed_documents(list[str]) → list[list[float]]知识库批量分片入库向量化Retriever 底层自动调用这两个方法做相似度比对。四、和 RAG 全链路结合完整示例python运行from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_core.documents import Document from langchain_chroma import Chroma from langchain_community.embeddings import HuggingFaceEmbeddings # 1.原文 article 江南的春天总在绵绵细雨里悄悄降临。清晨推开窗潮湿的水汽裹挟着草木清香扑面而来。 docs [Document(page_contentarticle)] # 2.递归切分 splitter RecursiveCharacterTextSplitter(chunk_size150,chunk_overlap20,separators[\n\n,\n,。,]) chunks splitter.split_documents(docs) # 3.加载本地BGE嵌入模型 emb HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) # 4.向量化存入向量库 db Chroma.from_documents(chunks,embeddingemb,persist_directory./emb_db) ret db.as_retriever(k2) # 5.检索测试 res ret.invoke(江南春季风景)五、选型落地标准公有云项目、追求简单高效OpenAI / 百度千帆 API Embedding企业内网、涉密离线部署、私有化 RAGBGE 本地开源模型首选文档带图纸、图片、扫描件多模态 Embedding六、重要避坑点入库和查询不能混用两个不同 Embedding嵌入维度small≈384 维、base≈768 维、large≈1024维度越大精度越高、存储开销越大中文文档严禁使用英文专用 embedding (all-MiniLM)召回效果暴跌。