强烈推荐收藏RAG 深度原理从向量数学到混合检索——Embedding是什么、索引算法怎么选、Hit Rate怎么算70%的 RAG 文章只教你「pip install chromadb」。本文讲剩下的30%——Embedding 的数学直觉、IVF→HNSW→DiskANN 的算法演进、Hit Rate/MRR/NDCG 的数学定义、以及为什么加了 Reranker 后准确率能从 75% 飙升到 92%。一、Embedding 的本质把语义变成距离1.1 从 One-Hot 到 Dense Vector# One-Hot 编码传统做法10 万个词 → 10 万维稀疏向量猫→[0,0,0,...,1,...,0]# 只有一个 1其余全 0狗→[0,0,0,...,1,...,0]# 另一个位置的 1# 问题# - 猫和狗的向量距离等于猫和电脑的距离都是正交# - 10 万维向量99.99%是 0浪费空间# Dense Embedding现代做法压缩到 1024 维猫→[0.12,-0.45,0.78,...,0.33]# 1024 维密集向量狗→[0.11,-0.43,0.76,...,0.31]# 和猫很接近电脑→[-0.54,0.92,-0.15,...,0.67]# 和猫很远Embedding 模型的训练目标让语义相近的词在高维空间中靠在一起。这个空间就是「语义空间」。1.2 Cosine Similarity衡量两个向量的夹角importnumpyasnpdefcosine_similarity(a,b):余弦相似度-1完全相反到 1完全相同returnnp.dot(a,b)/(np.linalg.norm(a)*np.linalg.norm(b))# 示例catnp.array([0.12,-0.45,0.78])dognp.array([0.11,-0.43,0.76])computernp.array([-0.54,0.92,-0.15])print(f猫 vs 狗:{cosine_similarity(cat,dog):.3f})# 0.996 → 极近print(f猫 vs 电脑:{cosine_similarity(cat,computer):.3f})# -0.512 → 很远1.3 常用 Embedding 模型模型维度中文大小适合BGE-Large-ZH v1.51024⭐⭐⭐⭐⭐1.3GB中文通用M3E-large1024⭐⭐⭐⭐420MB轻量中文text-embedding-3-small1536⭐⭐⭐API多语言GTE-Qwen2-7B3584⭐⭐⭐⭐⭐14GB最高精度BGE-Large-ZH 是中文 RAG 的最佳性价比选择——1024 维不大不小中文排名常年第一。二、向量索引从暴力搜索到百亿级2.1 暴力搜索O(N)defbrute_force_search(query_vec,all_vecs,k5):scores[cosine_similarity(query_vec,v)forvinall_vecs]top_k_indicessorted(range(len(scores)),keylambdai:scores[i],reverseTrue)[:k]returntop_k_indices# 100万条数据 → 每次检索要算100万次余弦相似度 → 慢2.2 IVF_FLAT先聚类再搜索离线阶段 1. 对所有向量做 K-Means 聚类 → 划分成 N 个桶 2. 每个桶有一个「中心点」 在线检索 1. 先找离查询向量最近的 M 个桶M N 2. 只在选中的桶里精确搜索效果100 万条数据暴力搜索 100 万次 → IVF 只搜 1-5 万次。精度损失约 2-3%。2.3 HNSW图索引构建一个小世界图 - 每个向量是一个节点 - 相近的向量之间连边 - 构建多层图结构类似跳表的思路 检索 1. 从顶层的入口点开始 2. 贪心搜索每次跳到最近的邻居 3. 逐层往下直到最底层算法构建速度检索速度精度内存暴力即时O(N)100%低IVF_FLAT慢快97-99%中HNSW很慢很快98-99.5%高DiskANN很慢快96-98%低(磁盘)选型: 100万条用 HNSW精度最高1亿条用 DiskANN唯一能上磁盘的三、混合检索向量 BM253.1 为什么纯向量检索不够# 向量检索的盲区queryReact 18 的新特性向量检索 → 返回React 17 升级指南语义近但不相关 BM25 → 返回React 18 发布博客关键词精确匹配# 结合两者混合检索 → 两路取 Top-20→ RRF 融合 → Top-103.2 RRFReciprocal Rank Fusiondefreciprocal_rank_fusion(results_a,results_b,k60): 融合两路结果的简单而有效的方法 score Σ 1/(k rank) scores{}forrank,docinenumerate(results_a):scores[doc]scores.get(doc,0)1/(krank1)forrank,docinenumerate(results_b):scores[doc]scores.get(doc,0)1/(krank1)returnsorted(scores.items(),keylambdax:x[1],reverseTrue)3.3 Cross-Encoder Rerankerfromsentence_transformersimportCrossEncoder rerankerCrossEncoder(BAAI/bge-reranker-large)# Bi-Encoder (Embedding 模型): 一次看一篇文档 → 快但粗糙# Cross-Encoder (Reranker): 同时看 query doc → 慢但精准# 所以先用 Bi-Encoder 捞 Top-20再用 Cross-Encoder 精排 Top-5pairs[[query,doc]fordocintop_20_docs]scoresreranker.predict(pairs)top_5sorted(zip(top_20_docs,scores),keylambdax:x[1],reverseTrue)[:5]效果链纯向量 75% → BM25 85% → Reranker 92%四、RAG 评估别凭感觉判断4.1 Hit Rate命中率defhit_rate(test_cases,k10):Top-K 中包含正确答案的比例hits0fortestintest_cases:resultsretrieval.search(test[query],top_kk)iftest[expected_doc_id]inresults:hits1returnhits/len(test_cases)# 合格: 85%# 优秀: 92%4.2 MRRMean Reciprocal Rankdefmrr(test_cases,k10):reciprocal_ranks[]fortestintest_cases:resultsretrieval.search(test[query],top_kk)iftest[expected_doc_id]inresults:rankresults.index(test[expected_doc_id])1reciprocal_ranks.append(1/rank)else:reciprocal_ranks.append(0)returnsum(reciprocal_ranks)/len(reciprocal_ranks)# MRR 1.0 → 每次正确答案都在第一位# MRR 0.5 → 平均排在第二位4.3 NDCGNormalized Discounted Cumulative Gain考虑排序质量排第一比排第十更有价值。DCG 对靠后的结果打折除以 log₂(rank1)NDCG 是归一化后的版本。五、RAG 选型决策你的场景 │ ├─ 文档 1 万篇原型验证 │ └─ Chroma BGE-Large-ZHpip install 开箱即用 │ ├─ 文档 1-100 万篇生产环境 │ └─ Milvus (HNSW) BM25 Cross-Encoder Reranker │ ├─ 文档 1 亿篇 │ └─ Milvus (DiskANN) 分布式部署 │ └─ 需要多模态文图 └─ CLIP Embedding Milvus 混合检索六、总结层级关键技术影响EmbeddingBGE-Large-ZH (1024维)语义空间的构建质量索引HNSW (100万) / DiskANN (1亿)检索速度的瓶颈混合检索向量 BM25 RRF精度 5-10%重排序Cross-Encoder Reranker精度 5-7%评估Hit Rate / MRR / NDCG不要凭感觉判断RAG 不是「装个 Chroma 就好了」而是一套从 Embedding 到索引到检索到评估的完整工程体系。纯向量检索的 75% 准确率远不够 Agent 用。BM25 Reranker 是标配。 下一篇《LLM 推理机制从 Token 生成到推理优化》标签#RAG #Embedding #向量检索 #HNSW #混合检索 #程序员必读
