LLM 常见问题与 Langchain 解决方案

主流的 6 大使用原生 LLM 的 场景问题场景一幻觉问题回答不合乎情理的答案AI自己造的答案例如询问不小心吞电池回答可以需要自然排泄编码场景我们需要调用 Redis redis 本身提供了一些 接口--例如 A()接口B()接口但 LLM 幻觉出来一个 Z()接口这个接口调不通场景二统一提示词A 和 B 都希望 得到一份健康食谱A 对 LLM 说 请你给我一份健康食谱B 对 LLM 说 你是一名专业医生我多少岁多高多重你基于最新医学知识回答我;提示词的质量直接决定输出结果的准确性和安全性不统一提示词就会导致得不到想要的效果场景三模型切换--例如从一个模型切换到另一个模型/从当前模型切换到升级版模型如果切换模型可能会到导致 输出格式不同接口参数也不同所以一旦选定一个模型整个应用程序就应该和 该 模型的 API 强耦合场景四编码时跟希望获取 结构化的回答而不是一段话场景五大模型的训练是 有截止日期的没有时效性一个大模型的训练截至日期是 2024年。那么这个模型就没有 2025年的内容场景六针对非常严谨的问题只能参考 LLM 的回答解决方法针对场景一1.通过 RAG 技术 解决大模型幻觉2.Agent自动推导通过自动推导机制让模型更合理地生成答案减少幻觉情况。针对场景二Langchain 将提示词可以管理起来Langchain 可以把提示词管理起来不管谁问问题都能按统一规范的提示词来保证输出结果的稳定和准确。针对场景三Langchain 底层有很多的大模型通过封装好统一的接入方式可以解决Langchain 底层集成了好多大模型通过封装好统一的接入方式不管咋切换模型应用程序都能比较平滑地过渡不用太担心输出格式和接口参数的变化。针对场景四Langchain 提供了相关机制能引导 LLM 给出结构化回答满足编码等场景的需求。针对场景五Langchain 中内置了 搜索引擎工具新的问题可以通过 搜索引擎解决Langchain 内置了搜索引擎工具遇到新问题可以借助搜索引擎获取实时信息解决大模型时效性不足的问题。针对场景六同样借助 Langchain 内置的搜索引擎工具以及相关机制对 LLM 的回答进行补充和验证让回答更靠谱。RAG 概念与流程详解1.RAG概念RAG 是 检索增强生成对于 大模型 来说他擅长理解语义和 总结文本 最不擅长 获取 实时信息因为 大模型的训练数据 是由截至日期的对于 搜索引擎 来说最擅长获取实时信息缺点是 信息分散需要人为总结所以将 大模型 和 搜索引擎结合就是给 大模型 匹配了一个 数据库让 AI 可以随时查阅但是 这样结合 只能 搜索到 广为人知的 数据 对于 本地数据 或 公司私有数据 不能获取所以使用 RAG检索增强生成技术 当用户向 LLM 提问时程序现在 知识库(例如公司内部文档) 中进行语义搜索找到相关内容然后将这些内容核问题一起交给 LLM 生成答案与 AI搜索相比本质是 知识库 改变了从搜索引擎改为了 本地知识库中搜索2.RAG流程RAG 流程分为 1.离线数据。2.在线检索将离线文档加载到 Langchain 中 内存中 通过文档拆分器 将离线文档按照一定类别拆分成小文档通过 LLM 将文档 转化成 向量存储到向量数据库中知识库接收用户问题根据语义相似性搜索相关文本检索向量数据库将问题和文本发送给 LLM 解析LLM输出并返回答案