写出一个好的 Prompt 只是开始。在生产环境中Prompt 面临版本混乱、效果难以量化、多人协作冲突等工程问题。本文从会写 Prompt到系统化管理 Prompt建立企业级 Prompt 工程体系。Prompt 工程的三个阶段大多数团队的 Prompt 工程实践都经历三个阶段的演进阶段一个人探索期Prompt 散落在 Notion 文档、个人笔记、代码注释里。调优完全凭感觉效果无法量化。这个阶段的团队通常在 3-10 人。阶段二混乱扩张期随着产品复杂度增加Prompt 数量急剧增多。不同成员维护不同的 Prompt 版本互相不知道对方改了什么。某个优化可能破坏其他功能。阶段三工程化管理期建立 Prompt 版本控制系统有清晰的测试框架可以量化每次改动的效果差异支持多人协作而不互相干扰。本文的目标是帮助团队尽快从阶段一二进入阶段三。## Prompt 模板工程### 变量注入与模板化生产 Prompt 不是静态字符串而是包含动态变量的模板pythonfrom string import Templatefrom typing import Dict, Anyimport jinja2class PromptTemplate: def __init__(self, template_str: str, required_vars: list None): self.template_str template_str self.required_vars required_vars or [] self.env jinja2.Environment( undefinedjinja2.StrictUndefined # 未定义变量时报错 ) self.template self.env.from_string(template_str) def render(self, **kwargs) - str: # 检查必填变量 missing [v for v in self.required_vars if v not in kwargs] if missing: raise ValueError(f缺少必填变量: {missing}) return self.template.render(**kwargs) def get_variables(self) - list: 提取模板中的所有变量名 parsed self.env.parse(self.template_str) return list(jinja2.meta.find_undeclared_variables(parsed))# 使用示例rag_prompt PromptTemplate( template_str你是一位专业的客服助手请根据以下参考资料回答用户问题。参考资料{% for doc in documents %}[{{ loop.index }}] {{ doc.content }}{% endfor %}用户问题{{ user_question }}回答要求- 只使用参考资料中的信息- 如果资料不足以回答请明确说明- 回答语言{{ language | default(中文) }}, required_vars[documents, user_question])# 渲染rendered rag_prompt.render( documents[ {content: 退款政策7天内无理由退款}, {content: 物流时间3-5个工作日} ], user_question我可以退款吗, language中文)### 多语言 Prompt 管理国际化产品需要管理多语言版本的 PromptpythonPROMPT_REGISTRY { customer_service: { zh: 你是专业客服请用中文礼貌地回答用户问题..., en: You are a professional customer service agent..., ja: あなたはプロのカスタマーサービスエージェントです... }, code_review: { zh: 你是代码审查专家请分析以下代码..., en: You are a code review expert, please analyze... }}def get_prompt(prompt_name: str, language: str zh) - str: prompts PROMPT_REGISTRY.get(prompt_name, {}) return prompts.get(language, prompts.get(en, ))## Prompt 版本控制系统### Git-based Prompt 版本管理最简单的方案把 Prompt 当代码用 Git 管理project/ prompts/ v1/ system_prompt.txt rag_prompt.txt v2/ system_prompt.txt rag_prompt.txt current - v2/ # 符号链接指向当前版本 changelog.md # 版本变更记录changelog.md 示例markdown# Prompt Changelog## v2.0 (2026-05-20)### 变更- system_prompt: 增加请用简洁语言回答约束减少冗长回复- rag_prompt: 优化文档引用格式改为编号列表### 效果- 平均回复长度减少 30%- 用户满意度从 78% 提升到 84%A/B 测试n1000## v1.5 (2026-05-10)…### 数据库驱动的 Prompt 版本管理规模化后需要专门的版本管理系统pythonfrom sqlalchemy import Column, String, Text, DateTime, Integer, Booleanfrom sqlalchemy.ext.declarative import declarative_basefrom datetime import datetimeBase declarative_base()class PromptVersion(Base):tablename “prompt_versions” id Column(Integer, primary_keyTrue) prompt_name Column(String(100), nullableFalse) # 提示词名称 version Column(String(20), nullableFalse) # 版本号 (semver) content Column(Text, nullableFalse) # 提示词内容 description Column(Text) # 变更描述 author Column(String(50)) # 作者 created_at Column(DateTime, defaultdatetime.now) is_active Column(Boolean, defaultFalse) # 是否为当前激活版本 # 评估指标填入后 eval_score Column(Float) eval_sample_size Column(Integer)class PromptManager: definit(self, db_session): self.db db_session def create_version(self, name: str, version: str, content: str, description: str, author: str) - PromptVersion: pv PromptVersion( prompt_namename, versionversion, contentcontent, descriptiondescription, authorauthor ) self.db.add(pv) self.db.commit() return pv def activate_version(self, name: str, version: str): “”“激活指定版本会停用同名的其他版本”“” # 停用当前激活版本 self.db.query(PromptVersion).filter( PromptVersion.prompt_name name, PromptVersion.is_active True ).update({“is_active”: False}) # 激活新版本 self.db.query(PromptVersion).filter( PromptVersion.prompt_name name, PromptVersion.version version ).update({“is_active”: True}) self.db.commit() def get_active(self, name: str) - str: “”“获取当前激活版本的内容”“” pv self.db.query(PromptVersion).filter( PromptVersion.prompt_name name, PromptVersion.is_active True ).first() return pv.content if pv else None## Prompt 评估框架这是 Prompt 工程中最难但最重要的部分**如何量化 Prompt 的好坏**。### 基于 LLM 的自动评估pythonfrom openai import OpenAIclient OpenAI()class PromptEvaluator: EVAL_CRITERIA { “accuracy”: “评估回答是否准确、与参考答案是否一致”, “completeness”: “评估回答是否完整、是否遗漏关键信息”, “conciseness”: “评估回答是否简洁、是否存在不必要的冗余”, “relevance”: “评估回答是否切题、是否回答了用户的实际问题”, } def evaluate_single( self, question: str, response: str, reference: str None, criteria: list None ) - dict: criteria criteria or list(self.EVAL_CRITERIA.keys()) eval_prompt f““请对以下AI回答进行评估对每个维度给出1-5分5分最高。问题{question}AI回答{response}{“参考答案” reference if reference else “”}评估维度{chr(10).join([f”- {c}: {self.EVAL_CRITERIA[c]}” for c in criteria])}以JSON格式返回格式如下{{“accuracy”: 4, “completeness”: 3, “conciseness”: 5, “relevance”: 4, “overall_comment”: “…”}}“” result client.chat.completions.create( model“gpt-4o”, messages[{“role”: “user”, “content”: eval_prompt}], response_format{“type”: “json_object”} ) return json.loads(result.choices[0].message.content) def evaluate_batch(self, test_cases: list, prompt_content: str) - dict: “”“批量评估一个 Prompt 版本”“” scores [] for case in test_cases: # 用待评估的 Prompt 生成回答 response self.generate_with_prompt(prompt_content, case[“question”]) # 评估回答质量 score self.evaluate_single( questioncase[“question”], responseresponse, referencecase.get(“reference_answer”) ) scores.append(score) # 汇总统计 return { “sample_size”: len(scores), “avg_accuracy”: sum(s[“accuracy”] for s in scores) / len(scores), “avg_completeness”: sum(s[“completeness”] for s in scores) / len(scores), “avg_conciseness”: sum(s[“conciseness”] for s in scores) / len(scores), “avg_relevance”: sum(s[“relevance”] for s in scores) / len(scores), }### A/B 测试框架pythonimport randomclass PromptABTest: definit(self, control_prompt: str, treatment_prompt: str, ratio: float 0.5): self.control control_prompt self.treatment treatment_prompt self.ratio ratio # 分配到 treatment 的比例 self.results {“control”: [], “treatment”: []} def get_prompt(self, user_id: str) - tuple: “”“根据用户ID确定分组确保同一用户始终在同一组”“” hash_val hash(user_id) % 100 if hash_val self.ratio * 100: return “treatment”, self.treatment else: return “control”, self.control def record_feedback(self, user_id: str, satisfied: bool): group, _ self.get_prompt(user_id) self.results[group].append(1 if satisfied else 0) def get_statistics(self) - dict: def calc_stats(data): n len(data) if n 0: return {“n”: 0, “rate”: None} rate sum(data) / n return {“n”: n, “rate”: rate} control_stats calc_stats(self.results[“control”]) treatment_stats calc_stats(self.results[“treatment”]) return { “control”: control_stats, “treatment”: treatment_stats, “lift”: (treatment_stats[“rate”] - control_stats[“rate”]) / control_stats[“rate”] if control_stats[“rate”] and control_stats[“n”] 30 and treatment_stats[“n”] 30 else None }## Prompt 安全审查生产 Prompt 需要防御提示词注入攻击pythonimport reclass PromptSanitizer: INJECTION_PATTERNS [ rignore\sprevious\sinstructions, rforget\severything, ryou\sare\snow, ract\sas\sif, rpretend\syou\sare, r忽略之前的指令, r你现在是, r扮演, ] def is_safe(self, user_input: str) - bool: “”“检测用户输入是否包含注入尝试”“” lower_input user_input.lower() for pattern in self.INJECTION_PATTERNS: if re.search(pattern, lower_input, re.IGNORECASE): return False return True def sanitize(self, user_input: str) - str: “”“清理用户输入中的危险内容”“” if not self.is_safe(user_input): # 记录安全日志 import logging logging.warning(fDetected potential prompt injection: {user_input[:100]}) # 返回安全提示 return “[输入内容包含不允许的指令已被过滤]” return user_input## 工程化 Prompt 管理的完整工作流开发环境 测试环境 生产环境┌────────────┐ ┌────────────┐ ┌────────────┐│ 编写Prompt │──→────│ 评估测试 │──→────│ A/B发布 ││ 版本标注 │ │ 对比基线 │ │ 监控指标 ││ 同行评审 │ │ 安全审查 │ │ 收集反馈 │└────────────┘ └────────────┘ └────────────┘ │ ↓ 迭代优化循环## 总结Prompt 工程化管理的核心价值在于可重复性和可度量性。当你能够1. 精确追踪每次 Prompt 变更2. 量化变更前后的效果差异3. 通过 A/B 测试安全地将改进推向生产你就完成了从凭感觉调 Prompt到数据驱动 Prompt 工程的跨越。这个转变不是一蹴而就的但每个系统性改进都值得投入。记住Prompt 是产品的一部分需要像管理代码一样管理它。