为什么上下文利用率重要?高召回率低利用率意味着你塞了太多无关信息,模型可能被噪声干扰,同时浪费 token。低召回率高利用率则说明你选的信息很精,但可能漏掉了关键内容,导致任务失败。总结建议初期:用简单方法(如显式引用检测、关键词覆盖)建立基线。中期:结合扰动测试和工具调用日志,对关键场景进行抽样分析。长期:如果模型开放注意力,可构建自动化监控管道,定期统计注意力分布,识别长期未使用的上下文类型,优化选取策略。1.基于输出的归因分析通过分析模型生成的输出(文本、代码、工具调用等),反向推断输入中的哪些部分被使用。显式引用检测:检查输出中是否直接引用了上下文中的特定内容,例如:代码中出现了上下文里的函数名、变量名、注释。文本回答中包含了上下文提供的具体数据或事实。工具调用时,参数值是否来自上下文中的某个字段。文本重叠统计:计算输出与输入上下文之间的文本重叠比例(如 ROUGE、BLEU 分数)。但需注意,模型可能改写内容,导致直接匹配失败,因此需结合语义相似度。