对AI的部分祛魅1. AIAgent的局限每个环节都有信息损失本质是对信息的 有损蒸馏 输入100体量的信息输出可能就只有80但是信息密度提高因此AI擅长信息的高维→低维压缩/抽象代码梳理、代码评审就是高维转低维效果好根据方案写代码则是低维转高维因此很容易遗漏修改点大语言模型的底层原理就决定 它最根本的能力是最可能的续写而不是直接创造因此对于代码生成提前输入信息越全面输出结果才会越准确但是这与我们提效的目标刚好是相左的2. 信息维度的理解a. 语义维度:即完整描述这段信息需要的独立变量/词元数低维输入 → 高维输出输入: 3 个语义变量输出: 需要 20 个语义变量才能完整描述模型必须补全缺失的 17 个变量而它补全的方式是从训练数据中统计推断最可能的值——这就是猜。高维输入 → 低维输出输入: 20 个语义变量输出: 只需要 3 个语义变量输入已经提供了所有信息模型只需要做投影/筛选——这是 Transformer 的核心能力。b. 约束的密度:约束越密模型输出越稳约束越稀模型越容易幻觉- 高约束任务输入已经锁定了大部分答案空间模型做选择- 低约束任务输入只给了一个模糊方向模型需要从训练数据中猜测填充3. 技能调优增加执行范围约束限制防止他自己胡思乱想、越界操作类似代码生成中他可能会按他自己的理解或者一些公域知识进行实现俗称“幻觉”幻觉本质上就是低维→高维过程中模型用统计噪声填充了信息真空再例如让他全网检索AI相关信息遇到防火墙拦截时他会自己查找其他检索方法、或者安装新的工具试图绕开防火墙行为比较危险。因此需要增加约束