启发学习：让大模型认知从外化到内生

过去两年，大模型几乎重写了人机协作的默认想象：写代码、查资料、做分析，似乎都能 “一问即答”。但仔细看会发现，当下很多能力并不是模型自己长出来的，而是人为地在外面包了一层又一层框架。

近现代科学史里，重大突破很少从零开始。例如，库仑受牛顿万有引力思维模式启发，提出库仑定律；霍兰德把达尔文自然选择的逻辑迁移到计算机领域，遗传算法随之出现。最常见的路径，是把已知结构搬到新领域：类比、迁移、再重组。

图 1-a：库仑受牛顿万有引力思维模式启发，提出库仑定律。

图 1-b：霍兰德借达尔文自然选择逻辑，发展出遗传算法。

图 2：启发学习的认知进化飞轮。类比检索、逻辑重组、内生注入与经验沉淀形成闭环。

要把启发学习跑起来，先得说清经验从哪里输入模型。团队把它拆成两条路，Prompt 注入：基座参数不动，把检索到的跨域示范写进上下文，让模型在给定示范下推理。网络层注入：基座仍冻结，但在中间层隐状态上加一个可训练的轻量适配器，用残差方式改表征，减轻源域与目标域的分布差距。对应团队提出的工作分别是域不变神经元检索（DIN-Retrieval，下称 DIN）和思维链引导的域适配（CoDA），合在一起构成 Isaac 的方法底座。

图 3：DIN 框架（Prompt 注入）。识别域不变神经元，构造 DIN 向量并检索跨域示范，再写入上下文提示。图片来源：DIN-Retrieval 论文。

图 4：CoDA 框架（网络层注入）。轻量适配器以残差方式调制中间隐状态；均方误差蒸馏源域思维链教师态，MMD 对齐源域与目标域增强表征。图片来源：CoDA 论文。

图 5：ScienceQA 示例题配图（Daintree rain forest）。题目要求判断哪一项更准确地描述该生态系统。

图 6：跨模型零样本（灰）与接入启发学习 / Isaac（蓝）后的增益。a，StrategyQA；b，ScienceQA；c，HumanEval；d，SciCode。图片来源：Inspirational Learning Pitch Deck。

作者简介