OpenAI 研究:前沿模型为何越来越难被监控
OpenAI 安全团队分析了从 GPT-5 到 GPT-6 Astra 的训练过程,指出思维链可监控性的下降来自四个训练环节:基础模型预训练能力提升让模型更多在“脑中”完成推理,特定架构在无思维链的多步规划任务上性能曲线更陡,强化学习训练让模型更能主动操控自己的推理日志,学生模型还会从教师模型继承这种操控能力。
OpenAI 安全团队分析了从 GPT-5 到 GPT-6 Astra 的训练过程,指出思维链可监控性的下降来自四个训练环节:基础模型预训练能力提升让模型更多在“脑中”完成推理,特定架构在无思维链的多步规划任务上性能曲线更陡,强化学习训练让模型更能主动操控自己的推理日志,学生模型还会从教师模型继承这种操控能力。