RL路线持续深化，Post-training Scaling由可验证推理向长程Agent和真实工作流扩展。2024年，OpenAI o系列模型推动长思维链和推理时计算进入主流产品，DeepSeek-R1则于2025年进一步验证了大规模强化学习对多步推理能力的提升，此后RL逐步成为前沿模型后训练的标准环节。OpenAI Post-Training Frontiers联席负责人Yann Dubois在5月21日访谈中表示，强化学习正由数学、编程等易验证任务向法律、医疗、金融及复杂真实工作流延伸，当前瓶颈主要在于高成本采样、长轨迹训练和奖励归因，Post-training Scaling仍处于早期阶段。

近期模型迭代进一步验证RL训练任务和轨迹长度仍在持续扩展。

月之暗面：7月27日发布的Kimi K3在长程Coding、通用Agent、通用推理及知识任务上分别开展强化学习，并设置多档推理强度，训练环境覆盖可验证搜索与专业知识工作、软件工程和内核优化、视觉闭环工具调用、持续型助理工作流、网页开发及自主执行任务，单条任务可包含数百至数千次工具调用，累计上下文达到数百万Token。系统侧，Kimi K3通过分段Rollout、外部KV Cache保留、动态限流及可恢复的MicroVM沙箱，持续保存模型与外部环境状态，支持百万Token级Agentic RL；不同领域和推理强度形成的策略再通过多教师在线蒸馏整合至统一模型。

xAI：7月16日发布的Grok 4.5则将RL覆盖至数十万项任务，重点训练多步骤软件工程及其他技术工作，并结合自动评分和模型评分构造奖励；其异步训练系统支持Agent轨迹持续运行数小时，同时在数万张GPU上并行更新模型，整体训练使用数万张NVIDIA GB300。上述进展表明，Post-training Scaling已由增加数学和Coding训练题数量，进一步扩展至更长任务轨迹、更多工具调用和多档推理强度，对GPU算力、KV Cache、沙箱环境、存储及任务调度系统的需求仍将持续增长。

RSI推动模型由研发工具向研发主体演进，核心在于形成能够持续积累的自我改进闭环。递归自我改进（RSI）是指AI参与下一代AI系统的研发，并使本轮改进形成的能力反过来提升下一轮研发效率，形成“更强模型—更高研发效率—更强模型”的循环。完整的RSI不仅要求模型编写训练代码，还需要自主发现能力短板、提出研究假设、设计和执行实验、修改模型或训练算法、评价实验结果，并将有效改进纳入后续模型。目前产业进展主要集中于人类设定目标和评价标准、模型承担代码编写与实验执行的自动化AI研发，距离自主确定研究方向并修改评价体系的完全闭环仍有差距。

头部实验室加快推进AI研发自动化，RSI的早期形态已在代码、实验和安全训练环节落地。

OpenAI：7月9日披露，过去六个月内部用于Coding推理的研究算力增长100倍，Agentic Token使用量增长约22倍，GPT-5.6已被用于故障诊断、系统优化和实验执行；7月15日发布的GPT-Red进一步通过攻击模型与防御模型的自博弈训练，自动发现Prompt Injection漏洞，并将生成的攻击样本用于GPT-5.6训练，使其在最难直接提示词注入测试中的失败次数较四个月前最优生产模型下降约六倍。

Anthropic：6月4日披露，截至5月Claude已生成公司合并代码的80%以上，单名工程师日均合并代码量约为2024年的八倍；在训练代码优化测试中，模型实现的运行速度提升由2025年5月Claude Opus 4的约3倍，提高至2026年4月Claude Mythos Preview的约52倍。

Google：此前通过AlphaEvolve将Gemini、自动评价器和进化搜索结合，使其发现的矩阵乘法算法将Gemini关键计算内核提速23%、整体训练时间缩短1%；2026年5月，AlphaEvolve已由试点工具升级为Google核心基础设施，并用于下一代TPU设计和缓存策略优化。6月12日，Google DeepMind进一步将递归改进列为AGI迈向ASI的四条潜在路径之一。

RSI研究快速升温，可验证反馈仍是自我改进能否持续的核心约束。7月8日发布的RSI综述(《Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops》)覆盖2024—2026年1250篇论文，其中74%发表于2026年，并按照模型改进对象和自动闭环程度，将现有研究划分为输出优化、训练策略改进、评价器改进和自动化研究等方向。论文显示，当前多数成果仍属于有明确目标和外部评价标准的有限自我改进：代码执行、数学证明和规则检查能够提供可靠反馈，而在开放式研究中，模型自评容易形成自我确认、能力坍缩和多样性下降，研究选题及评价标准仍主要由人类决定。7月30日发布的Frontis-MA1进一步将机器学习工程作为可执行的AI4AI环境，模型通过Draft、Improve、Debug和Crossover四类操作持续生成、测试和迭代程序；在固定OpenMLE-Evo框架下，35B模型的MLE-Bench Lite Medal Average由基础模型的39.39%提升至60.61%。前沿研究正在从一次性自我反思转向由执行反馈驱动、能够跨轮次积累的研发循环，但现阶段突破仍主要集中于结果可验证的任务。

除Pre-training、Post-training和RSI外，持续学习、长期记忆和世界模型等细分技术也在同步演进，为模型从单次任务工具向长期自主Agent发展提供支撑。

1）持续学习：解决模型在吸收新知识、新任务和新反馈时如何保留原有能力的问题，核心难点是平衡能力更新与灾难性遗忘。8月6日发布的《Continual Learning in Transition》将持续学习由参数更新扩展至模型全生命周期，覆盖持续预训练、Post-training、推理时适应以及外部记忆、技能库和Agent框架更新，能力迭代正由单纯修改权重走向系统级持续演进。7月26日发布的Latent-LoRA通过为不同任务配置独立低秩适配器，并利用冻结模型的Embedding实现无梯度任务路由，在两个包含15项连续任务的基准上，平均性能较此前最优方法提高1.7-3.6pct，其中Long Sequence基准的遗忘率降至1%以下，验证了参数隔离与动态路由对持续学习的有效性。

2）长期记忆：提升模型跨任务积累和调用信息的能力，是Agent保持长期一致性和个性化服务的基础。长上下文主要扩大单次任务的信息容量，长期记忆则要求模型判断哪些信息值得保存、何时更新或删除，并在后续任务中准确调用。ACL 2026收录的AgeMem将存储、检索、更新、总结和遗忘设计为模型自主选择的工具动作，并通过三阶段强化学习统一管理长短期记忆；在ALFWorld、SciWorld、PDDL、BabyAI和HotpotQA五项长程任务上，基于Qwen3-4B的平均得分达到54.31%，较表现最好的外部记忆基线提高8.57pct，其中强化学习本身贡献8.72pct增益，表明记忆技术正由被动信息存储升级为可训练的主动生命周期管理。

3）世界模型：通过学习环境状态变化和行动后果，使Agent能够在真实执行前模拟不同动作对应的未来结果。世界模型技术形态正由视频生成进一步延伸至动作条件预测、想象式规划、合成训练数据和闭环策略评价。7月31日发布的BWM将世界模型作为机器人训练的数据引擎和策略评估器，在实物机器人任务中，加入BWM生成轨迹后策略平均成功率达到71.00%，高于表现最好的对比世界模拟器53.33%的水平；其虚拟评估结果与真实硬件结果的相关系数达到0.908，显示世界模型已开始具备预测真实行动结果、筛选策略及提前识别风险的能力。

总结：前沿模型能力提升已进入多路径并行阶段，Pre-training Scaling并未结束，海外头部模型率先进入多万亿参数区间，国内Kimi K3、Qwen3.8等模型快速跟进，字节跳动最高10万亿参数模型亦在预训练。Post-training Scaling正由数学、Coding等可验证任务拓展至百万Token长轨迹、数千次工具调用和持续数小时的Agent工作流，带动GPU、KV Cache、存储、沙箱及任务调度需求上升。RSI推动模型由研发工具向研发主体演进，OpenAI、Anthropic和Google已将AI用于代码生成、实验优化和基础设施设计，但可靠评价仍是闭环自我改进的主要约束。持续学习、长期记忆和世界模型同步迭代，共同支撑模型向长期自主Agent演进。