THE EXPERIMENT HANDBOOK
把想法，放进实验里。
15 篇算法拆解与实践记录。从一个训练循环，走向会搜索、会行动、会看图的 Agent。
Loss Functions
从直觉理解强化学习损失
从 importance sampling 到 PPO、CISPO，看清每一次策略更新到底在优化什么。
基础与优化01GRPO
从组内比较开始
在 GSM8K 上走通采样、奖励与更新，亲手比较三种 loss 的训练行为。
基础与优化02.1General OPD
让学生在自己的轨迹上学习
用 DeepMath-103K 串起 Student 采样、Teacher 打分与 reverse KL。
蒸馏与自学习02.2Medical OPD
专业能力与通用能力的平衡
从 Medical SFT 出发，实验 SAR-OPD 与 IDT-OPD，观察多任务能力的变化。
蒸馏与自学习03Search-R1
学会在思考中搜索
把在线搜索放进 rollout，让模型在多轮检索中学会寻找证据、组织答案。
工具与环境04OPSD
从自己生成的轨迹中蒸馏
固定 step-0 Teacher，在 Student 自采样轨迹上构造蒸馏信号。
蒸馏与自学习05ReTool
把 Python 变成推理工具
连接本地代码沙箱，复现思考与代码执行交织进行的 Agentic RL。
工具与环境06DAPO
拆开训练稳定性的四个改进
拆解四项核心设计，记录 Dynamic Sampling 在真实训练中的收益与时间成本。
基础与优化07GSPO
把优化单位提升到序列
实现 sequence-level 重要性比率与裁剪，厘清核心 loss 和完整训练的边界。
基础与优化08ALFWorld
训练一个会做家务的 Agent
在真实 TextWorld 环境里，处理长轨迹、环境反馈与家务任务。
工具与环境09.1Vision GRPO
让强化学习看见图片
在 GeoQA 上接入图像输入，把图文推理与可验证奖励串起来。
多模态与前沿09.2TEMPO
用小段轨迹学习长程任务
在 ALFWorld 中探索 macro-step 优化与生成式 critic，记录算法级复现的边界。
多模态与前沿09.3AgentOPSD
把信用分配到每一轮交互
让带 Skill 的 Self-Teacher 给出 turn-level 信号，分析多轮 Agent 的学习过程。
多模态与前沿09.4Spec-o3
用强化学习寻找天上的星星
从 SFT 到 GRPO，让模型边看光谱、边思考、边调用工具完成天体候选审核。
多模态与前沿09.5PyTrio-Jev
训练自己的分类决策模型
用 2160 条数据微调 Qwen3.5-4B，走通决策模型的 LoRA 训练、受限 softmax 推理、温度校准与五项基准评测。
多模态与前沿第一次来？从 学习路线 → 找到适合自己的起点。