AN OPEN RESEARCH NOTEBOOK
从一篇论文，
到一次真实的训练。
用 PyTRIO 实践 LLM 与 Agent 强化学习。
15 篇可运行的实验笔记：从 GRPO / DAPO / GSPO，到 Search-R1、ReTool 与多模态 Agent。
git clone KMnO4-zx/agentic-rl-lab && uv sync安装与入门 THE BOARD
所有实验都在这里～
Loss Functions
从直觉理解强化学习损失
从 importance sampling 到 PPO、CISPO，看清每一次策略更新到底在优化什么。
GRPO
从组内比较开始
在 GSM8K 上走通采样、奖励与更新，亲手比较三种 loss 的训练行为。
General OPD
让学生在自己的轨迹上学习
用 DeepMath-103K 串起 Student 采样、Teacher 打分与 reverse KL。
Medical OPD
专业能力与通用能力的平衡
从 Medical SFT 出发，实验 SAR-OPD 与 IDT-OPD，观察多任务能力的变化。
Search-R1
学会在思考中搜索
把在线搜索放进 rollout，让模型在多轮检索中学会寻找证据、组织答案。
OPSD
从自己生成的轨迹中蒸馏
固定 step-0 Teacher，在 Student 自采样轨迹上构造蒸馏信号。
ReTool
把 Python 变成推理工具
连接本地代码沙箱，复现思考与代码执行交织进行的 Agentic RL。
DAPO
拆开训练稳定性的四个改进
拆解四项核心设计，记录 Dynamic Sampling 在真实训练中的收益与时间成本。
GSPO
把优化单位提升到序列
实现 sequence-level 重要性比率与裁剪，厘清核心 loss 和完整训练的边界。
ALFWorld
训练一个会做家务的 Agent
在真实 TextWorld 环境里，处理长轨迹、环境反馈与家务任务。
Vision GRPO
让强化学习看见图片
在 GeoQA 上接入图像输入，把图文推理与可验证奖励串起来。
TEMPO
用小段轨迹学习长程任务
在 ALFWorld 中探索 macro-step 优化与生成式 critic，记录算法级复现的边界。
AgentOPSD
把信用分配到每一轮交互
让带 Skill 的 Self-Teacher 给出 turn-level 信号，分析多轮 Agent 的学习过程。
Spec-o3
用强化学习寻找天上的星星
从 SFT 到 GRPO，让模型边看光谱、边思考、边调用工具完成天体候选审核。
PyTrio-Jev
训练自己的分类决策模型
用 2160 条数据微调 Qwen3.5-4B，走通决策模型的 LoRA 训练、受限 softmax 推理、温度校准与五项基准评测。
TRAINING PLATFORMS
从训练工具，走进实验。
LEARN IN THE OPEN
实验会有边界，好奇心可以更远。
这里记录实现、结果和没跑通的地方。欢迎带着问题、复现记录和新想法一起加入。