以下命令均从仓库根目录运行。项目要求 Python >=3.13。

uv sync
trio login
swanlab login

1. 下载数据

准备训练集与 AIME25 评测集：

uv run python 05-retool/prepare_data.py
uv run python 04-opsd/00-datasets.py --only aime25

2. 启动训练

先运行 20-step 验证实验：

uv run python 05-retool/train.py \
    --max-steps 20 \
    --save-every 5 \
    --run-name retool-qwen35-4b-step20

完整实验把 --max-steps 改为 200，把 --save-every 改为 50。

3. 运行评测

先评测 Base Model：

uv run python 05-retool/eval.py \
    --mode retool \
    --val-n 12 \
    --temperature 1.0 \
    --top-p 0.7 \
    --output 05-retool/eval-results/aime25-retool-base.jsonl

再评测训练得到的 sampler weights：

uv run python 05-retool/eval.py \
    --mode retool \
    --val-n 12 \
    --temperature 1.0 \
    --top-p 0.7 \
    --model-path 'trio://RUN_ID/sampler_weights/RETOOL_WEIGHTS_NAME' \
    --output 05-retool/eval-results/aime25-retool-step200.jsonl