Parial rollouts是今天新学到的
Rl prompt set的构建需要的特征：
一个构建良好的 prompt set 不仅会引导模型走向稳健推理，还会降低 reward hacking 和过拟合表层模式的风险。具体来说，高质量 RL prompt set 由三个关键属性定义：
1.覆盖多样性： Prompt 应该覆盖广泛的学科，例如 STEM、编程和通用推理，以增强模型的适应性，并确保它在不同领域中具有广泛适用性。
2.难度均衡性： Prompt set 应该包含分布良好的简单、中等和困难问题，以促进渐进式学习，并防止模型过拟合到特定复杂度水平。
3.准确可评估性： Prompt 应该允许 verifier 进行客观可靠的评估，确保模型性能是根据正确推理来衡量的，而不是根据表层模式或随机猜测来衡量的。
Kimi k1.5 使用模型自身表现来估计 RL prompt 的难度。具体做法是让 SFT 模型(较高温度）对每个 prompt 采样生成 10 次答案，再用 verifier 计算通过率。通过率越低，说明该 prompt 对当前模型越难。这个难度是 model-relative difficulty，而不是人工定义的绝对难度。这样可以过滤太简单的题，也可以为 RL 阶段设计更合适的采样策略。
Kimi k1.5 在构建 RL prompt set 时，会移除 easy-to-hack prompts。原因是一些题虽然看起来需要复杂推理，但最终答案很容易猜中。如果 verifier 只检查最终答案，模型可能通过错误推理甚至无推理拿到 reward，造成 false positive verification。为了解决这个问题，他们让模型在不使用 CoT 的情况下直接猜答案。如果模型在 N = 8 次尝试内猜中正确答案，该 prompt 就被认为容易被 hack，并从训练集中移除。（我感觉我们好像不太需要，prover生成的代码本身就是它内在逻辑的表示）
Kimi k1.5 在 RL 前先做一个轻量级 long-CoT SFT warmup。这个阶段使用小规模高质量、可验证的 long-CoT 数据，让模型先学会 planning、evaluation、reflection 和 exploration。随后模型再进入 RL 阶段，继续通过奖励信号优化推理能力。
该方法的 RL objective 只奖励最终答案正确。CoT \(z\) 的质量通过最终答案正确性间接衡量，而不是由 process reward model 逐步验证。因此，错误或编造的推理过程仍可能获得 reward。论文通过 prompt filtering、easy-to-hack 移除和 long-CoT warmup 来降低风险，但没有从根本上解决过程真实性问题。
来自Llama3论文