在GRPO训练中后期，模型有时会生成无关内容至最大token数

[ZhuoranZhao]

我发现在GRPO训练的中后期，在采样生成过程中，有时会生成许多无关的内容直到达到最大生成token的数量，这就是所谓的reward hacking吗？这种现象应该在奖励函数上继续进行调整吗？有没有什么办法可以解决呢？强化小白，期待大家的回复！

[HarryHsing]

Hi，这应该是模型本身的问题再加上训练里用了 do_sample=True 且 temperature=1，容易导致生成发散。你可以先用训练好的 weights 跑一下 eval，eval 的时候把 do_sample 关掉，看看效果怎么样。