共识博弈：让模型学会“求同存异”

关键词： 一致性、博弈论、生成器、判别器、均衡排序

关于什么： MIT 的研究人员提出了一种名为 " 共识博弈 " 的机制，其基本原理是将 LLM 的生成器和判别器视为两个博弈玩家，通过对抗训练的方式，让它们在生成和评估答案的过程中不断学习和调整，最终达成一致。

共识博弈的训练过程：

1. 生成器接收问题: 问题可以由人类给出，也可以从预先设定的问题列表中随机选择。
2. 生成器生成候选答案: 基于接收到的问题，生成器会生成多个候选答案，并通过随机机制决定给出正确或错误的答案。
3. 判别器评估答案: 判别器负责评估生成器给出的答案，如果判断正确，则双方都获得奖励；反之，则双方都受到惩罚。

通过这种机制，生成器和判别器会逐渐了解对方的策略，并调整自己的行为以最大化自身的利益。最终，模型会达到一种纳什均衡状态，即任何一方都无法通过单方面改变策略来获得更好的结果，此时模型的输出结果也会更加一致。

为何重要： 这是一次博弈论与 LLM 的一次交叉，尝试在 generator 和 discriminator 之间达到 Nash 均衡。

主要参考文献： A. P. Jacob, Y. Shen, G. Farina, and J. Andreas, “The consensus game: language model generation via equilibrium search,” 2024.