在“”和破坏互联网并接管一切之前，我们都对生成对抗网络（GAN）感到兴奋。

GAN生成的模型在创建图像（尤其是人脸）方面表现出色，突破了我们认为可能的极限。
然后，变压器和大语言模型（LLM）出现并改变了一切。

无论生成模型是如何生成的（即训练），在创建文本、图像和音频方面的确非常出色：
给定一个模糊的输入，它可以生成很多次都能接受的广泛输出。
例如，这对于创建营销材料非常有用。

但是，
当谈到制作高质量、可靠的内容，如代码时，情况就不同了。
那么，我们是否应该重新引入GAN？
我的意思是，我们是否应该带回判别器/对抗部分？

我相信，对于代码生成，我们可能需要至少在概念上回到GAN架构。
想象一下，一个部分创建代码，另一个部分检查它！
检查部分可以处理测试并确保代码与其预期功能匹配。

据说，生成的LLM训练过程确实包括一个使用判别器反馈的阶段。
这是训练的第三部分，RLHF（RL人类反馈）。
但这是人类反馈，而不是来自另一个指定模型或系统的反馈。
请参见@野之风对此的说明：
https://x.com/karpathy/status/1821277264996352246?t=PJzsvjtn88YxiJ52UZRSQg&s=19

此外，对抗部分不仅可以在训练期间进行，还可以在推理期间进行。
这种方法可以提高生成代码的质量，我有证据：
AlphaCodium——一个将代码创建与检查和匹配结合起来以确保更高质量的系统。
https://github.com/Codium-ai/AlphaCodium