昨今，针对LLM（大型语言模型）自夸基准得分的现象，开发团队“狸”对llm-jp-13b进行了微调，创建了一个被称为Tanuki-Zero的模型，并宣布了这一消息。看起来这个模型似乎是开玩笑地制作的。有人说其基准得分超过了GPT-3.5！但实际上，是因为它直接在基准测试上进行了学习。这完全是作弊，所以得分当然高。总的来说，他们想要表达的是LLM的基准得分根本不可靠。只看基准得分，我们也不能说它有多么厉害或不厉害，这是个问题。→RT