Common Corpus：一个用于训练LLMs的大型公共领域数据集

快速阅读：https://www.marktechpost.com/2024/03/23/common-corpus-a-large-public-domain-dataset-for-training-llms/

Common Corpus计划已经成为用于训练LLMs的最大公共领域数据集。这项由Pleias牵头、涉及LLM预训练、AI伦理和文化遗产研究人员的国际合作挑战了现状并点燃了AI实践的新时代。这个多语种且多元化的数据集展示了在无版权顾虑的情况下训练LLMs的潜力，标志着AI领域的重大转变。

项目：https://huggingface.co/collections/PleIAs/common-corpus-65d46e3ea3980fdcd66a5613