🔗 https://www.fujitsu.com/global/about/resources/news/press-releases/2024/0510-01.html

发布了富岳 - LLM，这是一个在富岳超级计算机上训练的大型语言模型。

富岳 - LLM 拥有 130 亿个参数，在人文社科相关任务中表现优于其他模型。

它是通过对日语、英语、数学和代码数据进行混合训练而得到的。

该模型的结果已在 GitHub 和 Hugging Face 上公开，可供进一步开发，有望在科学和社会模拟的人工智能应用中发挥作用。

这个项目是多个机构的合作。

评论中讨论了使用 CPU 而非 GPU 进行训练、与 GPT-4 等其他模型的比较、训练过程的效率以及分散式架构对模型训练的挑战。

💬 https://news.ycombinator.com/item?id=40348371
@朱恒玉