斯坦福 CS25 今日讲座：Loubna Ben Allal，Hugging Face今天（星期四，5月23日）太平洋夏令时间下午4:30，来自 Hugging Face 的 Loubna Ben Allal 将为 CS25 课程进行讲座（https://cs25.stanford.edu）。该讲座将在 Zoom 上进行直播，链接为 https://stanford.zoom.us/j/99922151759?pwd=dW5CcUtVYkNybGZGY0hMWUZtVkZBZz09。提醒一下，这是我们本季度最后一场 CS25 讲座！演讲标题：LLM 预训练幕后：StarCoder 用例演讲摘要：随着大型语言模型（LLMs）成为许多 AI 产品的核心，学习预训练和微调它们现在变得至关重要。在这次讲座中，我们将探讨从头训练 LLM 的复杂性，包括关于缩放法则和数据策划的经验教训。然后，我们将研究 StarCoder 用例，作为针对代码优化的 LLM 的一个例子，突显其开发与标准 LLMs 的不同。此外，我们还将讨论数据治理和评估的重要方面，这是当今关于 LLMs 和 AI 的讨论中常常被预训练讨论所掩盖的关键元素。演讲者简介：Loubna Ben Allal 是 Hugging Face 科学团队的机器学习工程师，专注于用于代码和合成数据生成的大型语言模型。她是 BigCode 项目的核心团队成员之一，并共同编写了 The Stack 数据集和用于代码生成的 StarCoder 模型。Loubna 拥有埃克尔·代尔矿业学院和 ENS 巴黎萨克雷大学的数学与深度学习硕士学位。录音、幻灯片及更多信息：讲座录音会发布在我们的 YouTube 播放列表中：https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM。幻灯片和更多信息会发布在我们的 Discord 服务器（https://discord.gg/2vE7gbsjzA）和课程网站（https://cs25.stanford.edu）。期待今天下午见到大家！@Wayne Gao @小雏菊爱蒲公英 @谢週五 @宝之大者 @宝之大者AILab @快乐一点吧 @宝之大者HAI @知乎圈子