热门

最新

红包

立Flag

投票

同城

发布
devhero
op7418
1 年前
truedevhero

小扎真的全力以赴投入人工智能了，Meta宣布他们正在开发两个拥有24,000个GPU的超级计算集群。并计划在2024年底之前，使其综合计算能力接近60万个H100 GPU。

这些超级计算集群将用于支持多种人工智能任务，包括训练Llama 3这样的大型人工智能模型。Meta特别强调，他们致力于开放计算和开源技术，这些集群是基于Grand Teton、OpenRack和PyTorch等平台构建的。

这些集群的设计旨在支撑大型和复杂的人工智能模型，重点提升性能、确保可靠性和扩展能力。

Meta的策略包括设计定制化的硬件设备、采用先进的网络解决方案，比如通过融合以太网的RDMA(RoCE)以及NVIDIA Quantum2 InfiniBand网络技术，以及利用FUSE API和Tectonic分布式存储技术优化存储方案。

此外，Meta还注重通过软件优化和与框架开发者（例如PyTorch）合作，以确保其人工智能集群在最大化性能的同时，用户使用起来也更加便捷。

来源：https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/

7
28
  • 复制链接
  • 举报
下一条：
【窃取生产语言模型的一部分引人入胜的论文！它展示了第一个模型窃取攻击，可以从像ChatGPT或PaLM-2这样的生产语言模型中提取信息。论文表明，通过典型的API访问，可以恢复基于变压器的模型的嵌入投影层。例如，使用不到20美元的费用，就从OpenAI的ada和babbage模型中提取了整个投影矩阵。论文中的引用：“我们还恢复了gpt-3.5-turbo模型的确切隐藏维度大小，并估计通过查询花费不到2000美元就能恢复整个投影矩阵。”由于这些LLM提供商已经提供了logit-bias和logprobs，攻击才成为可能。这让我想起了另一篇论文，它利用模型的logprobs开发了超高效的对抗性提示。在LLM的世界里，安全仍然是一个紧迫的话题。如果你正在构建LLM产品，熟悉这些话题是很好的。】