为了应对大型语言模型高昂的训练成本,北京智源人工智能研究院(BAAI)最近推出了FLM-101B。通过采用增长策略,现在可以仅以10万美元的计算成本从头开始训练一个千亿级别的模型。https://arxiv.org/abs/2309.03852