MosaicBERT：低成本训练BERT的方法BERT是Transformer的一种实现，训练成本比较高。MosaicBERT大幅降低了训练成本，从头开始训练大概值需要花费100美元，为后续BERT模型的训练提供了一种低成本方法。模型权重和代码后续会开源。论文：https://arxiv.org/abs/2312.17482Github：https://github.com/mosaicbert/mosaicbert.github.io
