根据@Gross1101对@雨鸦（Magic AI）的采访，他们拥有一个至少具有1亿个token上下文窗口的模型，如果不是更多的话。尽管注意力机制的计算量呈二次方增长，其发展仍在呈指数级加速。与一年前GPT-4的8千窗口相比，增长了12,500倍。