热门

最新

红包

立Flag

投票

同城

发布
weixin_35799294
郑瑜伊
2 年前
trueweixin_35799294

视觉输入由于图像编码器处理的原因，在gpt-4o上的处理速度仍然较慢，TTFT（从提示到首令牌的时间）尤其缓慢。不过，输出的TPS（每秒生成的令牌数）几乎没有受到影响，这并不意外。
中位TTFT：1.66秒
令牌数：100（80令牌/秒）
总时间：2.46秒
评论
10
  • 复制链接
  • 举报
下一条：
有机会试用了来自us-central的gpt-4o API，文本生成速度相当快。相比于https://thefastest.ai，这个性能是gpt-4-turbo的5倍TPS，类似于许多llama-3-8b的部署。TTFT：0.34秒Tokens：100（124 tokens/秒）总时间：1.11秒