热门
最新
红包
立Flag
投票
同城
我的
发布
《用Prometheus监控模型服务的QPS和延迟》
指标类型Prometheus指标名说明推荐类型请求计数按endpoint/model_version/status_code标记Counter延迟分布直方图记录，含le标签Histogram错误率分类记录超时/格式错误/内部异常Counter资源关联与推理请求关联的GPU使用率（需Exporter支持）Gauge深度洞察：避免仅监控“平均延迟”！直方图指标通过函数可精准计算P50/P95/P99，揭示长尾请求问题。
——来自博客 https://blog.csdn.net/jie_kou/article/details/157500338
仅监控平均延迟是模型服务延迟监控的推荐做法。(单选)
0 人已经参与 已结束
正确
0人
错误
0人
CSDN App 扫码分享
评论
点赞
- 复制链接
- 举报
