「Welford算法小记 :主要介绍了Welford算法,这是一种在线计算样本均值和方差的方法,尤其在处理大数据集时具有较好的数值稳定性和速度」(1)文章首先回顾了常见的方差计算方法,如Two-pass方法和Naive方法,(2)然后详细推导了Welford算法的计算过程。Welford算法通过一次遍历数据来计算均值和方差,避免了Two-pass方法中的两遍循环以及Naive方法中的累加舍入误差问题。(3)文章还提供了Python实现的简单示例代码,并提到了PyTorch和Apex中的实际应用。具体链接:
https://zhuanlan.zhihu.com/p/408474710