我们发现多语言偏好优化从越来越多的多语言偏好数据中受益，表现出跨语言传递，并且在线优化（RLOO）优于离线优化（DPO）。