데이터 평행화, 데이터를 나눠 훈련하기

GPU 여러 대가 각각 다른 데이터로 같은 모델을 훈련하고 그라디언트를 합칩니다. 데이터가 크면 이 방식이 가장 효율적이에요. 통신이 병목이 될 수 있어요.