텐서 평행화, 모델을 나눠 훈련하기
하나의 층을 여러 GPU로 나눠서 계산합니다. 모델이 커지면 이 방식이 필요해요. GPU 간 통신이 많이 필요하죠.
- 01
하나의 층을 여러 GPU로 나눠서 계산합니다. 모델이 커지면 이 방식이 필요해요. GPU 간 통신이 많이 필요하죠.
하나의 층을 여러 GPU로 나눠서 계산합니다. 모델이 커지면 이 방식이 필요해요. GPU 간 통신이 많이 필요하죠.
하나의 층을 여러 GPU로 나눠서 계산합니다. 모델이 커지면 이 방식이 필요해요. GPU 간 통신이 많이 필요하죠.