쉽게 이해하기

심층 신경망은 층이 깊어질수록 값의 크기가 들쭉날쭉해져 훈련이 불안정해지기 쉽습니다. 층 정규화는 각 층의 출력을 정규화해 이 문제를 줄이고, 학습이 더 빠르고 안정적으로 수렴하도록 돕습니다. 트랜스포머 블록마다 어텐션과 피드 포워드 앞뒤로 배치됩니다.