쉽게 이해하기

어텐션이 토큰 사이의 관계를 계산한다면, 피드 포워드 네트워크는 어텐션 결과를 받아 각 토큰 위치별로 더 깊은 특성 변환을 수행합니다. 보통 GELU 같은 비선형 활성화 함수를 사이에 두고 차원을 넓혔다가 다시 줄이는 구조로 되어 있습니다.