쉽게 이해하기

텍스트처럼 순서가 있는 데이터를 한 단계씩 처리하며 은닉 상태를 계속 업데이트하는 구조입니다. 문장이 길어지면 앞부분의 정보가 하나의 은닉 상태에 다 담기지 못해 희미해지는 한계가 있었고, 이를 극복하려는 시도(바흐다나우 어텐션)가 결국 트랜스포머의 셀프 어텐션으로 이어졌습니다.