쉽게 이해하기

번역처럼 입력과 출력의 길이·문법 구조가 다른 작업을 위해 고안된 구조로, 인코더가 입력 전체를 읽어 압축된 표현으로 바꾸고 디코더가 그 표현을 바탕으로 출력을 한 단계씩 생성합니다. 트랜스포머 이전에는 순환 신경망(RNN) 기반 인코더-디코더가 주로 쓰였습니다.