쉽게 이해하기

신경망은 문자열을 그대로 이해할 수 없기 때문에, 문장을 단어·부분단어·문장부호 같은 작은 조각인 '토큰'으로 나누고 각 토큰에 고유한 정수(토큰 ID)를 매깁니다. 이 정수 목록이 이후 임베딩 벡터로 변환되어 모델의 실제 입력이 됩니다.