토크나이저, 모델 성능에 영향을 미치나

토큰 단위가 모델의 입력을 정합니다. 잘 자르면 의미 단위로 분해가 잘 돼요. 나쁘게 자르면 문맥이 깨져요. 언어에 맞는 토크나이저가 중요합니다.