쉽게 이해하기
개별 글자에서 시작해 텍스트에 자주 함께 나타나는 조합을 반복적으로 부분단어로 병합하는 방식입니다. 사전에 없는 단어라도 더 작은 조각으로 쪼개 처리할 수 있어 '모르는 단어' 문제 자체가 사라지는 것이 장점이며, GPT-2·GPT-3·ChatGPT가 모두 이 방식(약 5만 개 어휘)을 사용합니다.
바이트 페어 인코딩 (BPE)
자주 등장하는 글자 조합을 점진적으로 합쳐 어휘를 만드는 토큰화 기법
#tokenization#nlp
자주 등장하는 글자 조합을 점진적으로 합쳐 어휘를 만드는 토큰화 기법
개별 글자에서 시작해 텍스트에 자주 함께 나타나는 조합을 반복적으로 부분단어로 병합하는 방식입니다. 사전에 없는 단어라도 더 작은 조각으로 쪼개 처리할 수 있어 '모르는 단어' 문제 자체가 사라지는 것이 장점이며, GPT-2·GPT-3·ChatGPT가 모두 이 방식(약 5만 개 어휘)을 사용합니다.