본문으로 바로가기
AI
WIKI
용어
오늘의 카드
프롬프트
리더보드
검색
로그인
프롬프트 기여
홈
/
용어
/
토큰
입문
토큰
토큰
텍스트를 쪼갠 최소 단위
#nlp
쉽게 이해하기
모델이 처리하는 텍스트의 최소 단위. 단어보다 작을 수 있음.