쉽게 이해하기
처음부터 새 모델을 훈련하는 대신, 이미 언어를 폭넓게 이해한 파운데이션 모델을 특정 작업(분류, 지시 수행 등)에 맞는 소량의 데이터로 다시 학습시키는 과정입니다. 크게 지시를 따르도록 훈련하는 '지시 미세튜닝'과 정해진 클래스로 분류하도록 훈련하는 '분류 미세튜닝'으로 나뉩니다.
미세 튜닝 (Fine-tuning)
사전 훈련된 모델을 레이블이 있는 작은 데이터셋으로 추가 학습시키는 것
#training#llm
사전 훈련된 모델을 레이블이 있는 작은 데이터셋으로 추가 학습시키는 것
처음부터 새 모델을 훈련하는 대신, 이미 언어를 폭넓게 이해한 파운데이션 모델을 특정 작업(분류, 지시 수행 등)에 맞는 소량의 데이터로 다시 학습시키는 과정입니다. 크게 지시를 따르도록 훈련하는 '지시 미세튜닝'과 정해진 클래스로 분류하도록 훈련하는 '분류 미세튜닝'으로 나뉩니다.