LoRA (저순위 적응)

쉽게 이해하기

LLM 전체 파라미터를 다시 훈련하려면 막대한 메모리와 시간이 필요합니다. LoRA(Low-Rank Adaptation)는 기존 가중치는 얼리고(freeze), 그 옆에 훨씬 작은 저순위 행렬 한 쌍만 추가해 그것만 학습합니다. 원본 대비 훨씬 적은 파라미터로도 특정 작업에 맞춰 효율적으로 모델을 조정할 수 있어 개인 하드웨어에서도 미세 튜닝이 가능해집니다.