미세 튜닝, 모델을 내 과제로 맞춤
사전 학습 모델에 추가 데이터를 줘 과업을 맞춥니다. 전체 튜닝은 비싸고, LoRA 같은 방법은 가볍게 할 수 있어요. 데이터가 충분해야 효과가 커져요.
카드 읽기A LITTLE EVERY DAY
하루 한 장,
AI 감각을 쌓아요.
짧게 읽고 오래 기억할 수 있도록 핵심 개념만 담았습니다.
한국어 모델, 왜 부족할까
대부분의 대규모 데이터는 영어에 치우져 있어요. 한국어 데이터는 상대적으로 적어요. 그래서 한국어 전용 모델을 만드는 연구가 진행됩니다.
카드 읽기데이터 드리프트, 배포 후 품질이 떨어지면
배포 후 입력 데이터의 분포가 바뀌면 품질이 떨어질 수 있어요. 입력과 출력을 정기적으로 점검해야 해요. 변한 데이터를 재학습에 쓰는 게 일반적입니다.
카드 읽기MLOps, 모델을 돌리는 운영의 일
모델을 만들어 배포하고 지켜보는 전 과정을 자동화하는 실천이에요. 버전 관리, 재학습, 모니터링이 핵심이에요. 한 번의 학습이 아니라 흐름이 중요하게 됩니다.
카드 읽기vLLM, 대규모 모델 추론 엔진
2023년 공개된 추론 프레임워크예요. KV 캐시를 페이지 단위로 관리해 메모리를 효율적으로 써요. 동시 요청 처리량이 높아요.
카드 읽기RAG vs 미세 튜닝, 어느 쪽인가
새 지식이 자주 바뀌면 RAG, 톤과 형식을 고치면 미세 튜닝을 검토합니다. RAG는 지식 업데이트가 쉽고 튜닝은 반응성이 커요. 데이터의 성격이 방향을 정합니다.
카드 읽기컨텍스트 윈도우, 한 번에 읽는 한계
모델이 한 번의 요청에서 다룰 수 있는 토큰의 범위가 정해져요. 범위를 넘으면 앞 내용이 버려집니다. 긴 대화와 문서 처리 설계의 출발점이 됩니다.
카드 읽기구성성을 위한 메타학습
모델에게 개념을 조합하는 힘을 가르치는 학습 기법이다. 새로운 상황을 마주했을 때, 이미 배운 조각들을 적절히 섞어 의미와 추론을 만들도록 돕는다. 단순 반복이 아니라 개념 재조합을 통해 일반화 성능을 끌어올리는 데 사용할 수 있다.
카드 읽기AI 옵저버빌리티
AI 옵저버빌리티는 에이전트, LLM, 마이크로서비스를 하나의 상관 맵으로 묶어 실시간으로 추적하는 관측 체계다. 추론에서 코드 실행까지 연결해 논리 이탈과 할루시네이션을 찾고, 정확도와 비용을 동시에 관리한다.
카드 읽기사슬 사고 (Chain of Thought)
복잡한 문제를 해결할 때 모델이 단계별 추론 과정을 거치도록 유도하는 기법입니다. 단계별로 차근차근 생각해보자 같은 문구를 사용해 중간 해석을 명시적으로 유도하면, 논리적 오류를 줄이고 복잡한 작업의 정확도를 크게 높일 수 있습니다.
카드 읽기LoRA, 가벼운 미세 튜닝의 비결
LLM 전체를 다시 훈련하려면 원본 모델만큼 큰 메모리가 필요합니다. LoRA는 원래 가중치는 그대로 얼려두고, 그 옆에 붙인 아주 작은 저순위 행렬 한 쌍만 학습해서 개인용 GPU로도 미세 튜닝을 가능하게 만든 기법입니다.
카드 읽기GPT-2도 크기가 여러 개
가장 작은 GPT-2는 파라미터 1억 2,400만 개, 어텐션 헤드 12개, 임베딩 768차원입니다. 가장 큰 버전은 파라미터 15억 5,800만 개로 10배가 넘죠. 놀랍게도 핵심 구조는 완전히 동일하고, 반복되는 트랜스포머 블록 개수와 임베딩 차원만 다릅니다.
카드 읽기지시 미세튜닝 vs 분류 미세튜닝
분류 미세튜닝은 '스팸이다/아니다'처럼 정해진 몇 개의 답 중 하나만 고르도록 특화 훈련합니다. 지시 미세튜닝은 반대로 훨씬 폭넓은 지시문을 이해하고 자유롭게 응답하도록 훈련해서, 하나의 모델로 번역·요약·질의응답 등 다양한 작업을 처리하게 만듭니다.
카드 읽기온도를 올리면 생기는 일
생성 온도를 낮추면 모델은 가장 확률 높은 단어만 고르는 안전한 선택을 반복합니다. 온도를 올리면 확률이 낮은 단어도 뽑힐 기회가 생겨 표현이 다채로워지지만, 너무 높이면 문법이 무너지거나 엉뚱한 문장이 나올 수 있습니다.
카드 읽기숏컷 하나로 깊은 모델이 안 무너지는 이유
층을 아주 깊게 쌓으면 학습 신호(기울기)가 앞쪽까지 전달되다가 사라져버리는 문제가 생깁니다. 숏컷(잔차) 연결은 입력을 몇 개 층 건너뛰어 출력에 그대로 더해주는 지름길을 놔줘서, 신호가 끊기지 않고 끝까지 전달되게 합니다.
카드 읽기숫자로 바뀐 단어, 임베딩
컴퓨터는 '고양이'라는 글자를 이해하지 못해도, [0.2, -1.3, 0.7...] 같은 숫자 벡터는 계산할 수 있습니다. 임베딩은 바로 이 변환을 담당하며, 훈련이 진행될수록 의미가 비슷한 단어의 벡터가 서로 가까워지도록 조정됩니다.
카드 읽기모르는 단어가 없는 토크나이저
일반 사전식 토크나이저는 처음 보는 단어를 만나면 <unk> 같은 대체 토큰으로 뭉개버립니다. BPE는 단어를 더 작은 조각(부분단어)이나 심지어 알파벳 한 글자까지 쪼갤 수 있어서, 사실상 모든 단어를 어떻게든 표현할 수 있습니다.
카드 읽기미래를 보면 안 되는 이유
GPT는 왼쪽에서 오른쪽으로 한 단어씩 글을 씁니다. 만약 훈련 중에 미래 단어를 미리 볼 수 있다면 '커닝'을 하는 셈이라 실전에서는 못 쓰는 모델이 됩니다. 코잘 어텐션은 미래 위치의 점수를 음의 무한대로 가려서 이 커닝 자체를 원천 차단합니다.
카드 읽기쿼리, 키, 값 — 어텐션의 3형제
셀프 어텐션은 토큰마다 쿼리(내가 찾는 것), 키(내가 가진 것), 값(실제 내용) 세 벡터를 만듭니다. 쿼리와 키를 비교해 '얼마나 관련 있는지'를 구하고, 그 비율만큼 값을 섞어서 문맥이 반영된 새 표현을 만드는 것이 전체 과정입니다.
카드 읽기왜 다음 단어 맞히기만으로 똑똑해질까
LLM은 '다음 단어가 뭘까'라는 단순한 게임을 수십억 번 반복해서 훈련됩니다. 정답 레이블을 따로 만들 필요 없이 텍스트 자체가 정답이 되는 자기 지도 학습이라, 인터넷 규모의 데이터를 그대로 훈련에 쓸 수 있는 것이 핵심입니다.
카드 읽기AI 에이전트 맛보기
도구를 호출하는 에이전트의 기본 구조.
카드 읽기Temperature 조절
창의성과 일관성 사이 균형 잡기.
카드 읽기좋은 프롬프트 작성법
프롬프트 엔지니어링 기본 원칙.
카드 읽기RAG 파이프라인
검색 증강 생성이 동작하는 흐름.
카드 읽기임베딩과 유사도
임베딩으로 의미적 유사도를 계산하는 원리.
카드 읽기토큰 이해하기
텍스트가 토큰으로 어떻게 쪼개지는지 살펴봅니다.
카드 읽기LLM이란
오늘의 카드: LLM 기본 개념을 익혀봅니다.
카드 읽기