AI 에이전트
도구를 사용해 목표를 수행하는 시스템
자세히 보기SEARCH THE WIKI
통합 검색
용어, 오늘의 카드, 검증된 프롬프트를 한 번에 찾아보세요.
전체 콘텐츠120개
AI 옵저버빌리티
모델과 에이전트, 마이크로서비스를 하나의 상관 맵으로 연결해 실시간으로 동작을 관찰하고 오류를 추적하는 관측 체계
자세히 보기어텐션 메커니즘 (Attention Mechanism)
출력을 만들 때 입력의 어느 부분이 중요한지 가중치로 계산하는 방법
자세히 보기AutoGen
마이크로소프트의 오픈소스 멀티에이전트 대화 프레임워크로, 에이전트 간 비동기 메시징과 이벤트 기반 상호작용을 지원한다.
자세히 보기자기회귀 모델 (Autoregressive Model)
이전에 만든 출력을 다시 입력으로 사용해 다음 출력을 예측하는 모델
자세히 보기BERT
문장 안의 빈칸을 채우도록 훈련되어 분류·이해 작업에 강한 트랜스포머 모델
자세히 보기바이트 페어 인코딩 (BPE)
자주 등장하는 글자 조합을 점진적으로 합쳐 어휘를 만드는 토큰화 기법
자세히 보기코잘 어텐션 (Causal Attention)
미래 토큰을 미리 참조하지 못하게 마스킹하는 어텐션 방식
자세히 보기컨텍스트 윈도우
모델이 한 번에 참조 가능한 범위
자세히 보기크로스 엔트로피 손실 (Cross-Entropy Loss)
모델이 예측한 확률과 실제 정답 사이의 차이를 측정하는 손실 함수
자세히 보기드롭아웃 (Dropout)
훈련 중 은닉층의 일부 유닛을 임의로 꺼서 과대적합을 막는 정규화 기법
자세히 보기Dynamic LLM-Agent Network (DyLAN)
여러 LLM 에이전트가 수평적으로 정보를 공유하고 기여도에 따라 구성원을 교체하는 동적 다중 에이전트 구조이다.
자세히 보기임베딩 (Embedding)
단어나 토큰 같은 이산적인 데이터를 연속적인 숫자 벡터로 바꾸는 방법
자세히 보기창발적 행동 (Emergent Behavior)
명시적으로 훈련받지 않았는데도 모델 규모가 커지면서 저절로 나타나는 능력
자세히 보기인코더-디코더 (Encoder-Decoder)
입력을 이해하는 부분과 출력을 생성하는 부분을 나눈 신경망 구조
자세히 보기피드 포워드 네트워크 (Feed-Forward Network)
트랜스포머 블록 안에서 각 토큰을 독립적으로 변환하는 완전 연결 층
자세히 보기퓨샷
몇 개 예시로 태스크 유도
자세히 보기미세 튜닝 (Fine-tuning)
사전 훈련된 모델을 레이블이 있는 작은 데이터셋으로 추가 학습시키는 것
자세히 보기파운데이션 모델 (Foundation Model)
사전 훈련만 마치고 아직 특정 작업에 특화되지 않은 범용 모델
자세히 보기함수 호출
모델이 외부 함수를 호출하는 기능
자세히 보기GPT (Generative Pretrained Transformer)
트랜스포머의 디코더 부분만 사용해 한 번에 한 단어씩 텍스트를 생성하는 모델
자세히 보기할루시네이션
모델이 사실이 아닌 내용을 생성
자세히 보기층 정규화 (Layer Normalization)
각 층의 출력값 분포를 평균 0, 분산 1 근처로 맞춰 훈련을 안정시키는 기법
자세히 보기LLM (대규모 언어 모델)
대량의 텍스트로 훈련되어 사람의 언어를 이해·생성하는 신경망 모델
자세히 보기LLM-as-a-Judge
고성능 추론 모델이 작은 생산 모델의 출력을 대신 평가하는 자동 평가 방식이다.
자세히 보기LLM 가이드 적대형 배우-평론가 (LAAC)
대규모 언어 모델을 참고 정책으로 활용하여 추천 시스템의 다양성과 새로움을 강화하는 강화학습 알고리즘입니다. 기존 강화학습의 무작위 탐색 한계를 극복하고, 언어 모델의 지식을 통해 사용자 관심사와 부합하는 새로운 아이템을 탐색합니다.
자세히 보기LoRA (저순위 적응)
원본 가중치는 그대로 두고 작은 저순위 행렬만 추가로 학습하는 효율적인 미세 튜닝 기법
자세히 보기멀티 헤드 어텐션 (Multi-Head Attention)
여러 개의 어텐션을 병렬로 두어 서로 다른 종류의 관계를 동시에 포착
자세히 보기위치 인코딩 (Positional Encoding)
토큰의 순서 정보를 임베딩에 더해주는 방법
자세히 보기사전 훈련 (Pretraining)
레이블 없는 대량의 텍스트에서 다음 단어 예측으로 모델을 훈련하는 첫 단계
자세히 보기프롬프트 엔지니어링
모델 입력을 설계하는 기술
자세히 보기RAG (검색 증강 생성)
외부 지식 검색과 텍스트 생성을 결합해 최신·근거 있는 답을 만드는 방법
자세히 보기RAG (검색 증강 생성)
외부 지식 소스에서 관련 정보를 실시간으로 검색해 생성 과정에 반영하는 하이브리드 AI 아키텍처
자세히 보기RNN (순환 신경망)
이전 단계의 출력을 다음 단계의 입력으로 사용하는, 트랜스포머 이전의 순차 처리 신경망
자세히 보기셀프 어텐션 (Self-Attention)
문장 안의 각 단어가 같은 문장의 다른 단어들과 관계를 계산하는 어텐션
자세히 보기숏컷 연결 / 잔차 연결 (Shortcut Connection)
층의 입력을 출력에 그대로 더해 깊은 신경망의 기울기 소실을 완화하는 기법
자세히 보기시스템 프롬프트
모델의 기본 행동을 정의하는 지시문
자세히 보기Temperature
출력의 무작위성 조절 파라미터
자세히 보기온도 스케일링 (Temperature Scaling)
텍스트 생성 시 다양성과 일관성 사이의 균형을 조절하는 방법
자세히 보기토큰
텍스트를 쪼갠 최소 단위
자세히 보기토큰화 (Tokenization)
텍스트를 모델이 다룰 수 있는 단위(토큰)로 쪼개는 전처리 과정
자세히 보기Top-k 샘플링
확률이 가장 높은 k개의 후보 안에서만 다음 단어를 무작위로 고르는 방법
자세히 보기트랜스포머 (Transformer)
어텐션 메커니즘만으로 문장 전체를 한 번에 처리하는 신경망 구조
자세히 보기벡터 DB
임베딩을 저장·검색하는 데이터베이스
자세히 보기제로샷
예시 없이 태스크 수행
자세히 보기제로샷 / 퓨샷 학습 (Zero-shot / Few-shot Learning)
예시 없이(제로샷), 또는 아주 적은 예시만으로(퓨샷) 새 작업을 수행하는 능력
자세히 보기구성성을 위한 메타학습
모델이 배운 개념을 조합해 새로운 상황에 적용하는 구성 일반화 능력을 강화하는 메타학습 기법이다.
자세히 보기그래프 데이터베이스 (Graph Database)
검색 증강 생성 파이프라인에서 벡터 저장소와 대안으로 사용되는 외부 지식 저장 및 검색 기술이다.
자세히 보기사슬 사고 (Chain of Thought)
대형 언어 모델이 복잡한 문제를 해결할 때 단계별 추론 과정을 거치도록 유도하는 프롬프트 기법입니다.
자세히 보기에이전트 프레임워크 (Agent Framework)
AI가 목표를 달성하기 위해 자율적으로 계획을 수립하고, 외부 도구를 호출하며, 기억을 유지하고 환경 변화에 적응하도록 지원하는 소프트웨어 아키텍처.
자세히 보기코드로부터 API 문서 생성
다음 API 코드로 문서를 생성해줘: {{code}}
자세히 보기어텐션이 어디에 주목했는지 손으로 짚어보기
다음 문장에서 굵게 표시한 단어를 생성할 때, 셀프 어텐션이라면 어떤 이전 단어들에 가장 높은 가중치를 줄지 추론해줘. 각 후보 단어마다 이유를 한 줄로 설명하고, 가중치가 높은 순서대로 정렬해줘. 문장: {{문장을 넣고 굵게 표시할 단어를 **단어** 형식으로 표시}}
자세히 보기버그 재현 단계 작성
다음 버그 설명으로 재현 단계를 단계별로 작성해줘: {{bug}}
자세히 보기직접 구현한 코드에 대한 리뷰 요청
너는 딥러닝 프레임워크에 정통한 시니어 엔지니어야. 아래 코드는 내가 밑바닥부터 구현해본 {{구현한 대상, 예: 셀프 어텐션 클래스}}야. 1) 텐서 차원이 각 단계에서 어떻게 바뀌는지 줄 단위로 추적해서 알려줘 2) 버그나 비효율적인 부분이 있으면 구체적인 줄 번호와 함께 지적해줘
자세히 보기코드 리뷰 체크리스트
다음 코드를 보안·성능·가독성 관점에서 리뷰해줘: {{code}}
자세히 보기배운 개념으로 자가 테스트 문제 만들기
너는 AI/LLM 강의의 출제자야. 아래 개념들을 바탕으로 객관식 문제 5개를 만들어줘. 각 문제는 보기 4개(정답 1개 포함)로 구성하고, 마지막에 정답과 함께 왜 다른 보기가 틀렸는지 한 줄씩 설명해줘. 개념 목록: {{예: 토큰화, BPE, 임베딩, 위치 인코딩}}
자세히 보기쉽게 설명하기
{{topic}}을(를) 5살 아이도 이해하게 설명해줘.
자세히 보기미세 튜닝용 데이터셋 포맷 설계 도와주기
나는 LLM을 {{목표 작업, 예: 사내 문서 기반 Q&A}}에 맞게 지시 미세 튜닝하고 싶어. 아래 조건을 참고해서 instruction/input/output 형식의 JSON 데이터 샘플 5개를 만들어줘. 실제 사용 사례를 다양하게 섞어줘. 조건: {{예: 한국어, 답변은 3문장
자세히 보기생성 하이퍼파라미터 조합 추천받기
다음 상황에 맞는 temperature와 top-k 값을 추천하고, 왜 그 값이 적절한지 근거를 설명해줘. 그리고 반대로 너무 극단적인 값을 썼을 때 어떤 문제가 생길지도 한 문장씩 알려줘. 상황: {{예: 법률 문서 요약처럼 정확성이 중요한 작업}}
자세히 보기면접 질문 생성
{{role}} 직군 면접 질문 5개를 난이도별로 만들어줘.
자세히 보기LLM 핵심 개념을 비유로 설명받기
너는 AI를 처음 배우는 사람에게 어려운 개념을 쉬운 비유로 설명하는 선생님이야. 아래 개념을 중학생도 이해할 수 있게 일상적인 비유를 들어 3문단 이내로 설명해줘. 전문 용어를 쓸 때는 반드시 괄호 안에 원어를 병기해줘. 개념: {{설명할 개념, 예: 셀프 어텐션}}
자세히 보기회의록 정리
다음 두서없는 회의록을 항목별로 정리해줘: {{notes}}
자세히 보기신경망 구조를 텍스트 다이어그램으로 그려받기
아래 모델 구조를 입력부터 출력까지 순서대로, 텍스트 박스와 화살표(→)만 사용한 다이어그램으로 그려줘. 각 블록 옆에는 입력/출력 텐서의 대략적인 크기도 함께 적어줘. 모델: {{예: GPT-2 small, 트랜스포머 블록 12개}}
자세히 보기논문을 실무자 관점에서 요약받기
너는 AI 연구 논문을 실무 개발자에게 통역해주는 역할이야. 아래 논문(또는 논문 링크/초록)을 다음 형식으로 요약해줘. 1. 한 문장 요약 2. 이 논문이 푼 문제 (기존 방식의 한계 포함) 3. 핵심 아이디어 (수식 없이 개념으로) 4. 실제로 내 프로젝트에 적용한다면 어떤 부분에
자세히 보기정규식 생성
다음 요구사항을 만족하는 정규식을 만들어줘: {{requirement}}
자세히 보기격식체로 다시쓰기
다음 문장을 격식체로 다시 써줘: {{text}}
자세히 보기자연어를 SQL로
다음 요청을 SQL 쿼리로 변환해줘: {{question}} (스키마: {{schema}})
자세히 보기기사 요약 프롬프트
다음 기사를 3문장으로 요약해줘: {{article}}
자세히 보기톤 유지 번역
다음 텍스트를 {{lang}}로, 원래 톤을 유지해서 번역해줘: {{text}}
자세히 보기유닛 테스트 생성
다음 함수에 대한 유닛 테스트를 작성해줘: {{function}}
자세히 보기LLM이란
오늘의 카드: LLM 기본 개념을 익혀봅니다.
자세히 보기토큰 이해하기
텍스트가 토큰으로 어떻게 쪼개지는지 살펴봅니다.
자세히 보기임베딩과 유사도
임베딩으로 의미적 유사도를 계산하는 원리.
자세히 보기RAG 파이프라인
검색 증강 생성이 동작하는 흐름.
자세히 보기좋은 프롬프트 작성법
프롬프트 엔지니어링 기본 원칙.
자세히 보기Temperature 조절
창의성과 일관성 사이 균형 잡기.
자세히 보기AI 에이전트 맛보기
도구를 호출하는 에이전트의 기본 구조.
자세히 보기왜 다음 단어 맞히기만으로 똑똑해질까
LLM은 '다음 단어가 뭘까'라는 단순한 게임을 수십억 번 반복해서 훈련됩니다. 정답 레이블을 따로 만들 필요 없이 텍스트 자체가 정답이 되는 자기 지도 학습이라, 인터넷 규모의 데이터를 그대로 훈련에 쓸 수 있는 것이 핵심입니다.
자세히 보기쿼리, 키, 값 — 어텐션의 3형제
셀프 어텐션은 토큰마다 쿼리(내가 찾는 것), 키(내가 가진 것), 값(실제 내용) 세 벡터를 만듭니다. 쿼리와 키를 비교해 '얼마나 관련 있는지'를 구하고, 그 비율만큼 값을 섞어서 문맥이 반영된 새 표현을 만드는 것이 전체 과정입니다.
자세히 보기미래를 보면 안 되는 이유
GPT는 왼쪽에서 오른쪽으로 한 단어씩 글을 씁니다. 만약 훈련 중에 미래 단어를 미리 볼 수 있다면 '커닝'을 하는 셈이라 실전에서는 못 쓰는 모델이 됩니다. 코잘 어텐션은 미래 위치의 점수를 음의 무한대로 가려서 이 커닝 자체를 원천 차단합니다.
자세히 보기모르는 단어가 없는 토크나이저
일반 사전식 토크나이저는 처음 보는 단어를 만나면 <unk> 같은 대체 토큰으로 뭉개버립니다. BPE는 단어를 더 작은 조각(부분단어)이나 심지어 알파벳 한 글자까지 쪼갤 수 있어서, 사실상 모든 단어를 어떻게든 표현할 수 있습니다.
자세히 보기숫자로 바뀐 단어, 임베딩
컴퓨터는 '고양이'라는 글자를 이해하지 못해도, [0.2, -1.3, 0.7...] 같은 숫자 벡터는 계산할 수 있습니다. 임베딩은 바로 이 변환을 담당하며, 훈련이 진행될수록 의미가 비슷한 단어의 벡터가 서로 가까워지도록 조정됩니다.
자세히 보기숏컷 하나로 깊은 모델이 안 무너지는 이유
층을 아주 깊게 쌓으면 학습 신호(기울기)가 앞쪽까지 전달되다가 사라져버리는 문제가 생깁니다. 숏컷(잔차) 연결은 입력을 몇 개 층 건너뛰어 출력에 그대로 더해주는 지름길을 놔줘서, 신호가 끊기지 않고 끝까지 전달되게 합니다.
자세히 보기온도를 올리면 생기는 일
생성 온도를 낮추면 모델은 가장 확률 높은 단어만 고르는 안전한 선택을 반복합니다. 온도를 올리면 확률이 낮은 단어도 뽑힐 기회가 생겨 표현이 다채로워지지만, 너무 높이면 문법이 무너지거나 엉뚱한 문장이 나올 수 있습니다.
자세히 보기지시 미세튜닝 vs 분류 미세튜닝
분류 미세튜닝은 '스팸이다/아니다'처럼 정해진 몇 개의 답 중 하나만 고르도록 특화 훈련합니다. 지시 미세튜닝은 반대로 훨씬 폭넓은 지시문을 이해하고 자유롭게 응답하도록 훈련해서, 하나의 모델로 번역·요약·질의응답 등 다양한 작업을 처리하게 만듭니다.
자세히 보기GPT-2도 크기가 여러 개
가장 작은 GPT-2는 파라미터 1억 2,400만 개, 어텐션 헤드 12개, 임베딩 768차원입니다. 가장 큰 버전은 파라미터 15억 5,800만 개로 10배가 넘죠. 놀랍게도 핵심 구조는 완전히 동일하고, 반복되는 트랜스포머 블록 개수와 임베딩 차원만 다릅니다.
자세히 보기LoRA, 가벼운 미세 튜닝의 비결
LLM 전체를 다시 훈련하려면 원본 모델만큼 큰 메모리가 필요합니다. LoRA는 원래 가중치는 그대로 얼려두고, 그 옆에 붙인 아주 작은 저순위 행렬 한 쌍만 학습해서 개인용 GPU로도 미세 튜닝을 가능하게 만든 기법입니다.
자세히 보기사슬 사고 (Chain of Thought)
복잡한 문제를 해결할 때 모델이 단계별 추론 과정을 거치도록 유도하는 기법입니다. 단계별로 차근차근 생각해보자 같은 문구를 사용해 중간 해석을 명시적으로 유도하면, 논리적 오류를 줄이고 복잡한 작업의 정확도를 크게 높일 수 있습니다.
자세히 보기구성성을 위한 메타학습
모델에게 개념을 조합하는 힘을 가르치는 학습 기법이다. 새로운 상황을 마주했을 때, 이미 배운 조각들을 적절히 섞어 의미와 추론을 만들도록 돕는다. 단순 반복이 아니라 개념 재조합을 통해 일반화 성능을 끌어올리는 데 사용할 수 있다.
자세히 보기AI 옵저버빌리티
AI 옵저버빌리티는 에이전트, LLM, 마이크로서비스를 하나의 상관 맵으로 묶어 실시간으로 추적하는 관측 체계다. 추론에서 코드 실행까지 연결해 논리 이탈과 할루시네이션을 찾고, 정확도와 비용을 동시에 관리한다.
자세히 보기컨텍스트 윈도우, 한 번에 읽는 한계
모델이 한 번의 요청에서 다룰 수 있는 토큰의 범위가 정해져요. 범위를 넘으면 앞 내용이 버려집니다. 긴 대화와 문서 처리 설계의 출발점이 됩니다.
자세히 보기RAG vs 미세 튜닝, 어느 쪽인가
새 지식이 자주 바뀌면 RAG, 톤과 형식을 고치면 미세 튜닝을 검토합니다. RAG는 지식 업데이트가 쉽고 튜닝은 반응성이 커요. 데이터의 성격이 방향을 정합니다.
자세히 보기vLLM, 대규모 모델 추론 엔진
2023년 공개된 추론 프레임워크예요. KV 캐시를 페이지 단위로 관리해 메모리를 효율적으로 써요. 동시 요청 처리량이 높아요.
자세히 보기MLOps, 모델을 돌리는 운영의 일
모델을 만들어 배포하고 지켜보는 전 과정을 자동화하는 실천이에요. 버전 관리, 재학습, 모니터링이 핵심이에요. 한 번의 학습이 아니라 흐름이 중요하게 됩니다.
자세히 보기데이터 드리프트, 배포 후 품질이 떨어지면
배포 후 입력 데이터의 분포가 바뀌면 품질이 떨어질 수 있어요. 입력과 출력을 정기적으로 점검해야 해요. 변한 데이터를 재학습에 쓰는 게 일반적입니다.
자세히 보기한국어 모델, 왜 부족할까
대부분의 대규모 데이터는 영어에 치우져 있어요. 한국어 데이터는 상대적으로 적어요. 그래서 한국어 전용 모델을 만드는 연구가 진행됩니다.
자세히 보기미세 튜닝, 모델을 내 과제로 맞춤
사전 학습 모델에 추가 데이터를 줘 과업을 맞춥니다. 전체 튜닝은 비싸고, LoRA 같은 방법은 가볍게 할 수 있어요. 데이터가 충분해야 효과가 커져요.
자세히 보기증류, 큰 모델을 작은 것으로
큰 모델의 출력을 작은 모델이 배웁니다. 출력은 품질 좋고 비용이 적게 드는 모델로 바뀌어요. 서비스 비용 최적화에 쓰입니다.
자세히 보기프롬프트가 왜 중요한가
같은 모델이라도 프롬프트에 따라 결과가 달라져요. 역할, 목표, 형식, 제약이 명확할수록 결과가 좋아집니다. 프롬프트 작성은 기술이 아니라 설계에요.
자세히 보기스케일링 법칙, 크기와 손실의 관계
일정한 조건에서 파라미터, 데이터, 연산량을 늘리면 손실이 거듭제곱 법칙에 가깝게 줄어드는 경향이 관찰됩니다. 이를 스케일링 법칙이라고 해요. 모든 능력이 자동으로 좋아진다는 보장은 아니므로 과제별 평가가 필요합니다.
자세히 보기에이전트 옵저버빌리티, 실행을 추적해요
에이전트는 여러 단계로 실행되므로 각 단계를 봐야 해요. 실패한 단계를 찾아야 디버깅이 가능합니다. 실행 추적과 로깅 설계가 필수입니다.
자세히 보기이미지 분류, 카테고리 문제
이미지를 특정 범주로 나누는 작업이에요. 합성곱 신경망이 이 영역을 지배했습니다. 이미지넷 데이터셋은 연구의 표준 무대가 되었죠.
자세히 보기벡터 DB, 의미를 찾아내는 데이터베이스
유사도 검색에 최적화된 저장소예요. 수천 만 개의 벡터에서도 가까이를 찾습니다. RAG 파이프라인의 핵심 구성요소입니다.
자세히 보기FlashAttention, 메모리를 절약하는 어텐션
2022년 제안된 기법으로 어텐션 계산을 블록 단위로 나눠 메모리를 줄여요. 2023년 FlashAttention-2가 더 효율적인 버전을 냈어요. 대규모 모델 추론의 표준이 됐습니다.
자세히 보기과대 적합, 과소 적합의 의미
과대 적합은 데이터를 너무 잘 외워서 새 데이터에 약해지는 상태예요. 반면 과소 적합은 데이터의 패턴을 제대로 배우지 못한 상태입니다. 두 상태 사이에서 균형점을 찾는 일이 모델 조율의 본질이에요.
자세히 보기비전 트랜스포머, 이미지를 패치로
이미지를 작은 조각으로 쪼개어 트랜스포머의 입력으로 줍니다. 2020년 제안된 방식은 이미지 인식의 새 흐름이 되었어요. 멀티모달 모델의 기반이에요.
자세히 보기온도 스케일링, 확률의 보정값
출력 확률의 기울기를 맞춰 신뢰도를 높이는 기법이에요. 분류 모델의 확률이 실제로 맞는지 판단할 때 필요합니다. 추측 확정이 중요한 과제를 위해 존재합니다.
자세히 보기학습이란 결국 오차를 줄이는 반복이에요
모델의 출력을 확인해 손실을 계산하고, 손실이 줄어드는 방향으로 파라미터를 고칩니다. 이 과정을 반복하면 훈련 데이터의 패턴을 더 잘 예측하게 됩니다. 반복적인 최적화가 학습의 핵심이에요.
자세히 보기안전, 출력 필터링
모델의 출력을 다시 검사하는 단계예요. 민감한 내용을 걸러내거나 형식을 검증합니다. 출력이 그대로 서비스되지 않도록 하는 단계입니다.
자세히 보기양자화, 정밀도를 낮추는 대신 가볍게
32비트 실수수를 8비트, 4비트로 낮추면 메모리가 줄어요. 정밀도 손실이 없지만 대부분은 품질을 유지합니다. 추천 메모리에서 성능을 좌우하는 기술입니다.
자세히 보기훈련, 검증, 테스트 데이터는 역할을 나눠야 해요
훈련 데이터로 배우고, 검증 데이터로 성능을 확인하며, 테스트 데이터로 최종 점검합니다. 테스트 데이터에 미리 섞이면 과대 적합 위험이 커집니다. 데이터 역할을 나누는 습관이 신뢰도를 좌우합니다.
자세히 보기BERT, 양방향으로 문장을 읽는 모델
2018년 공개된 모델은 앞뒤 문맥을 함께 봅니다. 비어 토큰을 채우는 과제로 사전 학습했어요. 분류나 요약 같은 이해 과제에서 강했습니다.
자세히 보기전문가 혼합, 필요한 전문가만 깨워요
모델 안의 여러 회로 중 일부만 활성화하는 구조예요. 전체 파라미터는 크지만 한 번에 쓰는 건 적어요. 비용 대비 성능이 좋은 설계죠.
자세히 보기모델 버전 고정, 변경이 배포다
모델은 버전을 가져요. 같은 입력도 결과가 달라질 수 있어요. 버전을 고정하고 갱신은 의도적으로 하세요. A/B 비교도 이 기반 위에서 가능합니다.
자세히 보기창발적 능력, 크기가 크면 새 기능이 생겨요
모델 규모가 커질 때 일부 평가 능력이 급격히 좋아지는 것처럼 보이는 현상을 창발적 능력이라 부릅니다. 평가 지표를 바꾸면 향상이 더 연속적으로 보인다는 반론도 있어요. 따라서 '갑자기 생긴 능력'인지는 아직 연구와 논쟁의 대상입니다.
자세히 보기연속 배치 처리, 동시 요청 처리
요청이 끝나면 그 자리에 새 요청을 넣어서 GPU를 비워두지 않아요. 처리량이 크게 올라요. 대규모 추론 서비스의 기본 설계입니다.
자세히 보기손실 함수, 오차를 측정하는 규칙
손실 함수는 예측이 답과 얼마나 다른지를 숫자로 줍니다. 손실이 작아지는 방향으로 모델이 조정됩니다. 과제를 바꾼다면 이 측정 방식도 바꾸는 게 맞아요.
자세히 보기시드 값, 생성의 재현 가능성
시드는 난수 생성의 시작점을 고정해 출력 변동을 줄이는 설정입니다. 같은 모델, 입력, 실행 환경을 함께 고정하면 재현성이 높아져요. 서버나 연산 방식이 달라지면 같은 시드도 결과를 완전히 보장하지는 않습니다.
자세히 보기가중치 제거(Pruning), 불필요한 가중치를 빼요
가중치 중 기여가 낮은 부분을 없애 모델을 줄입니다. 연산이 빨라지고 메모리가 줄어요. 적절한 기준을 찾는 게 핵심이에요.
자세히 보기데이터 라벨, 답지를 만드는 일
지도 학습의 답지는 사람이 직접 만듭니다. 라벨의 품질이 모델의 상한을 정해요. 라벨링 기준은 명확하고 일관되어야 합니다.
자세히 보기