AI 에이전트
도구를 사용해 목표를 수행하는 시스템
자세히 보기AI GLOSSARY
어려운 AI 용어를
쉬운 말로.
핵심만 빠르게 훑고, 필요한 만큼 깊게 읽을 수 있는 AI 용어 사전입니다.
BERT
문장 안의 빈칸을 채우도록 훈련되어 분류·이해 작업에 강한 트랜스포머 모델
자세히 보기GPT (Generative Pretrained Transformer)
트랜스포머의 디코더 부분만 사용해 한 번에 한 단어씩 텍스트를 생성하는 모델
자세히 보기LLM (대규모 언어 모델)
대량의 텍스트로 훈련되어 사람의 언어를 이해·생성하는 신경망 모델
자세히 보기LoRA (저순위 적응)
원본 가중치는 그대로 두고 작은 저순위 행렬만 추가로 학습하는 효율적인 미세 튜닝 기법
자세히 보기RAG (검색 증강 생성)
외부 지식 검색과 텍스트 생성을 결합해 최신·근거 있는 답을 만드는 방법
자세히 보기RNN (순환 신경망)
이전 단계의 출력을 다음 단계의 입력으로 사용하는, 트랜스포머 이전의 순차 처리 신경망
자세히 보기Temperature
출력의 무작위성 조절 파라미터
자세히 보기Top-k 샘플링
확률이 가장 높은 k개의 후보 안에서만 다음 단어를 무작위로 고르는 방법
자세히 보기드롭아웃 (Dropout)
훈련 중 은닉층의 일부 유닛을 임의로 꺼서 과대적합을 막는 정규화 기법
자세히 보기멀티 헤드 어텐션 (Multi-Head Attention)
여러 개의 어텐션을 병렬로 두어 서로 다른 종류의 관계를 동시에 포착
자세히 보기미세 튜닝 (Fine-tuning)
사전 훈련된 모델을 레이블이 있는 작은 데이터셋으로 추가 학습시키는 것
자세히 보기바이트 페어 인코딩 (BPE)
자주 등장하는 글자 조합을 점진적으로 합쳐 어휘를 만드는 토큰화 기법
자세히 보기벡터 DB
임베딩을 저장·검색하는 데이터베이스
자세히 보기사전 훈련 (Pretraining)
레이블 없는 대량의 텍스트에서 다음 단어 예측으로 모델을 훈련하는 첫 단계
자세히 보기셀프 어텐션 (Self-Attention)
문장 안의 각 단어가 같은 문장의 다른 단어들과 관계를 계산하는 어텐션
자세히 보기숏컷 연결 / 잔차 연결 (Shortcut Connection)
층의 입력을 출력에 그대로 더해 깊은 신경망의 기울기 소실을 완화하는 기법
자세히 보기시스템 프롬프트
모델의 기본 행동을 정의하는 지시문
자세히 보기어텐션 메커니즘 (Attention Mechanism)
출력을 만들 때 입력의 어느 부분이 중요한지 가중치로 계산하는 방법
자세히 보기온도 스케일링 (Temperature Scaling)
텍스트 생성 시 다양성과 일관성 사이의 균형을 조절하는 방법
자세히 보기위치 인코딩 (Positional Encoding)
토큰의 순서 정보를 임베딩에 더해주는 방법
자세히 보기인코더-디코더 (Encoder-Decoder)
입력을 이해하는 부분과 출력을 생성하는 부분을 나눈 신경망 구조
자세히 보기임베딩 (Embedding)
단어나 토큰 같은 이산적인 데이터를 연속적인 숫자 벡터로 바꾸는 방법
자세히 보기자기회귀 모델 (Autoregressive Model)
이전에 만든 출력을 다시 입력으로 사용해 다음 출력을 예측하는 모델
자세히 보기제로샷
예시 없이 태스크 수행
자세히 보기제로샷 / 퓨샷 학습 (Zero-shot / Few-shot Learning)
예시 없이(제로샷), 또는 아주 적은 예시만으로(퓨샷) 새 작업을 수행하는 능력
자세히 보기창발적 행동 (Emergent Behavior)
명시적으로 훈련받지 않았는데도 모델 규모가 커지면서 저절로 나타나는 능력
자세히 보기층 정규화 (Layer Normalization)
각 층의 출력값 분포를 평균 0, 분산 1 근처로 맞춰 훈련을 안정시키는 기법
자세히 보기컨텍스트 윈도우
모델이 한 번에 참조 가능한 범위
자세히 보기코잘 어텐션 (Causal Attention)
미래 토큰을 미리 참조하지 못하게 마스킹하는 어텐션 방식
자세히 보기크로스 엔트로피 손실 (Cross-Entropy Loss)
모델이 예측한 확률과 실제 정답 사이의 차이를 측정하는 손실 함수
자세히 보기토큰
텍스트를 쪼갠 최소 단위
자세히 보기토큰화 (Tokenization)
텍스트를 모델이 다룰 수 있는 단위(토큰)로 쪼개는 전처리 과정
자세히 보기트랜스포머 (Transformer)
어텐션 메커니즘만으로 문장 전체를 한 번에 처리하는 신경망 구조
자세히 보기파운데이션 모델 (Foundation Model)
사전 훈련만 마치고 아직 특정 작업에 특화되지 않은 범용 모델
자세히 보기퓨샷
몇 개 예시로 태스크 유도
자세히 보기프롬프트 엔지니어링
모델 입력을 설계하는 기술
자세히 보기피드 포워드 네트워크 (Feed-Forward Network)
트랜스포머 블록 안에서 각 토큰을 독립적으로 변환하는 완전 연결 층
자세히 보기할루시네이션
모델이 사실이 아닌 내용을 생성
자세히 보기함수 호출
모델이 외부 함수를 호출하는 기능
자세히 보기