통합 검색

AI 에이전트

도구를 사용해 목표를 수행하는 시스템

어텐션 메커니즘 (Attention Mechanism)

출력을 만들 때 입력의 어느 부분이 중요한지 가중치로 계산하는 방법

BERT

문장 안의 빈칸을 채우도록 훈련되어 분류·이해 작업에 강한 트랜스포머 모델

임베딩 (Embedding)

단어나 토큰 같은 이산적인 데이터를 연속적인 숫자 벡터로 바꾸는 방법

창발적 행동 (Emergent Behavior)

명시적으로 훈련받지 않았는데도 모델 규모가 커지면서 저절로 나타나는 능력

인코더-디코더 (Encoder-Decoder)

입력을 이해하는 부분과 출력을 생성하는 부분을 나눈 신경망 구조

퓨샷

몇 개 예시로 태스크 유도

미세 튜닝 (Fine-tuning)

사전 훈련된 모델을 레이블이 있는 작은 데이터셋으로 추가 학습시키는 것

파운데이션 모델 (Foundation Model)

사전 훈련만 마치고 아직 특정 작업에 특화되지 않은 범용 모델

GPT (Generative Pretrained Transformer)

트랜스포머의 디코더 부분만 사용해 한 번에 한 단어씩 텍스트를 생성하는 모델

멀티 헤드 어텐션 (Multi-Head Attention)

여러 개의 어텐션을 병렬로 두어 서로 다른 종류의 관계를 동시에 포착

위치 인코딩 (Positional Encoding)

토큰의 순서 정보를 임베딩에 더해주는 방법

사전 훈련 (Pretraining)

레이블 없는 대량의 텍스트에서 다음 단어 예측으로 모델을 훈련하는 첫 단계

RAG (검색 증강 생성)

외부 지식 검색과 텍스트 생성을 결합해 최신·근거 있는 답을 만드는 방법

셀프 어텐션 (Self-Attention)

문장 안의 각 단어가 같은 문장의 다른 단어들과 관계를 계산하는 어텐션

Temperature

출력의 무작위성 조절 파라미터

온도 스케일링 (Temperature Scaling)

텍스트 생성 시 다양성과 일관성 사이의 균형을 조절하는 방법

트랜스포머 (Transformer)

어텐션 메커니즘만으로 문장 전체를 한 번에 처리하는 신경망 구조

제로샷

예시 없이 태스크 수행

제로샷 / 퓨샷 학습 (Zero-shot / Few-shot Learning)

예시 없이(제로샷), 또는 아주 적은 예시만으로(퓨샷) 새 작업을 수행하는 능력

어텐션이 어디에 주목했는지 손으로 짚어보기

다음 문장에서 굵게 표시한 단어를 생성할 때, 셀프 어텐션이라면 어떤 이전 단어들에 가장 높은 가중치를 줄지 추론해줘. 각 후보 단어마다 이유를 한 줄로 설명하고, 가중치가 높은 순서대로 정렬해줘. 문장: {{문장을 넣고 굵게 표시할 단어를 **단어** 형식으로 표시}}

by AI WIKI 기여자

버그 재현 단계 작성

다음 버그 설명으로 재현 단계를 단계별로 작성해줘: {{bug}}

by AI WIKI 기여자

코드 리뷰 체크리스트

다음 코드를 보안·성능·가독성 관점에서 리뷰해줘: {{code}}

by AI WIKI 기여자

생성 하이퍼파라미터 조합 추천받기

다음 상황에 맞는 temperature와 top-k 값을 추천하고, 왜 그 값이 적절한지 근거를 설명해줘. 그리고 반대로 너무 극단적인 값을 썼을 때 어떤 문제가 생길지도 한 문장씩 알려줘. 상황: {{예: 법률 문서 요약처럼 정확성이 중요한 작업}}

by AI WIKI 기여자

논문을 실무자 관점에서 요약받기

너는 AI 연구 논문을 실무 개발자에게 통역해주는 역할이야. 아래 논문(또는 논문 링크/초록)을 다음 형식으로 요약해줘. 1. 한 문장 요약 2. 이 논문이 푼 문제 (기존 방식의 한계 포함) 3. 핵심 아이디어 (수식 없이 개념으로) 4. 실제로 내 프로젝트에 적용한다면 어떤 부분에

by AI WIKI 기여자

톤 유지 번역

다음 텍스트를 {{lang}}로, 원래 톤을 유지해서 번역해줘: {{text}}

by AI WIKI 기여자

임베딩과 유사도

임베딩으로 의미적 유사도를 계산하는 원리.

RAG 파이프라인

검색 증강 생성이 동작하는 흐름.

Temperature 조절

창의성과 일관성 사이 균형 잡기.

AI 에이전트 맛보기

도구를 호출하는 에이전트의 기본 구조.

쿼리, 키, 값 — 어텐션의 3형제

셀프 어텐션은 토큰마다 쿼리(내가 찾는 것), 키(내가 가진 것), 값(실제 내용) 세 벡터를 만듭니다. 쿼리와 키를 비교해 '얼마나 관련 있는지'를 구하고, 그 비율만큼 값을 섞어서 문맥이 반영된 새 표현을 만드는 것이 전체 과정입니다.

모르는 단어가 없는 토크나이저

일반 사전식 토크나이저는 처음 보는 단어를 만나면 <unk> 같은 대체 토큰으로 뭉개버립니다. BPE는 단어를 더 작은 조각(부분단어)이나 심지어 알파벳 한 글자까지 쪼갤 수 있어서, 사실상 모든 단어를 어떻게든 표현할 수 있습니다.

온도를 올리면 생기는 일

생성 온도를 낮추면 모델은 가장 확률 높은 단어만 고르는 안전한 선택을 반복합니다. 온도를 올리면 확률이 낮은 단어도 뽑힐 기회가 생겨 표현이 다채로워지지만, 너무 높이면 문법이 무너지거나 엉뚱한 문장이 나올 수 있습니다.

지시 미세튜닝 vs 분류 미세튜닝

분류 미세튜닝은 '스팸이다/아니다'처럼 정해진 몇 개의 답 중 하나만 고르도록 특화 훈련합니다. 지시 미세튜닝은 반대로 훨씬 폭넓은 지시문을 이해하고 자유롭게 응답하도록 훈련해서, 하나의 모델로 번역·요약·질의응답 등 다양한 작업을 처리하게 만듭니다.

GPT-2도 크기가 여러 개

가장 작은 GPT-2는 파라미터 1억 2,400만 개, 어텐션 헤드 12개, 임베딩 768차원입니다. 가장 큰 버전은 파라미터 15억 5,800만 개로 10배가 넘죠. 놀랍게도 핵심 구조는 완전히 동일하고, 반복되는 트랜스포머 블록 개수와 임베딩 차원만 다릅니다.