통합 검색

자기회귀 모델 (Autoregressive Model)

이전에 만든 출력을 다시 입력으로 사용해 다음 출력을 예측하는 모델

바이트 페어 인코딩 (BPE)

자주 등장하는 글자 조합을 점진적으로 합쳐 어휘를 만드는 토큰화 기법

코잘 어텐션 (Causal Attention)

미래 토큰을 미리 참조하지 못하게 마스킹하는 어텐션 방식

크로스 엔트로피 손실 (Cross-Entropy Loss)

모델이 예측한 확률과 실제 정답 사이의 차이를 측정하는 손실 함수

드롭아웃 (Dropout)

훈련 중 은닉층의 일부 유닛을 임의로 꺼서 과대적합을 막는 정규화 기법

피드 포워드 네트워크 (Feed-Forward Network)

트랜스포머 블록 안에서 각 토큰을 독립적으로 변환하는 완전 연결 층

함수 호출

모델이 외부 함수를 호출하는 기능

층 정규화 (Layer Normalization)

각 층의 출력값 분포를 평균 0, 분산 1 근처로 맞춰 훈련을 안정시키는 기법

LoRA (저순위 적응)

원본 가중치는 그대로 두고 작은 저순위 행렬만 추가로 학습하는 효율적인 미세 튜닝 기법

RNN (순환 신경망)

이전 단계의 출력을 다음 단계의 입력으로 사용하는, 트랜스포머 이전의 순차 처리 신경망

숏컷 연결 / 잔차 연결 (Shortcut Connection)

층의 입력을 출력에 그대로 더해 깊은 신경망의 기울기 소실을 완화하는 기법

Top-k 샘플링

확률이 가장 높은 k개의 후보 안에서만 다음 단어를 무작위로 고르는 방법

벡터 DB

임베딩을 저장·검색하는 데이터베이스

직접 구현한 코드에 대한 리뷰 요청

너는 딥러닝 프레임워크에 정통한 시니어 엔지니어야. 아래 코드는 내가 밑바닥부터 구현해본 {{구현한 대상, 예: 셀프 어텐션 클래스}}야. 1) 텐서 차원이 각 단계에서 어떻게 바뀌는지 줄 단위로 추적해서 알려줘 2) 버그나 비효율적인 부분이 있으면 구체적인 줄 번호와 함께 지적해줘

by AI WIKI 기여자

미세 튜닝용 데이터셋 포맷 설계 도와주기

나는 LLM을 {{목표 작업, 예: 사내 문서 기반 Q&A}}에 맞게 지시 미세 튜닝하고 싶어. 아래 조건을 참고해서 instruction/input/output 형식의 JSON 데이터 샘플 5개를 만들어줘. 실제 사용 사례를 다양하게 섞어줘. 조건: {{예: 한국어, 답변은 3문장

by AI WIKI 기여자

신경망 구조를 텍스트 다이어그램으로 그려받기

아래 모델 구조를 입력부터 출력까지 순서대로, 텍스트 박스와 화살표(→)만 사용한 다이어그램으로 그려줘. 각 블록 옆에는 입력/출력 텐서의 대략적인 크기도 함께 적어줘. 모델: {{예: GPT-2 small, 트랜스포머 블록 12개}}

by AI WIKI 기여자

정규식 생성

다음 요구사항을 만족하는 정규식을 만들어줘: {{requirement}}

by AI WIKI 기여자

자연어를 SQL로

다음 요청을 SQL 쿼리로 변환해줘: {{question}} (스키마: {{schema}})

by AI WIKI 기여자

유닛 테스트 생성

다음 함수에 대한 유닛 테스트를 작성해줘: {{function}}

by AI WIKI 기여자

미래를 보면 안 되는 이유

GPT는 왼쪽에서 오른쪽으로 한 단어씩 글을 씁니다. 만약 훈련 중에 미래 단어를 미리 볼 수 있다면 '커닝'을 하는 셈이라 실전에서는 못 쓰는 모델이 됩니다. 코잘 어텐션은 미래 위치의 점수를 음의 무한대로 가려서 이 커닝 자체를 원천 차단합니다.

숏컷 하나로 깊은 모델이 안 무너지는 이유

층을 아주 깊게 쌓으면 학습 신호(기울기)가 앞쪽까지 전달되다가 사라져버리는 문제가 생깁니다. 숏컷(잔차) 연결은 입력을 몇 개 층 건너뛰어 출력에 그대로 더해주는 지름길을 놔줘서, 신호가 끊기지 않고 끝까지 전달되게 합니다.

LoRA, 가벼운 미세 튜닝의 비결

LLM 전체를 다시 훈련하려면 원본 모델만큼 큰 메모리가 필요합니다. LoRA는 원래 가중치는 그대로 얼려두고, 그 옆에 붙인 아주 작은 저순위 행렬 한 쌍만 학습해서 개인용 GPU로도 미세 튜닝을 가능하게 만든 기법입니다.