LoRA (저순위 적응)
원본 가중치는 그대로 두고 작은 저순위 행렬만 추가로 학습하는 효율적인 미세 튜닝 기법
자세히 보기AI GLOSSARY
어려운 AI 용어를
쉬운 말로.
핵심만 빠르게 훑고, 필요한 만큼 깊게 읽을 수 있는 AI 용어 사전입니다.
RNN (순환 신경망)
이전 단계의 출력을 다음 단계의 입력으로 사용하는, 트랜스포머 이전의 순차 처리 신경망
자세히 보기Top-k 샘플링
확률이 가장 높은 k개의 후보 안에서만 다음 단어를 무작위로 고르는 방법
자세히 보기드롭아웃 (Dropout)
훈련 중 은닉층의 일부 유닛을 임의로 꺼서 과대적합을 막는 정규화 기법
자세히 보기바이트 페어 인코딩 (BPE)
자주 등장하는 글자 조합을 점진적으로 합쳐 어휘를 만드는 토큰화 기법
자세히 보기벡터 DB
임베딩을 저장·검색하는 데이터베이스
자세히 보기숏컷 연결 / 잔차 연결 (Shortcut Connection)
층의 입력을 출력에 그대로 더해 깊은 신경망의 기울기 소실을 완화하는 기법
자세히 보기자기회귀 모델 (Autoregressive Model)
이전에 만든 출력을 다시 입력으로 사용해 다음 출력을 예측하는 모델
자세히 보기층 정규화 (Layer Normalization)
각 층의 출력값 분포를 평균 0, 분산 1 근처로 맞춰 훈련을 안정시키는 기법
자세히 보기코잘 어텐션 (Causal Attention)
미래 토큰을 미리 참조하지 못하게 마스킹하는 어텐션 방식
자세히 보기크로스 엔트로피 손실 (Cross-Entropy Loss)
모델이 예측한 확률과 실제 정답 사이의 차이를 측정하는 손실 함수
자세히 보기피드 포워드 네트워크 (Feed-Forward Network)
트랜스포머 블록 안에서 각 토큰을 독립적으로 변환하는 완전 연결 층
자세히 보기함수 호출
모델이 외부 함수를 호출하는 기능
자세히 보기