미래를 보면 안 되는 이유
GPT는 왼쪽에서 오른쪽으로 한 단어씩 글을 씁니다. 만약 훈련 중에 미래 단어를 미리 볼 수 있다면 '커닝'을 하는 셈이라 실전에서는 못 쓰는 모델이 됩니다. 코잘 어텐션은 미래 위치의 점수를 음의 무한대로 가려서 이 커닝 자체를 원천 차단합니다.
자세히 보기SEARCH THE WIKI
통합 검색
용어, 오늘의 카드, 검증된 프롬프트를 한 번에 찾아보세요.
전체 콘텐츠50개
숏컷 하나로 깊은 모델이 안 무너지는 이유
층을 아주 깊게 쌓으면 학습 신호(기울기)가 앞쪽까지 전달되다가 사라져버리는 문제가 생깁니다. 숏컷(잔차) 연결은 입력을 몇 개 층 건너뛰어 출력에 그대로 더해주는 지름길을 놔줘서, 신호가 끊기지 않고 끝까지 전달되게 합니다.
자세히 보기LoRA, 가벼운 미세 튜닝의 비결
LLM 전체를 다시 훈련하려면 원본 모델만큼 큰 메모리가 필요합니다. LoRA는 원래 가중치는 그대로 얼려두고, 그 옆에 붙인 아주 작은 저순위 행렬 한 쌍만 학습해서 개인용 GPU로도 미세 튜닝을 가능하게 만든 기법입니다.
자세히 보기vLLM, 대규모 모델 추론 엔진
2023년 공개된 추론 프레임워크예요. KV 캐시를 페이지 단위로 관리해 메모리를 효율적으로 써요. 동시 요청 처리량이 높아요.
자세히 보기데이터 드리프트, 배포 후 품질이 떨어지면
배포 후 입력 데이터의 분포가 바뀌면 품질이 떨어질 수 있어요. 입력과 출력을 정기적으로 점검해야 해요. 변한 데이터를 재학습에 쓰는 게 일반적입니다.
자세히 보기증류, 큰 모델을 작은 것으로
큰 모델의 출력을 작은 모델이 배웁니다. 출력은 품질 좋고 비용이 적게 드는 모델로 바뀌어요. 서비스 비용 최적화에 쓰입니다.
자세히 보기에이전트 옵저버빌리티, 실행을 추적해요
에이전트는 여러 단계로 실행되므로 각 단계를 봐야 해요. 실패한 단계를 찾아야 디버깅이 가능합니다. 실행 추적과 로깅 설계가 필수입니다.
자세히 보기FlashAttention, 메모리를 절약하는 어텐션
2022년 제안된 기법으로 어텐션 계산을 블록 단위로 나눠 메모리를 줄여요. 2023년 FlashAttention-2가 더 효율적인 버전을 냈어요. 대규모 모델 추론의 표준이 됐습니다.
자세히 보기온도 스케일링, 확률의 보정값
출력 확률의 기울기를 맞춰 신뢰도를 높이는 기법이에요. 분류 모델의 확률이 실제로 맞는지 판단할 때 필요합니다. 추측 확정이 중요한 과제를 위해 존재합니다.
자세히 보기양자화, 정밀도를 낮추는 대신 가볍게
32비트 실수수를 8비트, 4비트로 낮추면 메모리가 줄어요. 정밀도 손실이 없지만 대부분은 품질을 유지합니다. 추천 메모리에서 성능을 좌우하는 기술입니다.
자세히 보기전문가 혼합, 필요한 전문가만 깨워요
모델 안의 여러 회로 중 일부만 활성화하는 구조예요. 전체 파라미터는 크지만 한 번에 쓰는 건 적어요. 비용 대비 성능이 좋은 설계죠.
자세히 보기연속 배치 처리, 동시 요청 처리
요청이 끝나면 그 자리에 새 요청을 넣어서 GPU를 비워두지 않아요. 처리량이 크게 올라요. 대규모 추론 서비스의 기본 설계입니다.
자세히 보기가중치 제거(Pruning), 불필요한 가중치를 빼요
가중치 중 기여가 낮은 부분을 없애 모델을 줄입니다. 연산이 빨라지고 메모리가 줄어요. 적절한 기준을 찾는 게 핵심이에요.
자세히 보기KV 캐시, 지난 계산 기억하기
이미 계산한 어텐션 결과를 기억해 다시 계산하지 않습니다. 자기회귀 생성의 속도 병목을 줄여요. 메모리 점유가 큰 원인이 되기도 해요.
자세히 보기추론 지연, 왜 중요한가
첫 토큰까지의 시간이 사용자 경험을 결정합니다. 전체 처리 시간보다 이 지연이 중요해요. 서버 측 큐잉과 배치 전략이 이 지연을 좌우합니다.
자세히 보기학습률, 왜 고정하면 안 되나
학습률이 크면 발산하고 작으면 느려요. 학습률을 줄여가는 스케줄이 일반적이에요. 초기엔 크게, 후반엔 작게 조절합니다.
자세히 보기LoRA, 작은 부속으로 튜닝하기
원래 가중치는 그대로 두고 작은 행렬만 학습합니다. 메모리와 비용이 크게 줄어요. 개인용 GPU로도 미세 튜닝이 가능해졌습니다.
자세히 보기믹스드 프리시전, 정밀도를 낮추면 빨라요
32비트가 아닌 16비트로 계산하면 메모리와 속도가 좋아져요. fp16, bf16가 대표적이에요. 안정성은 그대로 유지하면서 효율을 올리죠.
자세히 보기추측적 해독, 빠른 모델이 먼저 써요
작고 빠른 모델이 여러 후보 토큰을 만들고 큰 모델이 한꺼번에 검증합니다. 검증된 토큰만 채택하므로 큰 모델의 출력 분포를 유지할 수 있어요. 초안 모델과 하드웨어 조건이 맞으면 생성 지연을 줄일 수 있습니다.
자세히 보기GPTQ, 4비트 양자화 도구
2022년 공개된 학습 후 양자화 기법이에요. 가중치를 3비트나 4비트 등으로 줄여 메모리 사용량을 낮춥니다. 정확도 손실은 모델과 설정마다 달라서 실제 작업으로 평가해야 합니다.
자세히 보기모멘텀, 경사 하항의 관성
이전 방향을 누적해서 업데이트하면 진동을 줄여요. 이 방향으로 빠른 수렴이 가능해요. SGD의 기본 옵션입니다.
자세히 보기배치 크기, 왜 중요한가
한 번에 몇 개의 데이터로 모델을 업데이트할지를 정합니다. 크면 기울기가 안정적이지만 메모리가 커요. GPU 메모리에 맞는 크기를 찾아야 합니다.
자세히 보기TensorRT, NVIDIA의 추론 최적화
NVIDIA GPU에서 모델을 최적화하는 도구예요. 레이어 합성과 양자화로 추론 속도를 올려요. 서버 배포에서 많이 쓰여요.
자세히 보기체크포인트, 훈련을 멈추고 다시 시작하기
일정 간격으로 모델과 옵티마이저 상태를 저장하면 중단 뒤에도 훈련을 이어갈 수 있어요. 긴 훈련에서 장애 복구와 모델 비교에 중요합니다. 완전한 재현이 필요하면 난수 상태와 데이터 순서도 함께 저장해야 합니다.
자세히 보기텐서 평행화, 모델을 나눠 훈련하기
하나의 층을 여러 GPU로 나눠서 계산합니다. 모델이 커지면 이 방식이 필요해요. GPU 간 통신이 많이 필요하죠.
자세히 보기ONNX, 모델 형식의 표준
여러 프레임워크에서 모델 포맷을 공유하는 표준이에요. PyTorch, TensorFlow에서 변환하면 다른 엔진에서 돌릴 수 있어요. 추론 최적화의 출발점이 됩니다.
자세히 보기llama.cpp, CPU에서도 돌리는 도구
2023년 공개된 오픈소스 라이브러리예요. GPU 없이 CPU에서도 추론이 가능해요. GGUF 포맷을 지원합니다.
자세히 보기Adam, 표준 최적화 알고리즘
2014년 공개된 Adam은 학습률을 파라미터별로 조절하는 최적화 알고리즘입니다. 기울기의 일차·이차 모멘트 추정치를 함께 사용해요. 여러 딥러닝 작업에서 널리 쓰이지만 항상 최선인 것은 아닙니다.
자세히 보기GGUF, 모델 파일 포맷
llama.cpp에서 쓰는 파일 포맷이에요. 양자화 정보를 파일 안에 담아요. 모델 공유와 배포에 널리 쓰입니다.
자세히 보기에이전트, 왜 디버깅이 어려울까
여러 단계로 실행되므로 어디서 실패했는지 찾기 어려워요. 각 단계의 입력과 출력을 기록해야 해요. 이 로그가 없으면 버그를 찾을 수 없어요.
자세히 보기AWQ, 양자화 방법
2023년 공개된 기법이에요. 주요 가중치를 보호하면서 4비트로 압축합니다. GPTQ와 함께 오픈소스 모델 양자화의 표준이 됐어요.
자세히 보기데이터 평행화, 데이터를 나눠 훈련하기
GPU 여러 대가 각각 다른 데이터로 같은 모델을 훈련하고 그라디언트를 합칩니다. 데이터가 크면 이 방식이 가장 효율적이에요. 통신이 병목이 될 수 있어요.
자세히 보기vLLM, 대규모 모델 추론 엔진
2023년 공개된 추론 프레임워크예요. KV 캐시를 페이지 단위로 관리해 메모리를 효율적으로 써요. 동시 요청 처리량이 높아요.
자세히 보기에이전트 프레임워크, 루프를 만들어 주는 도구
에이전트의 반복 실행과 도구 호출을 다루는 프레임워크예요. 오류 처리와 로그를 함께 설계해야 합니다. 프레임워크 자체는 단순하며, 설계 판단은 우리의 몫이에요.
자세히 보기데이터 드리프트, 배포 후 품질이 떨어지면
배포 후 입력 데이터의 분포가 바뀌면 품질이 떨어질 수 있어요. 입력과 출력을 정기적으로 점검해야 해요. 변한 데이터를 재학습에 쓰는 게 일반적입니다.
자세히 보기증류, 큰 모델을 작은 것으로
큰 모델의 출력을 작은 모델이 배웁니다. 출력은 품질 좋고 비용이 적게 드는 모델로 바뀌어요. 서비스 비용 최적화에 쓰입니다.
자세히 보기에이전트 옵저버빌리티, 실행을 추적해요
에이전트는 여러 단계로 실행되므로 각 단계를 봐야 해요. 실패한 단계를 찾아야 디버깅이 가능합니다. 실행 추적과 로깅 설계가 필수입니다.
자세히 보기FlashAttention, 메모리를 절약하는 어텐션
2022년 제안된 기법으로 어텐션 계산을 블록 단위로 나눠 메모리를 줄여요. 2023년 FlashAttention-2가 더 효율적인 버전을 냈어요. 대규모 모델 추론의 표준이 됐습니다.
자세히 보기온도 스케일링, 확률의 보정값
출력 확률의 기울기를 맞춰 신뢰도를 높이는 기법이에요. 분류 모델의 확률이 실제로 맞는지 판단할 때 필요합니다. 추측 확정이 중요한 과제를 위해 존재합니다.
자세히 보기양자화, 정밀도를 낮추는 대신 가볍게
32비트 실수수를 8비트, 4비트로 낮추면 메모리가 줄어요. 정밀도 손실이 없지만 대부분은 품질을 유지합니다. 추천 메모리에서 성능을 좌우하는 기술입니다.
자세히 보기전문가 혼합, 필요한 전문가만 깨워요
모델 안의 여러 회로 중 일부만 활성화하는 구조예요. 전체 파라미터는 크지만 한 번에 쓰는 건 적어요. 비용 대비 성능이 좋은 설계죠.
자세히 보기연속 배치 처리, 동시 요청 처리
요청이 끝나면 그 자리에 새 요청을 넣어서 GPU를 비워두지 않아요. 처리량이 크게 올라요. 대규모 추론 서비스의 기본 설계입니다.
자세히 보기가중치 제거(Pruning), 불필요한 가중치를 빼요
가중치 중 기여가 낮은 부분을 없애 모델을 줄입니다. 연산이 빨라지고 메모리가 줄어요. 적절한 기준을 찾는 게 핵심이에요.
자세히 보기KV 캐시, 지난 계산 기억하기
이미 계산한 어텐션 결과를 기억해 다시 계산하지 않습니다. 자기회귀 생성의 속도 병목을 줄여요. 메모리 점유가 큰 원인이 되기도 해요.
자세히 보기추론 지연, 왜 중요한가
첫 토큰까지의 시간이 사용자 경험을 결정합니다. 전체 처리 시간보다 이 지연이 중요해요. 서버 측 큐잉과 배치 전략이 이 지연을 좌우합니다.
자세히 보기학습률, 왜 고정하면 안 되나
학습률이 크면 발산하고 작으면 느려요. 학습률을 줄여가는 스케줄이 일반적이에요. 초기엔 크게, 후반엔 작게 조절합니다.
자세히 보기LoRA, 작은 부속으로 튜닝하기
원래 가중치는 그대로 두고 작은 행렬만 학습합니다. 메모리와 비용이 크게 줄어요. 개인용 GPU로도 미세 튜닝이 가능해졌습니다.
자세히 보기믹스드 프리시전, 정밀도를 낮추면 빨라요
32비트가 아닌 16비트로 계산하면 메모리와 속도가 좋아져요. fp16, bf16가 대표적이에요. 안정성은 그대로 유지하면서 효율을 올리죠.
자세히 보기추측적 해독, 빠른 모델이 먼저 써요
작고 빠른 모델이 여러 후보 토큰을 만들고 큰 모델이 한꺼번에 검증합니다. 검증된 토큰만 채택하므로 큰 모델의 출력 분포를 유지할 수 있어요. 초안 모델과 하드웨어 조건이 맞으면 생성 지연을 줄일 수 있습니다.
자세히 보기GPTQ, 4비트 양자화 도구
2022년 공개된 학습 후 양자화 기법이에요. 가중치를 3비트나 4비트 등으로 줄여 메모리 사용량을 낮춥니다. 정확도 손실은 모델과 설정마다 달라서 실제 작업으로 평가해야 합니다.
자세히 보기