데이터 평행화, 데이터를 나눠 훈련하기
GPU 여러 대가 각각 다른 데이터로 같은 모델을 훈련하고 그라디언트를 합칩니다. 데이터가 크면 이 방식이 가장 효율적이에요. 통신이 병목이 될 수 있어요.
카드 읽기A LITTLE EVERY DAY
하루 한 장,
AI 감각을 쌓아요.
짧게 읽고 오래 기억할 수 있도록 핵심 개념만 담았습니다.
CLIP, 그림과 문장을 같은 공간으로
2021년 공개된 모델은 문장과 그림의 대응을 배웁니다. '무엇이 무엇을 닮았는지'를 비교해 검색이 가능해요. 비전과 언어를 잇는 대표 모델이에요.
카드 읽기파라미터란 학습되는 숫자의 개수예요
파라미터는 모델이 학습 과정에서 스스로 조정하는 숫자입니다. 규모가 커질수록 표현력이 커지지만 메모리와 연산도 함께 커져요. 대규모 언어 모델은 파라미터 수십억에서 수천억 규모입니다.
카드 읽기AWQ, 양자화 방법
2023년 공개된 기법이에요. 주요 가중치를 보호하면서 4비트로 압축합니다. GPTQ와 함께 오픈소스 모델 양자화의 표준이 됐어요.
카드 읽기온라인 서비스의 지연, 무엇을 최적화하나
첫 토큰까지의 시간이 체감 속도의 핵심이에요. 전체 완성 시간보다 이 지연이 중요합니다. 서버 측 큐잉과 캐싱이 이 지연을 좌우합니다.
카드 읽기평가 세트, 내 기준으로 모델 검증하기
자신만의 질문과 기준답 모음이 있어요. 모델을 바꿀 때마다 이 세트에서 비교하는 것이 원칙이에요. 이 평가 없이는 어떤 모델이 좋은지 모릅니다.
카드 읽기에이전트, 왜 디버깅이 어려울까
여러 단계로 실행되므로 어디서 실패했는지 찾기 어려워요. 각 단계의 입력과 출력을 기록해야 해요. 이 로그가 없으면 버그를 찾을 수 없어요.
카드 읽기LSTM, 잊을 것과 기억할 것을 고르는 문
게이트 구조로 정보를 흘리거나 버리는 법을 학습합니다. RNN의 소실 기울기 문제를 크게 줄여줬어요. 시계열 처리의 표준이었죠.
카드 읽기정규화, 과대 적합을 막는 도구
매개변수에 벌을 두거나 데이터를 떨어뜨리는 등 여러 기법이 있습니다. 모든 기법은 '모델이 데이터를 외우는' 걸 막는 게 목적인데요. 데이터가 적을수록 이 기법의 효과가 큽니다.
카드 읽기GGUF, 모델 파일 포맷
llama.cpp에서 쓰는 파일 포맷이에요. 양자화 정보를 파일 안에 담아요. 모델 공유와 배포에 널리 쓰입니다.
카드 읽기트랜스포머, 왜 긴 관계를 배울까
어텐션으로 토큰 간 거리가 먼 관계도 직접 계산합니다. 이게 순차 처리의 병목 없이 긴 문맥을 다룰 수 있어요. 이 설계가 대규모 언어 모델의 기반이 됐습니다.
카드 읽기한국 파운데이션 모델 프로젝트
한국 정부는 한국어 데이터를 활용해 자체 모델을 키워 왔어요. 초거대 한국어 오픈 소스 모델이 이 프로젝트의 결과물입니다. 언어는 모델 품질에서 결정적이라는 걸 보여줍니다.
카드 읽기Adam, 표준 최적화 알고리즘
2014년 공개된 Adam은 학습률을 파라미터별로 조절하는 최적화 알고리즘입니다. 기울기의 일차·이차 모멘트 추정치를 함께 사용해요. 여러 딥러닝 작업에서 널리 쓰이지만 항상 최선인 것은 아닙니다.
카드 읽기토크나이저, 모델 성능에 영향을 미치나
토큰 단위가 모델의 입력을 정합니다. 잘 자르면 의미 단위로 분해가 잘 돼요. 나쁘게 자르면 문맥이 깨져요. 언어에 맞는 토크나이저가 중요합니다.
카드 읽기랜덤 포레스트, 여러 나무의 합의
여러 개의 결정 트리를 만들어 투표로 결론을 냅니다. 개별 트리보다 견고하고 과대 적합이 적어요. 고전적이지만 여전히 쓰이는 방법이에요.
카드 읽기llama.cpp, CPU에서도 돌리는 도구
2023년 공개된 오픈소스 라이브러리예요. GPU 없이 CPU에서도 추론이 가능해요. GGUF 포맷을 지원합니다.
카드 읽기GPT, 다음 단어를 예측하는 구조
왼쪽으로만 보고 다음 토큰을 맞추는 구조예요. 이 단순 구조가 스케일 업 하면 다양한 능력을 보여주었습니다. GPT-1은 117M 파라미터, GPT-3은 1750억 규모입니다.
카드 읽기분류와 회귀, 과제의 두 갈래
분류는 이산된 범주 중 하나를 고르는 일, 회귀는 숫자를 예측하는 일이에요. 모델의 마지막 구조가 과제를 반영합니다. 같은 데이터라도 목적에 따라 설계가 달라지죠.
카드 읽기ONNX, 모델 형식의 표준
여러 프레임워크에서 모델 포맷을 공유하는 표준이에요. PyTorch, TensorFlow에서 변환하면 다른 엔진에서 돌릴 수 있어요. 추론 최적화의 출발점이 됩니다.
카드 읽기장기 컨텍스트와 검색의 결합
긴 문맥만으로 모든 것을 담을 수는 없어요. 관련 내용만 검색해 컨텍스트에 채우는 구조가 안정적입니다. 검색 품질이 전체를 좌우합니다.
카드 읽기신경망은 계층별로 특징을 만듭니다
초층은 모서리나 색 같은 미세 신호를, 위층은 더 추상적인 패턴을 알아냅니다. 이 계층적 구조가 딥러닝의 핵심이에요. 깊이가 깊을수록 복잡한 표현을 만들 수 있습니다.
카드 읽기텐서 평행화, 모델을 나눠 훈련하기
하나의 층을 여러 GPU로 나눠서 계산합니다. 모델이 커지면 이 방식이 필요해요. GPU 간 통신이 많이 필요하죠.
카드 읽기확산 모델, 그림을 만드는 방식
노이즈로 바꾼 이미지를 다시 되돌리는 법을 배웁니다. Stable Diffusion은 이 방식으로 2022년 공개됐어요. 이미지 생성의 표준이 되었습니다.
카드 읽기추론 비용, 토큰이 화폐다
처리하는 토큰 수에 따라 비용이 결정됩니다. 컨텍스트가 길어질수록 매번 비용이 커요. 캐싱과 양자화가 이 비용을 줄여요.
카드 읽기체크포인트, 훈련을 멈추고 다시 시작하기
일정 간격으로 모델과 옵티마이저 상태를 저장하면 중단 뒤에도 훈련을 이어갈 수 있어요. 긴 훈련에서 장애 복구와 모델 비교에 중요합니다. 완전한 재현이 필요하면 난수 상태와 데이터 순서도 함께 저장해야 합니다.
카드 읽기프롬프트 캐싱, 자주 쓰이는 앞부분 절약하기
동일한 앞부분이 반복되면 그 계산을 캐시에 둡니다. 서버 측 캐싱은 비용을 크게 낮춰요. 프롬프트 구조 설계가 비용을 좌우합니다.
카드 읽기사슬 사고, 생각을 단계별로 쓰게 해요
단계별로 추론을 쓰게 하면 복잡한 과제의 정확도가 올라요. 2022년 공개된 기법은 대규모 언어 모델의 표준이 되었습니다. 단, 생각할 시간도 비용이에요.
카드 읽기TensorRT, NVIDIA의 추론 최적화
NVIDIA GPU에서 모델을 최적화하는 도구예요. 레이어 합성과 양자화로 추론 속도를 올려요. 서버 배포에서 많이 쓰여요.
카드 읽기잔차 연결, 신호를 그대로 전하는 통로
출입을 건너뛰는 연결을 두어 깊은 망에서도 신호가 유지됩니다. 레지넷은 이 기법으로 깊이가 깊은 망을 훈련할 수 있었어요. 이제는 표준 설계가 되었죠.
카드 읽기왜 기계 학습 모델이 틀리나요
데이터에 섞인 편향이 그대로 반영되기 때문입니다. 학습한 환경과 실제 운영 환경이 다를 수도 있어요. 결국 실수 원인을 추적하는 관측이 쌓이면 신뢰가 생깁니다.
카드 읽기