RAG, 청킹은 어떻게 하나
문서를 작은 단위로 쪼개야 검색이 정확해져요. 너무 작으면 맥락이 끊기고 너무 크면 노이즈가 섞여요. 문서의 구조에 맞춰 쪼개는 게 핵심입니다.
카드 읽기A LITTLE EVERY DAY
하루 한 장,
AI 감각을 쌓아요.
짧게 읽고 오래 기억할 수 있도록 핵심 개념만 담았습니다.
앙상블, 여러 모델을 합치면 강해집니다
여러 모델의 결과를 합치면 개별 모델보다 견고해져요. 각 모델의 실수가 서로 상쇄됩니다. 경쟁 수상작에는 이런 합산 기법이 자주 들어있었죠.
카드 읽기추론 지연, 왜 중요한가
첫 토큰까지의 시간이 사용자 경험을 결정합니다. 전체 처리 시간보다 이 지연이 중요해요. 서버 측 큐잉과 배치 전략이 이 지연을 좌우합니다.
카드 읽기멀티모달, 이미지를 프롬프트에 넣기
이미지를 입력으로 주면 모델이 보고 답합니다. ViT 같은 인코더가 이미지를 토큰으로 변환해요. 질문과 이미지를 함께 보내면 됩니다.
카드 읽기튜링 테스트, 1950년의 질문
1950년 튜링은 기계가 인간처럼 대화하면 기계라고 판별할 수 있는지를 물었습니다. 이 질문은 인공지능 연구의 출발점이 되었습니다. 오늘의 대규모 언어 모델은 그 질문에 가장 가깝게 다가간 사례입니다.
카드 읽기KV 캐시, 지난 계산 기억하기
이미 계산한 어텐션 결과를 기억해 다시 계산하지 않습니다. 자기회귀 생성의 속도 병목을 줄여요. 메모리 점유가 큰 원인이 되기도 해요.
카드 읽기데이터 누수, 학습 데이터가 새나나
모델이 학습한 특정 문서를 그대로 출력할 수 있어요. 이것은 의도된 기억인지 오인지 구별해야 합니다. 비밀을 프롬프트에 넣기 전에는 이 위험을 알아둬야 해요.
카드 읽기데이터 라벨, 답지를 만드는 일
지도 학습의 답지는 사람이 직접 만듭니다. 라벨의 품질이 모델의 상한을 정해요. 라벨링 기준은 명확하고 일관되어야 합니다.
카드 읽기가중치 제거(Pruning), 불필요한 가중치를 빼요
가중치 중 기여가 낮은 부분을 없애 모델을 줄입니다. 연산이 빨라지고 메모리가 줄어요. 적절한 기준을 찾는 게 핵심이에요.
카드 읽기시드 값, 생성의 재현 가능성
시드는 난수 생성의 시작점을 고정해 출력 변동을 줄이는 설정입니다. 같은 모델, 입력, 실행 환경을 함께 고정하면 재현성이 높아져요. 서버나 연산 방식이 달라지면 같은 시드도 결과를 완전히 보장하지는 않습니다.
카드 읽기손실 함수, 오차를 측정하는 규칙
손실 함수는 예측이 답과 얼마나 다른지를 숫자로 줍니다. 손실이 작아지는 방향으로 모델이 조정됩니다. 과제를 바꾼다면 이 측정 방식도 바꾸는 게 맞아요.
카드 읽기연속 배치 처리, 동시 요청 처리
요청이 끝나면 그 자리에 새 요청을 넣어서 GPU를 비워두지 않아요. 처리량이 크게 올라요. 대규모 추론 서비스의 기본 설계입니다.
카드 읽기창발적 능력, 크기가 크면 새 기능이 생겨요
모델 규모가 커질 때 일부 평가 능력이 급격히 좋아지는 것처럼 보이는 현상을 창발적 능력이라 부릅니다. 평가 지표를 바꾸면 향상이 더 연속적으로 보인다는 반론도 있어요. 따라서 '갑자기 생긴 능력'인지는 아직 연구와 논쟁의 대상입니다.
카드 읽기모델 버전 고정, 변경이 배포다
모델은 버전을 가져요. 같은 입력도 결과가 달라질 수 있어요. 버전을 고정하고 갱신은 의도적으로 하세요. A/B 비교도 이 기반 위에서 가능합니다.
카드 읽기전문가 혼합, 필요한 전문가만 깨워요
모델 안의 여러 회로 중 일부만 활성화하는 구조예요. 전체 파라미터는 크지만 한 번에 쓰는 건 적어요. 비용 대비 성능이 좋은 설계죠.
카드 읽기BERT, 양방향으로 문장을 읽는 모델
2018년 공개된 모델은 앞뒤 문맥을 함께 봅니다. 비어 토큰을 채우는 과제로 사전 학습했어요. 분류나 요약 같은 이해 과제에서 강했습니다.
카드 읽기훈련, 검증, 테스트 데이터는 역할을 나눠야 해요
훈련 데이터로 배우고, 검증 데이터로 성능을 확인하며, 테스트 데이터로 최종 점검합니다. 테스트 데이터에 미리 섞이면 과대 적합 위험이 커집니다. 데이터 역할을 나누는 습관이 신뢰도를 좌우합니다.
카드 읽기양자화, 정밀도를 낮추는 대신 가볍게
32비트 실수수를 8비트, 4비트로 낮추면 메모리가 줄어요. 정밀도 손실이 없지만 대부분은 품질을 유지합니다. 추천 메모리에서 성능을 좌우하는 기술입니다.
카드 읽기안전, 출력 필터링
모델의 출력을 다시 검사하는 단계예요. 민감한 내용을 걸러내거나 형식을 검증합니다. 출력이 그대로 서비스되지 않도록 하는 단계입니다.
카드 읽기학습이란 결국 오차를 줄이는 반복이에요
모델의 출력을 확인해 손실을 계산하고, 손실이 줄어드는 방향으로 파라미터를 고칩니다. 이 과정을 반복하면 훈련 데이터의 패턴을 더 잘 예측하게 됩니다. 반복적인 최적화가 학습의 핵심이에요.
카드 읽기온도 스케일링, 확률의 보정값
출력 확률의 기울기를 맞춰 신뢰도를 높이는 기법이에요. 분류 모델의 확률이 실제로 맞는지 판단할 때 필요합니다. 추측 확정이 중요한 과제를 위해 존재합니다.
카드 읽기비전 트랜스포머, 이미지를 패치로
이미지를 작은 조각으로 쪼개어 트랜스포머의 입력으로 줍니다. 2020년 제안된 방식은 이미지 인식의 새 흐름이 되었어요. 멀티모달 모델의 기반이에요.
카드 읽기과대 적합, 과소 적합의 의미
과대 적합은 데이터를 너무 잘 외워서 새 데이터에 약해지는 상태예요. 반면 과소 적합은 데이터의 패턴을 제대로 배우지 못한 상태입니다. 두 상태 사이에서 균형점을 찾는 일이 모델 조율의 본질이에요.
카드 읽기FlashAttention, 메모리를 절약하는 어텐션
2022년 제안된 기법으로 어텐션 계산을 블록 단위로 나눠 메모리를 줄여요. 2023년 FlashAttention-2가 더 효율적인 버전을 냈어요. 대규모 모델 추론의 표준이 됐습니다.
카드 읽기벡터 DB, 의미를 찾아내는 데이터베이스
유사도 검색에 최적화된 저장소예요. 수천 만 개의 벡터에서도 가까이를 찾습니다. RAG 파이프라인의 핵심 구성요소입니다.
카드 읽기이미지 분류, 카테고리 문제
이미지를 특정 범주로 나누는 작업이에요. 합성곱 신경망이 이 영역을 지배했습니다. 이미지넷 데이터셋은 연구의 표준 무대가 되었죠.
카드 읽기에이전트 옵저버빌리티, 실행을 추적해요
에이전트는 여러 단계로 실행되므로 각 단계를 봐야 해요. 실패한 단계를 찾아야 디버깅이 가능합니다. 실행 추적과 로깅 설계가 필수입니다.
카드 읽기스케일링 법칙, 크기와 손실의 관계
일정한 조건에서 파라미터, 데이터, 연산량을 늘리면 손실이 거듭제곱 법칙에 가깝게 줄어드는 경향이 관찰됩니다. 이를 스케일링 법칙이라고 해요. 모든 능력이 자동으로 좋아진다는 보장은 아니므로 과제별 평가가 필요합니다.
카드 읽기프롬프트가 왜 중요한가
같은 모델이라도 프롬프트에 따라 결과가 달라져요. 역할, 목표, 형식, 제약이 명확할수록 결과가 좋아집니다. 프롬프트 작성은 기술이 아니라 설계에요.
카드 읽기증류, 큰 모델을 작은 것으로
큰 모델의 출력을 작은 모델이 배웁니다. 출력은 품질 좋고 비용이 적게 드는 모델로 바뀌어요. 서비스 비용 최적화에 쓰입니다.
카드 읽기