배치 크기, 왜 중요한가
한 번에 몇 개의 데이터로 모델을 업데이트할지를 정합니다. 크면 기울기가 안정적이지만 메모리가 커요. GPU 메모리에 맞는 크기를 찾아야 합니다.
카드 읽기A LITTLE EVERY DAY
하루 한 장,
AI 감각을 쌓아요.
짧게 읽고 오래 기억할 수 있도록 핵심 개념만 담았습니다.
설명 가능성, 왜 그렇게 답했는지
어텐션 시각화 같은 도구로 내부의 시선을 볼 수 있어요. 완전한 설명은 아니지만 추론의 단서를 줍니다. 신뢰를 쌓기 위한 도구 중 하나예요.
카드 읽기오픈 웨이트 모델, 왜 중요한가
가중치를 직접 받아볼 수 있으면 검증과 수정이 가능합니다. Llama 계열의 공개로 오픈 생태계가 커졌어요. 프라이버시와 비용 측면에서도 선택지가 됩니다.
카드 읽기모멘텀, 경사 하항의 관성
이전 방향을 누적해서 업데이트하면 진동을 줄여요. 이 방향으로 빠른 수렴이 가능해요. SGD의 기본 옵션입니다.
카드 읽기RNN, 순서를 기억하는 구조
입력의 순서를 처리하기 위해 이전 상태를 다음으로 넘깁니다. 문장이나 시계열 같은 순서 데이터에 맞아요. 단, 긴 문맥을 기억하기는 어려워했죠.
카드 읽기프롬프트 엔지니어링, 지시를 명확하게
역할, 목표, 형식, 제약이 분명한 프롬프트가 나은 결과를 줍니다. '이렇게 해줘'보다 '이 형식으로, 이 범위로'가 나아요. 실력은 같은 모델에서 차이를 만듭니다.
카드 읽기GPTQ, 4비트 양자화 도구
2022년 공개된 학습 후 양자화 기법이에요. 가중치를 3비트나 4비트 등으로 줄여 메모리 사용량을 낮춥니다. 정확도 손실은 모델과 설정마다 달라서 실제 작업으로 평가해야 합니다.
카드 읽기셀프 어텐션, 자기 문장 안에서 관계 찾기
각 토큰이 문장 내 다른 토큰과 얼마나 관련되는지를 직접 계산해요. 이 관계가 의미 표현에 녹아들어요. 이 방식이 대규모 언어 모델 능력의 뿌리입니다.
카드 읽기기계 학습은 데이터에서 패턴을 배우는 일이에요
기계 학습은 규칙을 직접 쓰기보다, 예시 데이터에서 패턴을 학습하는 방식입니다. 데이터가 좋아야 결과도 좋아지므로 데이터 준비가 중요해요. 운영 환경을 잘 대표하는 데이터인지 먼저 확인해야 합니다.
카드 읽기추측적 해독, 빠른 모델이 먼저 써요
작고 빠른 모델이 여러 후보 토큰을 만들고 큰 모델이 한꺼번에 검증합니다. 검증된 토큰만 채택하므로 큰 모델의 출력 분포를 유지할 수 있어요. 초안 모델과 하드웨어 조건이 맞으면 생성 지연을 줄일 수 있습니다.
카드 읽기경사 하항법, 기울대로 내리는 숫자 고침
손실이 가장 빨리 줄어드는 방향으로 매개변수를 조금씩 고칩니다. 그 방향은 손실의 기울기로 계산됩니다. 학습률은 내리는 걸음의 크기를 정해요.
카드 읽기정확도만 믿으면 안 되는 이유
데이터가 불균형하면 정확도는 속임수를 쓸 수 있어요. 정확률과 재현율 같은 지표가 함께 보고되어야 결점이 드러나요. 지표 하나만 보면 좋은 모델처럼 보이는 경우가 대표적입니다.
카드 읽기믹스드 프리시전, 정밀도를 낮추면 빨라요
32비트가 아닌 16비트로 계산하면 메모리와 속도가 좋아져요. fp16, bf16가 대표적이에요. 안정성은 그대로 유지하면서 효율을 올리죠.
카드 읽기Whisper, 음성 인식의 개방 모델
2022년 공개된 음성 인식 모델이에요. 대량의 음성-텍스트 쌍으로 훈련되어 개방 모델입니다. 번역까지 함께 제공합니다.
카드 읽기모델의 라이선스, 자유롭게 쓸 수 있는가
오픈 웨이트와 오픈 소스는 다릅니다. 상업적 이용 범위와 의무를 미리 확인해야 해요. 배포 전에 라이선스 검토가 필요합니다.
카드 읽기LoRA, 작은 부속으로 튜닝하기
원래 가중치는 그대로 두고 작은 행렬만 학습합니다. 메모리와 비용이 크게 줄어요. 개인용 GPU로도 미세 튜닝이 가능해졌습니다.
카드 읽기평가, 벤치마크와 내 기준
공식 벤치마크는 모델의 상한을 보여줘요. 하지만 내 과제에서는 직접 만든 평가 세트가 더 중요해요. 두 가지를 함께 봐야 합니다.
카드 읽기딥페이크, 왜 주의해야 하나
얼굴과 목소리를 합성한 영상은 진짜처럼 보이게 만들 수 있어요. 2022년 이후 딥페이크는 뉴스 속보로 자주 등장했습니다. 영상과 음성 분석을 통해 감별할 수 있어요.
카드 읽기학습률, 왜 고정하면 안 되나
학습률이 크면 발산하고 작으면 느려요. 학습률을 줄여가는 스케줄이 일반적이에요. 초기엔 크게, 후반엔 작게 조절합니다.
카드 읽기RAG, 청킹은 어떻게 하나
문서를 작은 단위로 쪼개야 검색이 정확해져요. 너무 작으면 맥락이 끊기고 너무 크면 노이즈가 섞여요. 문서의 구조에 맞춰 쪼개는 게 핵심입니다.
카드 읽기앙상블, 여러 모델을 합치면 강해집니다
여러 모델의 결과를 합치면 개별 모델보다 견고해져요. 각 모델의 실수가 서로 상쇄됩니다. 경쟁 수상작에는 이런 합산 기법이 자주 들어있었죠.
카드 읽기추론 지연, 왜 중요한가
첫 토큰까지의 시간이 사용자 경험을 결정합니다. 전체 처리 시간보다 이 지연이 중요해요. 서버 측 큐잉과 배치 전략이 이 지연을 좌우합니다.
카드 읽기멀티모달, 이미지를 프롬프트에 넣기
이미지를 입력으로 주면 모델이 보고 답합니다. ViT 같은 인코더가 이미지를 토큰으로 변환해요. 질문과 이미지를 함께 보내면 됩니다.
카드 읽기튜링 테스트, 1950년의 질문
1950년 튜링은 기계가 인간처럼 대화하면 기계라고 판별할 수 있는지를 물었습니다. 이 질문은 인공지능 연구의 출발점이 되었습니다. 오늘의 대규모 언어 모델은 그 질문에 가장 가깝게 다가간 사례입니다.
카드 읽기KV 캐시, 지난 계산 기억하기
이미 계산한 어텐션 결과를 기억해 다시 계산하지 않습니다. 자기회귀 생성의 속도 병목을 줄여요. 메모리 점유가 큰 원인이 되기도 해요.
카드 읽기데이터 누수, 학습 데이터가 새나나
모델이 학습한 특정 문서를 그대로 출력할 수 있어요. 이것은 의도된 기억인지 오인지 구별해야 합니다. 비밀을 프롬프트에 넣기 전에는 이 위험을 알아둬야 해요.
카드 읽기데이터 라벨, 답지를 만드는 일
지도 학습의 답지는 사람이 직접 만듭니다. 라벨의 품질이 모델의 상한을 정해요. 라벨링 기준은 명확하고 일관되어야 합니다.
카드 읽기가중치 제거(Pruning), 불필요한 가중치를 빼요
가중치 중 기여가 낮은 부분을 없애 모델을 줄입니다. 연산이 빨라지고 메모리가 줄어요. 적절한 기준을 찾는 게 핵심이에요.
카드 읽기시드 값, 생성의 재현 가능성
시드는 난수 생성의 시작점을 고정해 출력 변동을 줄이는 설정입니다. 같은 모델, 입력, 실행 환경을 함께 고정하면 재현성이 높아져요. 서버나 연산 방식이 달라지면 같은 시드도 결과를 완전히 보장하지는 않습니다.
카드 읽기손실 함수, 오차를 측정하는 규칙
손실 함수는 예측이 답과 얼마나 다른지를 숫자로 줍니다. 손실이 작아지는 방향으로 모델이 조정됩니다. 과제를 바꾼다면 이 측정 방식도 바꾸는 게 맞아요.
카드 읽기