세상은 내가 정하는 대로

[Multimodal/VLM] A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges (25.01)

땽뚕 — Sun, 10 Aug 2025 11:16:51 +0900

[Multimodal/VLM] A Survey of State of the Art Large Vision Language Models:
Alignment, Benchmark, Evaluations and Challenges (25.01)

+) GPT 5의 Deep Research가 필요한 부분 보충해줌

http://arxiv.org/abs/2501.02189

A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges

Multimodal Vision Language Models (VLMs) have emerged as a transformative topic at the intersection of computer vision and natural language processing, enabling machines to perceive and reason about the world through both visual and textual modalities. For

arxiv.org

VLM 아키텍처의 진화

1세대 : "Train from scratch"
- CLIP이나 BLIP으로 대표되는 "train from scratch"들은 vision encoder와 text encoder가 분리된 형태로 구성되어 있고,
  - +) 까마득한 먼 옛날에 정리한 BLIP (https://asidefine.tistory.com/239)
- 동일한 임베딩 공간에서의 alignment를 위해서 Contrastive Learning을 Objective로 사용한다
2세대 : "Use Pre-trained LLM as a Backbone"
- LLaVA나 Qwen-VL와 같은 최근 모델에서는 Pretrained LLM을 Backbone으로 사용하고 있음
- Visual Feature의 경우는 MLP로 구성된 Projection Layer를 거쳐서 LLM의 Embedding space와 Align된다
- 그래서 최근의 VLM의 구성요소는 :
  - 1. Vision Encoder : 이미지를 벡터(토큰 시퀀스)로 변환
    - 예: CLIP ViT, EVA, SigLIP, Swin Transformer 등
  - 2. Text Encoder/LLM
    - 멀티모달 토큰을 받아 reasoning, captioning, QA 등을 수행
  - 3. Cross Modality Alignment Mechanism
  - 4. Projection Layer (Adapter, Projector)
    - 고차원 시각적 표현을 텍스트 모달리티와 호환되는 컴팩트한 임베딩 토큰으로 변환
    - Vision encoder 출력과 LLM 입력 차원을 맞춰주는 변환기
      - Vision encoder 출력과 LLM 입력 차원을 맞춰주는 변환기
    - 프로젝터는
      - 1) cross modal objective를 최적화하기 위해 모델의 나머지 부분과 공동으로 훈련되거나,
      - 2) 사전 훈련된 지식을 보존하기 위해 LLM과 같은 모델의 특정 부분을 고정할 수 있음
        
        LLaVA, Qwen2-VL, ....

MultiModal 모델의 구분과 Fusion 방식

멀티모달 모델의 태생은 1) 본디 VLM으로 태어났는지, 아니면 2) 나중에 마개조 당했는지에 따라 나뉜다

Native Multimodal	아키텍처 설계 초기부터 이미지·텍스트(그리고 일부는 오디오) 처리를 통합적으로 고려한 모델	LLaMA 4, Gemini, Qwen2.5-Omni
Bolt-on	원래 텍스트 전용 LLM에 Vision Encoder + Projection Layer를 덧붙여 멀티모달 기능 추가	LLaVA, MiniGPT-4, BLIP-2, Qwen2.5-VL, DeepSeek-VL v2, Kimi-VL, GPT-4(Vision)

멀티모달 모델 설계에서 중요한 건 이미지와 텍스트를 어떻게 합치느냐임


Dual Encoder	이미지와 텍스트 인코더가 독립적으로 작동함(초기 상호작용 없음). 각각이 공유 공간에서 임베딩을 생성하고, 모델은 이미지와 텍스트 임베딩 간의 유사성을 측정하는 방법을 학습함. 이는 대조 목표를 통해 이미지와 캡션 임베딩을 정렬하도록 훈련된 CLIP과 같은 모델에서 사용됨.		세밀한 cross-modal reasoning 어려움	CLIP, BLIP
Bolt-on	Vision Encoder 출력 → Projection Layer → LLM 입력으로 삽입 (이미지 토큰을 LLM 토큰 시퀀스에 추가)	기존 LLM 재사용, 구현 용이	모달리티 간 깊은 상호작용 부족	BLIP-2, LLaVA-1.5, Qwen2.5-VL
Early Fusion	Vision + Language를 transformer 레벨에서 초기에 통합 예를 들어, 텍스트 토큰과 이미지 패치가 연결되어 둘 다에 대해 어텐션을 적용하 는 단일 트랜스포머에 입력될 수 있음. 이러한 초기 융합은 양식 간의 풍부한 상호작용을 허용함(텍스트가 특정 이미지 영역에 주의를 기울일 수 있음 등). 이는 세부적인 추론과 생성에 유용함. 하지만 처음부터 통합된 다중모달 트랜스포머를 훈련하는 것은 복잡하고 자원 집약적임.	깊은 cross-modal 학습 가능	학습/데이터 비용 큼	Kosmos-2, Flamingo, Gemma3,
Unified Encoder-Decoder	모든 모달리티를 같은 토크나이저·모델로 처리	궁극적인 통합 가능성	토크나이징 설계 난이도	Qwen2.5-Omni, Gemini 1.5

Objectives

1. 이미지-텍스트 대조(ITC) 학습

해당하는 이미지와 텍스트를 공유 임베딩 공간에서 가깝게 배치
일치하지 않는 쌍은 멀어지게 만드는 훈련
InfoNCE 대조 손실 주로 사용
예시: CLIP - 올바른 이미지-캡션 쌍 유사성 최대화, 잘못된 쌍 최소화
결과: 제로샷 인식 가능한 모델 생성

2. 이미지-텍스트 매칭(ITM)

이진 분류 작업 (일치 vs 불일치)
캡션이 이미지를 올바르게 설명하는지 예측
ALBEF, BLIP 등에서 활용
세밀한 정렬 학습에 도움

3. 마스크된 언어/이미지 모델링

마스크된 언어 모델링(MLM): 이미지 보고 마스크된 단어 예측
마스크된 이미지 모델링(MIM): 텍스트로 마스크된 이미지 패치 예측
예시: FLAVA - MLM, MIM, 다중모달 마스킹 조합 사용
이미지와 텍스트 공동 이해 개발

4. 이미지 캡셔닝 사전 훈련

이미지가 주어졌을 때 텍스트 설명 생성 훈련
조건부 언어 모델로 취급
예시: SimVLM, CoCa, BLIP
BLIP의 2단계 접근: Captioner + 필터 → 자체 데이터 부트스트랩

5. 지시 조정(다중모달)

이미지 + 사용자 쿼리 → 답변 형태로 훈련
상호작용적이고 도움이 되는 VLM 제작
예시: LLaVA - GPT-4 생성 158K QA 쌍 활용
인간 주석 또는 강한 모델에서 증류

6. 감독된 미세 조정(SFT)

특정 다운스트림 작업에 대한 기존 미세 조정
예시: VQAv2 데이터셋에서 미세 조정
장점: 특정 애플리케이션 적응
단점: 모델을 좁게 만들거나 제로샷 능력 손실 가능

7. 인간 피드백 정렬 - RLHF와 DPO

RLHF: 인간 피드백으로 강화 학습, PPO 알고리즘 사용
DPO: 직접 선호 최적화, 더 안정적 접근법
바람직하지 않은 행동 줄이기
예시: IDEFICS, Moonshot Kimi-VL

8. 다중작업 학습

여러 목표나 작업 동시 훈련
가중 손실 합 최소화
예시: OFA - 캡셔닝, VQA, 시각적 그라운딩, 이미지 생성 통합
더 다재다능한 모델 생성

주요 손실 함수

손실 유형별 분류

대조 손실: ITC용 (InfoNCE 손실)
이진 교차 엔트로피: ITM 분류용
교차 엔트로피: 캡션 생성, 마스크된 토큰 예측용
강화 학습 손실: RLHF/DPO 정렬용

다중 손실 접근법

예시: ALBEF - 3가지 손실 조합
- 이미지-텍스트 대조 손실
- 이미지-텍스트 매칭 손실
- 마스크된 언어 모델링 손실

VLM 아키텍처와 기술의 이정표

비전-언어 모델은 최근 몇 년간 빠르게 발전했음. 여기서는 초기 시스템부터 최신 최첨단 모델까지 대표적인 모델들의 발전 과정을 개략적으로 설명하고 그들의 혁신을 강조함:

1. 초기 교차 모달 모델들 (2021년 이전): VisualBERT, ViLBERT 등

거대한 다중모달 모델의 시대 이전에, 연구자들은 2010년대 말에 텍스트 모델을 이미지를 처리하도록 확장하기 시작했음. VisualBERT(2019)는 영역 기반 시각적 특징(CNN 탐지기에서)을 BERT 모델에 삽입하고 마스크된 언어와 이미지-텍스트 매칭 손실로 훈련했음. 본질적으로 탐지된 이미지 영역을 문장의 추가 "단어"로 취급했음. ViLBERT(2019)와 LXMERT(2019)는 공동 어텐션 레이어를 통해 상호작용하는 별도의 비전과 텍스트 트랜스포머를 가진 투-스트림 접근법을 취했고, 관계 학습을 가능하게 했음(텍스트의 언급에 해당하는 객체처럼). 이러한 모델들은 비교적 작은 데이터(COCO, Visual Genome 등)에서 VQA와 캡셔닝에 적용되어 괜찮은 성공을 거두었지만, BERT 크기 아키텍처의 용량과 사전 계산된 영역 특징의 필요성으로 제한되었음.

2. 대조 학습 혁명: CLIP과 Align (2021)

분수령이 된 순간은 OpenAI의 CLIP(2021)와 함께 왔음. CLIP는 웹에서 수집한 4억 개의 이미지-캡션 쌍을 사용하고 듀얼-인코더(이미지용 ViT, 텍스트용 트랜스포머)를 훈련하여 어떤 캡션이 어떤 이미지와 맞는지 예측했음(대조 손실). 결과는 뛰어난 제로샷 능력을 가진 모델이었음: 미세 조정 없이도, CLIP는 단순히 이미지를 각 클래스의 텍스트 라벨과 비교하여 이미지를 분류할 수 있었고, 종종 ImageNet에서 전통적인 감독 모델과 일치하거나 능가했음. CLIP는 효과적으로 이미지와 텍스트를 위한 풍부한 공유 의미 공간을 학습했음. 그 성공은 규모(4억 개의 노이즈가 많은 데이터)와 대조 학습의 힘을 보여줬음. 비슷한 시기에, Google의 ALIGN과 LiT가 유사한 접근법을 따랐음(ALIGN은 더 큰 데이터셋인 수십억 쌍을 사용). 하지만 이러한 모델들은 생성적이지 않았음 – 새로운 캡션을 생성할 수 없고, 임베딩하고 비교만 할 수 있었음. 하지만 많은 후속 VLM의 기초가 되었음(종종 비전 인코더 구성 요소로서). CLIP의 영향은 엄청남: 많은 후속 모델들이 CLIP(또는 그 변형들)를 사전 훈련된 비전 백본으로 사용함. 예를 들어, LLaVA(2023)는 단순히 CLIP의 비전 인코더를 가져와 언어 모델에 연결했고, CLIP의 견고한 시각적 이해에 의존했음. 또한, CLIP의 데이터셋(또는 LAION 같은 그 파생물들)이 새로운 모델들을 훈련하는 기반이 되었음.

3. 다중모달 융합 모델들: ALBEF, SimVLM, OFA, FLAVA (2021–2022)

연구자들은 곧 검색 중심 모델을 넘어 이미지에 대한 언어를 이해하고 생성하는 모델들로 이동했음. ALBEF(ICCV 2021)는 그러한 모델 중 하나였고, 이미지와 텍스트 인코더 위에 다중모달 트랜스포머를 도입했음. ALBEF는 대조적 정렬(CLIP처럼)과 융합 인코딩의 조합을 사용했음: 먼저 전역 임베딩을 정렬한 다음, 교차 어텐션을 통해 토큰 수준 특징을 융합했음. 그렇게 함으로써, ALBEF는 검색을 처리할 수 있고 또한 VQA나 캡셔닝에 적합한 표현을 생성할 수 있었음. "융합 전 정렬"의 가치를 보여줬음 – 대조 손실을 사용하여 양식들이 대략 정렬되도록 보장한 다음, 더 깊은 융합으로 정제함.

BLIP(2022)는 훈련 데이터를 부트스트랩하여 이 아이디어를 개선했음. BLIP는 이미지에 대한 합성 캡션을 생성하는 캡셔닝 모델과 나쁜 (이미지, 캡션) 쌍을 필터링하는 필터링 모델을 훈련했음. 이를 통해 원래 캡션을 넘어 더 넓은 범위의 웹 이미지를 활용할 수 있었음. BLIP의 아키텍처는 이미지 인코더, 텍스트 인코더, 그리고 텍스트 디코더를 포함하여 하나의 프레임워크에서 이해와 생성 작업을 모두 가능하게 했음. VQA, 캡셔닝을 위해 미세 조정될 수 있었고 또는 캡션을 직접 생성하는 데 사용될 수도 있었음. BLIP는 이 다중작업 사전 훈련(ITC, ITM, MLM, 캡셔닝 모두 하나에서) 때문에 작업들에서 강한 성능을 보여줬음. 그 후속 버전인 BLIP-2(2023)는 다른 방향을 택했음(곧 논의됨).

OFA(One-for-All, 2022)는 Microsoft에서 나온 것으로 많은 작업(이미지 캡셔닝, VQA, 시각적 그라운딩, 심지어 텍스트 전용 작업)을 단일 시퀀스-투-시퀀스 트랜스포머로 통합했음. 모든 작업을 다중모달 입력의 시퀀스를 입력받아 시퀀스 출력을 생성하도록 훈련하는 것으로 취급했음. 아키텍처를 통합하고 다양한 작업에서 훈련함으로써, OFA는 여러 벤치마크에서 동시에 최첨단을 달성했음. 이 범용 다중작업 다중모달 모델의 개념은 후의 "Omni-모델" 아이디어의 전조였음.

또 다른 주목할 만한 2022년 모델은 Flamingo(DeepMind, 2022)였음 – CNN 인코더에서 시각적 토큰을 수집하는 교차 어텐션 레이어가 삽입된 LLM(Chinchilla 기반). Flamingo의 설계는 이미지와 텍스트 쌍의 시퀀스를 받아 텍스트 생성을 계속할 수 있게 하여 다중모달 작업에서 퓨샷 학습을 가능하게 했음. 핵심은 이미지 특징을 언어 모델의 여러 지점에서 공급될 수 있는 작은 토큰 세트로 줄이는 Perceiver Resampler였음. 대용량의 이미지/비디오와 텍스트 말뭉치(YT 클립과 대본 등)에서 훈련된 Flamingo는 강한 퓨샷 VQA와 캡셔닝을 보여줬음 – 맥락에서 몇 가지 예시를 주면 기울기 업데이트 없이 새로운 이미지에서 잘 수행할 수 있었음. Flamingo는 오픈소스되지 않았지만, 그 아이디어는 OpenFlamingo 같은 오픈 프로젝트에 영향을 주었고, 퓨샷 다중모달 학습을 위해 사전 훈련된 LLM과 학습된 시각적 인터페이스를 결합하는 효과를 보여줬음.

SimVLM(2021)도 빠른 언급을 받을 만함: 생성적 비전-언어 모델을 스케일링하는 초기 예시였음. 이미지-캡션 쌍을 이미지를 구분하는 특별한 토큰이 있는 "긴 문장"으로 취급하고, 캡션을 예측하도록 트랜스포머를 훈련했음(언어 모델링). 단순했지만, 스케일되고(18억 매개변수) 18억 이미지-텍스트 쌍에서 훈련됐을 때, 캡셔닝에서 SOTA를 달성하고 VQA에서 경쟁력 있는 결과를 얻었음. SimVLM의 단순함(왼쪽에서 오른쪽으로의 디코더만)은 Google의 PaLI 시리즈 같은 후의 생성적 접근법에 영향을 주었음.

FLAVA(2022)는 진정한 다중모달 기초 모델이 되려고 시도한 연구 모델이었음 – 별도의 이미지와 텍스트 인코더와 다중모달 인코더를 가지고 있었고, 단일모달과 다중모달 데이터 모두에서 손실의 칵테일(ITC, ITM, 마스크된 이미지, 마스크된 텍스트)로 훈련되었음. FLAVA는 이미지 전용 작업과 이미지+텍스트 작업 모두에서 좋은 성능을 내는 것을 목표로 했음. 규모는 적당했지만, 순수 비전, 순수 언어, 그리고 비전-언어 작업에서 괜찮은 단일 모델의 가능성을 보여줬음 – 어떤 양식이든 소비하는 "잡식성" 모델을 향한 아이디어.

4. 대규모 언어 모델로의 연결: BLIP-2, MiniGPT-4, LLaVA (2023)

2023년은 고정된 LLM과 비전을 연결하는 접근법의 급증을 보았고, GPT-3, OPT, 또는 LLaMA 같은 모델의 놀라운 언어 능력을 활용했음. 일반적인 레시피는: LLM을 그대로 유지하고(지식과 언어적 유창함을 보존하기 위해), 시각적 정보를 그것에 공급하는 경량 모듈을 훈련하는 것이었음.

주요 예시는 BLIP-2(2023)임. BLIP-2는 비전 인코더와 LLM 사이에 위치하는 작은 Querying 트랜스포머(Q-Former)를 도입했음. Q-Former는 이미지 인코더의 출력(예: ViT 특징)에 어텐션하는 학습 가능한 쿼리 벡터 세트를 가진 트랜스포머임. 이미지-텍스트 쌍에 대한 훈련을 통해, 이러한 쿼리들은 이미지에서 가장 현저한 정보를 추출하는 방법을 학습함. 결과적인 쿼리 임베딩은 선형적으로 LLM의 토큰 임베딩 공간으로 투영되고 고정된 LLM(OPT나 Flan-T5 같은)에 공급됨. 본질적으로, BLIP-2는 "통역사" 역할을 함: 시각적 콘텐츠를 LLM이 이해할 수 있는 언어 친화적 임베딩으로 번역함. 이를 통해 BLIP-2는 처음부터 대규모 모델을 공동 훈련해야 하는 필요 없이 LLM의 장점(예: 상식, 유창한 생성)을 활용할 수 있었음. BLIP-2는 전체 다중모달 훈련이 필요로 하는 것보다 훨씬 적은 계산을 사용하면서 캡셔닝과 심지어 일부 추론 작업에서 강한 결과를 달성했음.

이 패러다임을 따라, 많은 "GPT-4 비전 대안"들이 오픈소스 커뮤니티에서 등장했음:

LLaVA(2023년 4월): LLaVA(Large Language and Vision Assistant)는 CLIP ViT-L 인코더(고정)와 LLaMA-7B 언어 모델을 가져와서, 1024-D 이미지 특징을 4096-D 언어 모델 임베딩 공간으로 매핑하는 간단한 선형 레이어를 추가했음. 이 최소한의 통합 후에, LLaVA는 이미지에 대한 생성된 QA 쌍에서 미세 조정되었음. 결과는 인상적이었음 – 비교적 적은 데이터로 그리고 처음부터 새로운 기초를 훈련하지 않고 만들어진 괜찮은 다중모달 채팅 모델. LLaVA는 기본적으로 "최소한의 접착제"의 효과를 보여줬음: 선형 투영이 CLIP와 LLaMA를 작동하는 VQA 모델로 결합하기에 충분했음. 그 오픈 릴리스는 많은 파생물을 촉발했음.

MiniGPT-4(2023): 이름에도 불구하고, 이것은 실제로 GPT-4가 아니라 Vicuna 개성을 가진 7B LLaMA 모델이었음. CLIP ViT-L과 쌍을 이루고 단지 ~1-2백만 매개변수의 투영 레이어 하나만 있었음. MiniGPT-4도 두 구성 요소를 고정하고 약 500만 이미지-텍스트 쌍에서 그 단일 선형 레이어를 훈련한 다음, 작은 고품질 이미지 설명 세트에서 2단계 조정을 수행했음. 이 작은 적응으로, MiniGPT-4는 놀랍도록 고급스러운 이미지 설명을 생성할 수 있었음(예: 밈 설명). 하지만 더 복잡한 추론이나 세부적인 계산에서는 어려움을 겪었고, 더 큰 규모의 다중모달 훈련 없는 제로샷 전이의 한계를 나타냈음.

PaLM-E(2023): Google의 PaLM-E는 LLM-비전 통합에 다른 경로를 택했음. 대규모 사전 훈련된 언어 모델(PaLM)을 센서 임베딩(이미지, 로봇 등에서)을 텍스트 입력 시퀀스에 앞에 붙여 확장했음. PaLM-E는 로봇 센서 데이터와 이미지에서 훈련된 점이 주목할 만하며, 언어 모델은 대부분 고정되어 있었음. "E"는 체화(embodied)를 의미함. 적절한 인터페이스가 주어진다면 LLM이 여러 양식에 대한 일반적인 추론 엔진 역할을 할 수 있음을 보여줬음. PaLM-E는 언어를 통해 로봇 작업을 수행할 수 있었고, 단지 시각적 관찰을 프롬프트에 공급하는 것만으로. 이것은 다시 거대한 LLM이 비교적 작은 다중모달 미세 조정이 유용한 비전 기술을 부여할 수 있을 만큼 강력한 추론 사전을 가지고 있다는 것을 강화함.

Flamingo와 OpenFlamingo (재방문): Flamingo의 LLM 중간 레이어에 시각적 정보를 인터리빙하는 접근법도 "볼트-온" 방법으로 간주될 수 있음(단일 투영보다는 더 얽혀있지만). OpenFlamingo(LLaMA를 사용한 오픈 구현)가 이를 재현하려고 시도했음. 더 간단한 선형 레이어만큼 널리 성공적이지는 않았지만, 이러한 접근법들은 이미지가 여러 지점에서 텍스트와 맥락에서 처리될 수 있게 하여 잠재적으로 더 나은 세밀한 그라운딩으로 이어질 수 있음.

요약하면, 2023년의 트렌드는 모두 기존 LLM을 활용하는 것이었음. 처음부터 100억 매개변수 다중모달 모델을 훈련하는 것(극도로 비싸니까) 대신, 이미 똑똑한 10B 언어 모델을 사용하고 그것에게 보는 방법만 가르치면 어떨까? 이것은 BLIP-2, LLaVA, MiniGPT-4뿐만 아니라 유사한 청사진을 따르는 수많은 다른 모델들(종종 기발한 이름들을 가진)의 등장을 가져왔음(예: Otter, PandaGPT, X-LLM… 목록이 매주 늘어남). 이들은 어떤 비전 인코더(CLIP vs. 다른 것들), 어떤 LLM(LLaMA vs. Falcon 등), 그리고 연결이 어떻게 만들어지는지(선형 vs. 작은 트랜스포머 vs. 어댑터 모듈)의 세부사항에서 다르지만, 일반적인 철학은 공유됨.

5. 일반주의 다중모달 모델을 향해: 최신 오픈소스 VLM들 (2023년 말–2024년)

오픈소스 커뮤니티와 산업 연구소들은 VLM 능력을 최첨단에 가깝게 밀어붙이기 위해 빠르게 반복하고 있음. 최근 모델들과 그들을 차별화하는 것들을 강조해보자:

Qwen-VL(2023): Qwen-VL은 Alibaba의 Qwen LLM(7B/14B 매개변수 모델)의 비전-언어 버전임. Qwen-VL과 그 채팅 변형인 Qwen-VL-Chat은 캡셔닝, VQA, 심지어 대화와 같은 작업에서의 강한 성능으로 주목받았음. 기술적으로, Qwen-VL은 이미지 인코더로 비전 트랜스포머를 사용하고 텍스트용으로 Qwen 언어 모델을 사용함; 아마도 인터리빙 접근법이나 게이트된 교차 어텐션을 사용할 것임(논문의 세부사항은 비전 인코더가 부분적으로 훈련됨을 시사). 몇 가지 두드러진 특징: 다국어 이미지-텍스트 데이터(주로 영어와 중국어)에서 훈련되어 여러 언어로 응답할 수 있음. 또한 여러 이미지를 동시에 처리할 수 있음 – 훈련 중에 관련 맥락과 함께 여러 이미지가 주어져 모델이 이미지들을 비교하거나 추론할 수 있게 함. 더욱이, 많은 전임자들보다 높은 해상도 이미지를 받아들여 더 나은 세밀한 인식을 제공함. 이 모든 것이 2023년 말 오픈 모델들 중 최첨단 결과를 가져왔고, Qwen-VL은 종종 그 크기에 대해 MME와 MMBench 같은 벤치마크에서 정상을 차지했음. 본질적으로 많은 평가 스위트에서 GPT-4V 성능의 ~70-80%에 도달하는 오픈 7B 모델이 보여줘서 GPT-4와의 격차를 좁혔음.

LLaVA-1.5(2023년 10월): 이것은 개선된 LLaVA임. 팀은 이미지 인코더를 CLIP ViT-L/336(더 높은 해상도 능력)으로 업그레이드하고 간단한 선형 투영을 약간 더 깊은 MLP 투영으로 교체했음. 이러한 겉보기에 사소한 변화들이 성능을 눈에 띄게 향상시켰는데, 모델이 더 많은 시각적 세부사항을 활용하고 언어 공간으로의 더 나은 매핑을 할 수 있었기 때문임. LLaVA-1.5는 또한 2단계에서 학술 VQA 데이터셋(VQAv2, ScienceQA 등)에 대한 추가 훈련을 포함했음. 결과는 벤치마크 점수의 큰 개선이었음 – 저자들은 LLaVA-1.5가 그 크기의 오픈 모델에 대해 ~11개의 다중모달 벤치마크에서 새로운 최첨단을 달성하여 원래 LLaVA를 크게 능가한다고 보고함. 본질적으로, 비전을 언어에 연결하는 "볼트"(투영)를 미세 조정하고 더 많은 감독 데이터를 추가함으로써, 모델 크기를 증가시키지 않고도 성능 경계를 밀어붙였음.

LLaVA-OneVision(2024년 8월): 이것은 많은 비전 작업을 위한 단일 모델이 목표였던 흥미로운 개발임. LLaVA-OneVision(LLaVA 팀에서)은 "단일 이미지, 다중 이미지, 비디오라는 세 가지 시나리오에서 동시에 오픈 모델의 성능을 밀어붙이는 첫 번째 단일 모델"로 설명됨. 즉, 하나의 모델이 표준 이미지 Q&A, 다중 이미지 추론(예: 두 이미지 비교), 그리고 심지어 비디오 이해를 처리할 수 있음. 비전 작업 전이라는 아이디어를 활용함: 이미지에서 훈련한 다음 비디오 프레임을 여러 이미지처럼 취급하여 비디오에서 강한 제로샷 결과를 보여줌. 내부적으로, LLaVA-OneVision은 더 강한 비전 인코더(Google의 고성능 ViT인 SigLIP)를 사용하고 신중히 통합된 훈련 데이터("LLaVA-NeXT" 시리즈)와 함께 Qwen-7B 언어 모델을 기반으로 함(프로젝트 페이지에 따르면). 교차 모달 전이를 보여줌: 이미지에서 학습한 지식이 명시적인 비디오 훈련 없이도 모델이 비디오에서 잘 수행하도록 도왔는데, 이는 놀라운 능력임. LLaVA-OneVision은 본질적으로 별도의 전문화된 모델을 갖는 것보다는 하나의 네트워크에서 비전 작업(그리고 심지어 양식들)을 통합하는 방향으로의 한 걸음을 표시함.

PaLI와 PaLI-X/Gemini, 그리고 PaLI-Gemma2(2023–24): Google은 다중모달 모델에서도 활발히 활동하고 있음. PaLI(2022)는 100개 이상의 언어에서 100억 개의 이미지-텍스트 쌍에서 훈련된 대규모 다국어 비전-언어 모델(최대 17B 매개변수)이었음. 인코더-디코더 아키텍처(비전 인코더, 텍스트 디코더)를 사용했고 비영어를 포함한 많은 캡셔닝과 VQA 벤치마크에서 최첨단을 달성했음. 그 후속인 PaLI-X는 더욱 확장됨(~80B 매개변수 사용 보고). 하지만 이들은 주로 연구 모델이었고, 릴리스되지 않았음. 2023년에, Google은 Gemini(곧 출시될 다중모달 모델)를 발표했고 준비 과정에서 Gemma를 릴리스했음 – 같은 기술로 구축된 더 작은 오픈소스 모델 패밀리. Gemma 2와 Gemma 3는 텍스트 전용 언어 모델(2B, 6B, 12B 등의 크기)로 효율적이고 비전으로 확장 가능하도록 의도됨. PaliGemma 2(2024년 12월)는 SigLIP 비전 인코더(CLIP와 유사)와 Gemma 2 언어 모델을 결합한 오픈 VLM임. 3B, 10B, 28B 매개변수 변형으로 제공되며 다국어 이미지-텍스트 데이터 혼합(WebLI 등)에서 훈련됨. 아키텍처는 이미지 인코더의 출력이 텍스트 디코더(Gemma)에 공급되는 인코더-디코더로, PaLI와 매우 유사하지만 축소된 버전임. "경량"임에도 불구하고, PaliGemma 2 모델들은 고품질이고 유연함 – 여러 이미지 해상도를 지원하고 캡셔닝이나 VQA 같은 작업을 위해 쉽게 미세 조정될 수 있음. Google은 심지어 뛰어난 세부 캡셔닝 능력을 보여주는 미세 조정된 모델들의 예시(긴 이미지 설명 데이터셋인 DOCCI에서)도 제공했음. 본질적으로, PaliGemma 2는 허용적인 라이선싱과 함께 커뮤니티를 위한 PaLI 같은 모델을 민주화하려는 Google의 시도임. 한편, Gemma 3(2025)는 비전을 더 네이티브하게 통합할 것으로 예상됨(Google 블로그는 Gemma 3가 기본 모델 자체에 비전-언어 지원을 포함하여 다중모달 작업을 위해 더 "자원 친화적"으로 만든다고 암시). Gemma 3의 세부사항이 아직 나오고 있지만, 통합된 다중모달 기본 모델의 산업 트렌드와 일치함.

DeepSeek-VL과 DeepSeek-VL2(2024): DeepSeek는 "실제 세계 비전-언어 이해"에 초점을 맞춘 또 다른 오픈 이니셔티브임. 첫 번째 DeepSeek-VL(2024년 3월)과 그 후속인 DeepSeek-VL2는 대규모로 전문가 혼합을 채택했음. 실제로, DeepSeek-VL2는 특히 상당한 성능 향상을 달성하기 위해 MoE 트랜스포머를 사용함 – Kimi-VL과 정신적으로 유사하지만 아마도 다른 세부사항들과 함께(DeepSeek는 또한 RLHF를 위한 GRPO와 같은 일부 새로운 정렬 기술을 개척한 것으로도 알려져 있음). 이러한 모델들은 OCR, 세부 Q&A 등과 같은 실용적인 작업에서 강한 성능을 강조하고, VLM을 효율적으로 확장하는 유망한 경로로서 MoE를 강조함. DeepSeek의 최신 "R1" 대규모 언어 모델과 VL 모델들은 추론 벤치마크에서 최고 폐쇄 모델들과 경쟁적이라고 언급되어, 오픈 연구가 따라잡고 있음을 강조함.

6. 2025년

1. Gemma 3 – Google DeepMind (2025)

기술적 개선점

멀티모달 통합: Gemma 시리즈 최초 이미지 입력 지원 (SigLIP Vision Encoder 탑재)
Pan&Scan 알고리즘: 고해상도 이미지(비정형 크기) → 896×896로 잘라 처리, 세부 정보 이해 강화
MultiModal Projector: 이미지 → 256개의 소프트 토큰으로 압축, 추론 속도 향상
Local-Global Attention (5:1): 장문 입력(128K 토큰) 메모리 절감
QK-Norm: 기존 soft-capping 대체, 정확도+속도 개선
다국어 성능 향상: Gemini와 동일한 26만 어휘 토크나이저, 병렬·다국어 데이터 비중 확대

멀티모달 구조

Bolt-on 후기 융합
SigLIP ViT → 4096 패치 토큰 생성 → 선형 투사 → LLM 임베딩 차원 맞춤
압축된 256개 이미지 토큰을 <img> 위치에 삽입, 텍스트와 함께 autoregressive 처리
비전 인코더와 언어 디코더 분리, 이미지 정보는 LLM 입력 토큰 시퀀스에 지연 결합

2. Qwen 2.5-Omni – Alibaba (2025)

기술적 개선점

완전 통합형 멀티모달: 텍스트·이미지·음성·동영상 4모달 입력 + 텍스트·음성 동시 출력
TMRoPE: 비디오·오디오 시간축 정렬을 위한 위치 인코딩
Thinker–Talker 이중 디코더:
- Thinker: 텍스트 생성
- Talker: Thinker 은닉 상태로부터 TTS 음성 토큰 생성
스트리밍 대응: 블록단위 인코딩, 슬라이딩 윈도우 TTS

멀티모달 구조

멀티 인코더 + 멀티 디코더
이미지: CLIP계 ViT 인코더 + 프로젝션 → LLM 입력
음성: Conformer 기반 오디오 인코더 + 프로젝션 → LLM 입력
비디오: 시간블록 단위 프레임 처리, 오디오 토큰과 교차배열
언어 디코더(Thinker)는 통합 Transformer, Talker는 TTS 전용 디코더
Bolt-on 기반이지만 시간축 정렬(TMRoPE)로 멀티모달 시퀀스 처리

3. Kimi-VL – Moonshot AI (2025)

기술적 개선점

MoE Transformer: DeepSeek-VL2 계열, 추론 시 일부 전문가만 활성화 → 효율 극대화
MoonViT: 네이티브 고해상도(최대 4K) 이미지 인코더, 계층적 어텐션으로 연산비 절감
128K 컨텍스트: 장문 멀티모달 입력 지원
에이전트 기능: OSWorld 등 도구 사용, JSON·좌표 출력 가능
Thinking 버전: 장문 CoT 튜닝으로 멀티모달 수학·추론 벤치마크 SOTA

멀티모달 구조

Vision Transformer(MoonViT) + MoE 언어 디코더
ViT 패치 토큰 → 선형 투사 → LLM 입력
Bolt-on 후기 융합, 멀티 이미지·영상 입력 지원
고해상도와 초장문 멀티모달 reasoning에 최적화

4. SmolVLM – HuggingFace (2025)

기술적 개선점

초경량 VLM: 0.256B~2.2B 파라미터, 엣지 디바이스 구동 가능 (256M 모델, <1GB VRAM)
대형 모델 대비 비슷하거나 우수한 성능 (Idefics 80B 초월)
토큰 압축 전략:
- 큰 패치 사이즈
- Pixel-shuffle 유사 연산으로 토큰 수 감소
멀티모달 데이터 최적화: 소형 모델용 데이터셋 재설계
비디오 이해 가능: 동일 파이프라인으로 프레임 처리

멀티모달 구조

경량 ViT/ConvNeXt → 피처맵 생성 → 공간→채널 재배열 → 토큰 수 감소
MLP 프로젝션 → 텍스트 토큰과 concat/교차배열
Bolt-on 후기 융합 구조, 효율 극대화 설계

[2025 강화학습 Recap] Chapter 7. Deep Reinforcement Learning

땽뚕 — Sun, 10 Aug 2025 10:52:35 +0900

[2025 강화학습 Recap] Chapter 7. Deep Reinforcement Learning

지금까지 우리는 가치함수를 중심으로 강화학습을 이해해왔음. 상태의 가치를 정확히 추정하고, 그를 바탕으로 최선의 행동을 선택하는 방식이었음. 하지만 잠깐, 정말로 가치함수가 필요할까? 우리의 궁극적 목표는 최적 정책을 찾는 것인데, 굳이 가치함수라는 중간 단계를 거쳐야 할까?

때로는 더 직접적인 접근이 효과적일 수 있음. 마치 목적지에 가는 데 지도를 자세히 그리는 대신 바로 방향을 찾아가는 것처럼 말임. 특히 연속 행동 공간에서는 "어떤 행동이 얼마나 좋은가"를 모두 계산하기보다는 "어떤 행동을 선택할 확률을 높일까"를 직접 학습하는 것이 더 자연스러움.

이것이 바로 정책 경사법(Policy Gradient)의 핵심 아이디어임. 정책을 매개변수화된 함수로 표현하고, 성능을 직접 최적화하는 방법임. 가치함수라는 우회로 대신 정책 공간에서 바로 최적해를 향해 나아가는 것.

이 장에서는 정책을 직접 학습하는 다양한 방법들을 살펴볼 예정임. REINFORCE라는 기본적인 정책 경사 알고리즘부터 시작해서, Actor-Critic처럼 가치함수와 정책을 함께 사용하는 하이브리드 방법까지 다룰 것임. 그 과정에서 왜 정책 기반 방법이 때로는 가치 기반 방법보다 뛰어난지, 어떤 상황에서 어떤 방법을 선택해야 하는지도 명확해질 것임.

가치에서 정책으로. 강화학습의 또 다른 차원을 탐험해보자.

Chapter 7: Policy Gradient Methods

1. Chapter 6에서 Chapter 7로: 가치에서 정책으로

1.1 지금까지의 여정

Value-based 접근법의 성과:
✅ Q-Learning, SARSA로 최적 정책 학습
✅ 함수 근사로 큰 상태 공간 처리
✅ 이론적으로 완성된 프레임워크

하지만 남은 한계들:
❌ 연속 행동 공간에서의 어려움
❌ 확률적 정책 표현의 제약
❌ 가치함수라는 우회 경로의 비효율성

1.2 새로운 질문: "정말 가치함수가 필요한가?"

기존 접근법의 우회 경로:

환경과 상호작용
가치함수 학습 (Q(s,a) 추정)
가치함수로부터 정책 유도 (π(s) = argmax Q(s,a))

직접적 접근법의 가능성:

환경과 상호작용
정책 직접 최적화 (π를 바로 개선)

1.3 정책 기반 방법이 필요한 이유

1. 연속 행동 공간 문제

로봇 팔 제어: 관절 각도가 실수값 연속 공간
자율주행: 핸들 각도, 가속도가 연속값

Value-based: argmax_a Q(s,a)에서 a가 무한개
Policy-based: π(a|s)로 연속 분포 직접 모델링

2. 확률적 정책의 필요성

가위바위보: 예측 가능한 결정론적 정책은 불리
포커: 블러핑을 위한 확률적 전략 필요

Value-based: 결정론적 greedy 정책만 자연스럽게 표현
Policy-based: π(a|s) 확률 분포로 자연스럽게 표현

3. 부분 관측 환경

포커: 상대방 카드를 모르는 상황
로봇 탐험: 센서로 일부만 관측 가능

같은 관측에서도 다른 행동이 최적일 수 있음
확률적 정책이 더 robust함

2. 정책 매개변수화와 목적함수

2.1 정책의 매개변수화

기본 아이디어:

π(a|s) → πθ(a|s)

정책을 매개변수 θ로 표현되는 함수로 모델링

연속 행동: 가우시안 정책

πθ(a|s) = N(μθ(s), σθ²(s))

μθ(s): 평균 (신경망으로 근사)
σθ(s): 표준편차 (학습 가능하거나 고정)

이산 행동: 소프트맥스 정책

πθ(a|s) = exp(hθ(s,a)) / Σ_a' exp(hθ(s,a'))

hθ(s,a): preference function (신경망으로 근사)

2.2 성능 측정: 목적함수 정의

에피소드 환경에서의 목적함수:

J(θ) = E[G0] = E[Σ_{t=0}^T γ^t R_{t+1}]

연속 환경에서의 목적함수:

J(θ) = Σ_s dπ(s) Σ_a πθ(a|s) R(s,a)

dπ(s): 정책 π 하에서 상태 s의 정상 분포

목표:

θ* = argmax_θ J(θ)

2.3 정책 경사 정리 (Policy Gradient Theorem)

핵심 질문: ∇θ J(θ)를 어떻게 계산할까?

단순한 시도 (틀림):

∇θ J(θ) = ∇θ Σ_s dπ(s) Σ_a πθ(a|s) R(s,a)

문제: dπ(s)도 θ에 의존함 (정책이 바뀌면 상태 분포도 바뀜)

정책 경사 정리:

∇θ J(θ) = E[∇θ log πθ(At|St) Gt]

증명 스케치:

궤적 확률을 정책과 환경 역학으로 분해
환경 역학은 θ와 무관하므로 상수 취급
log-derivative trick 적용: ∇θ p = p ∇θ log p

핵심 통찰:

상태 분포의 복잡한 θ 의존성이 사라짐
샘플링으로 기댓값 근사 가능
환경 모델 불필요

3. REINFORCE 알고리즘

3.1 정책 경사 정리의 구현

REINFORCE 업데이트 규칙:

θ ← θ + α ∇θ log πθ(At|St) Gt

구성요소:

∇θ log πθ(At|St): 정책 경사 방향
Gt: 실제 Return (성능 신호)
α: 학습률

3.2 REINFORCE 알고리즘 상세

1. 정책 πθ 초기화
2. 각 에피소드에 대해:
   a) 정책 πθ를 따라 궤적 생성: S0,A0,R1,S1,A1,R2,...,ST
   b) 각 시점 t에 대해:
      - Gt 계산: Σ_{k=t+1}^T γ^{k-t-1} R_k
      - θ 업데이트: θ ← θ + α γ^t ∇θ log πθ(At|St) Gt

3.3 REINFORCE의 직관적 이해

높은 Return을 받은 행동 강화:

Gt > 0이고 클수록: θ를 ∇θ log πθ(At|St) 방향으로 크게 업데이트
→ 해당 행동의 확률 증가

낮은 Return을 받은 행동 약화:

Gt < 0이고 작을수록: θ를 -∇θ log πθ(At|St) 방향으로 업데이트  
→ 해당 행동의 확률 감소

3.4 REINFORCE의 특징

장점:
✅ Unbiased: 정확한 정책 경사 추정
✅ Model-free: 환경 모델 불필요
✅ 연속 행동: 자연스럽게 처리
✅ 확률적 정책: 직접 학습

단점:
❌ High variance: Monte Carlo 특성상 변동성 큼
❌ Sample inefficient: 각 샘플을 한 번만 사용
❌ Slow convergence: 높은 분산으로 인한 느린 학습

3.5 분산 문제의 심각성

예시: 간단한 2-arm bandit

행동 A1: 보상 100 (확률 0.1), 보상 0 (확률 0.9)
행동 A2: 보상 1 (확률 1.0)

REINFORCE 업데이트의 분산:

A1 선택 시: 90% 확률로 -100, 10% 확률로 +100
매우 불안정한 학습 과정

4. 분산 감소 기법들

4.1 베이스라인 (Baseline)

아이디어: 절대적 Return 대신 상대적 이점 사용

θ ← θ + α ∇θ log πθ(At|St) (Gt - b(St))

베이스라인의 조건:

θ와 무관해야 함: ∇θ b(St) = 0
편향성 보존: E[∇θ log πθ(At|St) b(St)] = 0

일반적인 베이스라인:

상수 베이스라인: b = 평균 Return
상태 가치 베이스라인: b(s) = V(s)

4.2 상태 가치 베이스라인: REINFORCE with Baseline

핵심 아이디어:

Gt - V(St) ≈ Advantage = "평균보다 얼마나 좋은가"

알고리즘:

1. 정책 πθ와 가치함수 Vw 초기화
2. 각 에피소드에 대해:
   a) 궤적 생성
   b) 각 시점 t에 대해:
      - 정책 업데이트: θ ← θ + α (Gt - Vw(St)) ∇θ log πθ(At|St)
      - 가치함수 업데이트: w ← w + β (Gt - Vw(St)) ∇w Vw(St)

분산 감소 효과:

Var[Gt - V(St)] << Var[Gt]
V(St)가 정확할수록 분산 더 감소

4.3 자연 정책 경사 (Natural Policy Gradient)

문제: 일반 경사하강법은 매개변수 공간에서의 거리 사용

θ_{new} = θ + α ∇θ J(θ)

개선: 정책 공간에서의 거리 사용

θ_{new} = θ + α F^{-1} ∇θ J(θ)

F: Fisher Information Matrix

직관:

매개변수 변화량이 같아도 정책 변화는 다를 수 있음
정책 공간에서 일정한 크기로 업데이트

5. Actor-Critic 방법들

5.1 Actor-Critic의 기본 아이디어

두 개의 함수 근사:

Actor: 정책 πθ(a|s) 매개변수화
Critic: 가치함수 Vw(s) 또는 Qw(s,a) 매개변수화

상호 보완적 역할:

Actor: 정책 개선 담당
Critic: 성능 평가 담당

5.2 One-step Actor-Critic

TD Error를 이용한 즉시 업데이트:

δt = Rt+1 + γVw(St+1) - Vw(St)

업데이트 규칙:

θ ← θ + α δt ∇θ log πθ(At|St)  (Actor)
w ← w + β δt ∇w Vw(St)          (Critic)

장점:
✅ 낮은 분산: TD error가 Monte Carlo Return보다 안정적
✅ 온라인 학습: 매 스텝 업데이트 가능
✅ 빠른 학습: 즉시 피드백

단점:
❌ 편향성: Bootstrap으로 인한 bias
❌ 초기값 의존: Critic 초기화에 민감

5.3 Actor-Critic vs 기존 방법들

vs REINFORCE:

REINFORCE: 높은 분산, 낮은 편향
Actor-Critic: 낮은 분산, 높은 편향

vs Value-based 방법:

Value-based: 정책이 가치함수에 의존
Actor-Critic: 정책과 가치함수 독립적 학습

5.4 Advanced Actor-Critic: A3C, A2C

A3C (Asynchronous Advantage Actor-Critic):

여러 에이전트가 병렬로 학습
비동기적 매개변수 업데이트
n-step Return 사용

A2C (Advantage Actor-Critic):

A3C의 동기화 버전
Advantage 함수 명시적 사용: A(s,a) = Q(s,a) - V(s)

6. 연속 행동 공간에서의 정책 경사

6.1 가우시안 정책의 구현

매개변수화:

πθ(a|s) = N(μθ(s), σ²)

로그 확률 경사:

∇θ log πθ(a|s) = ∇θ μθ(s) · (a - μθ(s))/σ²

직관:

높은 Return 시: a 방향으로 μθ(s) 이동
낮은 Return 시: a 반대 방향으로 μθ(s) 이동

6.2 결정론적 정책 경사 (Deterministic Policy Gradient)

아이디어: 확률적 정책 대신 결정론적 정책 사용

πθ(s) = a  (단일 행동 출력)

정책 경사:

∇θ J(θ) = E[∇θ πθ(s) ∇a Q(s,a)|a=πθ(s)]

장점:

더 효율적인 탐색
연속 행동에서 자연스러운 표현

7. 실제 구현 고려사항

7.1 학습률 선택

정책과 가치함수의 서로 다른 학습률:

αθ (정책): 보통 작은 값 (0.0001~0.001)
αw (가치함수): 상대적으로 큰 값 (0.01~0.1)

이유:

정책 변화는 전체 성능에 큰 영향
가치함수는 상대적으로 안정적 학습 가능

7.2 탐험 vs 활용

정책 기반 방법의 자연스러운 탐험:

확률적 정책 자체가 탐험 제공
별도의 ε-greedy 불필요

탐험 제어 방법:

엔트로피 정규화: 정책의 무작위성 유지
온도 매개변수: 소프트맥스의 뾰족함 조절
노이즈 추가: 행동에 직접 노이즈 주입

7.3 수치적 안정성

로그 확률의 수치적 문제:

log πθ(a|s) → -∞ when πθ(a|s) → 0

해결 방법:

Clipping: 너무 작은 확률값 제한
정규화: 매개변수 범위 제한
적응적 학습률: 경사 크기에 따른 조절

8. 정책 기반 vs 가치 기반 방법 비교

8.1 종합적 비교표

특성Value-basedPolicy-basedActor-Critic

수렴성	강함	보통	보통
샘플 효율성	높음	낮음	보통
연속 행동	어려움	자연스러움	자연스러움
확률적 정책	어려움	자연스러움	자연스러움
구현 복잡도	보통	단순	복잡
분산	낮음	높음	보통

8.2 선택 가이드라인

Value-based 선호 상황:

이산 행동 공간
샘플 효율성이 중요
안정적 수렴 필요

Policy-based 선호 상황:

연속 행동 공간
확률적 정책 필요
부분 관측 환경

Actor-Critic 선호 상황:

두 방법의 장점 결합 필요
복잡한 연속 제어 문제
실시간 학습 환경

9. 최신 발전 방향들

9.1 Trust Region Methods

문제: 정책 업데이트가 너무 클 때 성능 급격히 저하
해결: 업데이트 크기를 제한하는 신뢰 영역 설정

TRPO (Trust Region Policy Optimization):

maximize  E[πθ_new/πθ_old · A(s,a)]
subject to KL(πθ_old, πθ_new) ≤ δ

9.2 Proximal Policy Optimization (PPO)

TRPO의 단순화 버전:

L(θ) = E[min(rt(θ)A(s,a), clip(rt(θ), 1-ε, 1+ε)A(s,a))]

rt(θ) = πθ(a|s)/πθ_old(a|s)
clip으로 업데이트 크기 제한

9.3 Soft Actor-Critic (SAC)

엔트로피 정규화된 목적함수:

J(θ) = E[Σ_t γ^t (R(st,at) + αH(πθ(·|st)))]

H(π): 정책의 엔트로피
α: 탐험-활용 균형 매개변수

10. Chapter 7 정리 및 다음 단계

10.1 정책 기반 방법이 해결한 것

✅ 연속 행동 공간: 자연스러운 매개변수화로 해결
✅ 확률적 정책: 직접적인 확률 분포 학습
✅ 직접 최적화: 가치함수 우회 없는 정책 개선
✅ 이론적 기초: 정책 경사 정리로 견고한 토대

10.2 남은 도전과제

❌ 높은 분산: 여전히 샘플 효율성 문제
❌ 수렴 보장: 함수 근사 시 안정성 이슈
❌ 탐험 문제: 효과적인 탐험 전략 필요
❌ 계산 효율성: 실시간 제어에서의 한계

10.3 현대 강화학습에서의 위치

Deep RL의 핵심 구성요소:

PPO, SAC 등 현대 알고리즘의 기초
OpenAI Five, AlphaStar 등 실제 성공 사례
로봇 제어, 자율주행 등 실용적 응용

10.4 다음 단계들

발전 방향:

Hierarchical RL: 복잡한 장기 계획 문제
Multi-agent RL: 여러 에이전트 상호작용
Meta-learning: 빠른 적응 능력
Safe RL: 안전 제약 하에서 학습

이 장에서 우리는 강화학습의 완전히 새로운 패러다임을 경험했음. 가치함수라는 중간 단계 없이 정책을 직접 최적화하는 방법을 배웠고, 이것이 왜 때로는 더 효과적인지 이해했음. 특히 연속 행동 공간이나 확률적 정책이 필요한 상황에서 정책 경사법의 진가를 확인할 수 있었음.
REINFORCE의 단순함에서 시작해서 Actor-Critic의 정교함까지, 각 방법이 가진 고유한 특성과 적용 영역을 파악했음. 높은 분산이라는 정책 경사법의 고질적 문제도 베이스라인, 자연 정책 경사, Actor-Critic 등 다양한 기법으로 해결할 수 있다는 것을 보았음.
가장 중요한 통찰은 가치 기반과 정책 기반 방법이 경쟁 관계가 아니라 상호 보완적이라는 점임. Actor-Critic 구조에서 보듯이, 두 접근법을 결합하면 각각의 장점을 살리고 단점을 보완할 수 있음. 이런 하이브리드 접근법이 현대 강화학습의 주류가 된 것도 우연이 아님.
이제 우리는 강화학습의 거의 모든 기본 도구를 갖추었음. Tabular 방법부터 함수 근사, 가치 기반부터 정책 기반까지. 하지만 이들을 어떻게 실제 복잡한 문제에 적용할까? 어떤 상황에서 어떤 방법을 선택해야 할까? 계산 효율성과 샘플 효율성은 어떻게 개선할까?
앞으로의 여정에서는 이런 실용적 고려사항들과 최신 발전 방향들을 다루게 될 것임. Deep Deterministic Policy Gradient(DDPG), Proximal Policy Optimization(PPO), Soft Actor-Critic(SAC) 같은 현대적 알고리즘들이 어떻게 여기서 배운 기본 원리들을 발전시켰는지 보게 될 것임.
정책 공간에서의 직접 최적화라는 새로운 관점을 얻었음. 이제 정말로 현실 세계의 복잡한 제어 문제들에 도전할 준비가 완료되었음.

[2025 강화학습 Recap] Chapter 6. Value Function Approximation

땽뚕 — Sun, 10 Aug 2025 10:52:01 +0900

[2025 강화학습 Recap] Chapter 6. Value Function Approximation

지금까지의 여정을 돌아보면, 우리는 강화학습의 완벽한 이론적 토대를 구축했음. MDP로 문제를 정의하고, Dynamic Programming으로 이상적 해법을 찾고, Model-free 방법으로 현실적 학습을 구현했음. 하지만 모든 것이 하나의 큰 가정 위에 세워져 있었음. 바로 상태와 행동의 개수가 충분히 작아서 테이블로 관리할 수 있다는 것.

현실은 그렇지 않음. 자율주행차가 마주하는 상황의 수는? 바둑판의 가능한 배치는? 로봇이 취할 수 있는 연속적인 행동은? 이런 문제들 앞에서 테이블 기반 방법은 무력해짐. 메모리도 부족하고, 학습 시간도 천문학적으로 늘어남.

하지만 인간은 어떻게 복잡한 상황을 처리할까? 우리는 모든 경우를 외우지 않고 패턴을 인식하고 일반화함. "비슷한 상황에서는 비슷한 가치를 가질 것"이라고 추론함. 이것이 바로 함수 근사(Function Approximation)의 핵심 아이디어임.

이 장에서는 가치함수를 테이블이 아닌 매개변수화된 함수로 표현하는 방법을 다룸. 선형 함수부터 시작해서 신경망까지, 어떻게 무한한 상태 공간을 유한한 매개변수로 압축할 수 있는지 알아볼 예정임. 하지만 이 과정에서 새로운 도전들이 등장함. 수렴성은 보장될까? 안정성은? 어떤 특성을 근사해야 할까?

지금까지 배운 모든 알고리즘들이 함수 근사와 만나면서 진짜 실용적인 도구로 거듭나는 순간을 함께 경험해보자.

1. Chapter 5에서 Chapter 6으로: Tabular에서 실제 세계로

1.1 지금까지 달성한 것

Tabular Methods의 성공: ✅ Model-Free Prediction: MC, TD로 가치 추정 ✅ Model-Free Control: SARSA, Q-Learning으로 최적 정책 학습 ✅ 이론적 완성도: 작은 문제에서는 완벽한 해법

1.2 현실의 벽: Curse of Dimensionality

Tabular Methods의 전제 조건:

상태와 행동을 테이블로 저장 가능
각 상태-행동 쌍을 개별적으로 학습
유한하고 작은 상태/행동 공간

현실 세계의 문제들:

바둑: 상태 수 ≈ 10^170 (우주 원자 수보다 많음)
로봇 제어: 관절 각도, 속도 등 연속 변수들
자율주행: 센서 데이터, 위치, 속도 등 고차원 상태
게임 AI: 픽셀 단위 화면 정보 (Atari: 210×160×3)

1.3 Tabular Methods의 한계

메모리 문제

상태 수: 10^6개
행동 수: 10개
→ Q-table 크기: 10^7개 엔트리
→ 메모리: 수십 MB (아직 괜찮음)

상태 수: 10^10개 (현실적)
→ Q-table 크기: 10^11개 엔트리  
→ 메모리: 수 TB (불가능!)

학습 시간 문제

각 상태-행동 쌍을 개별 학습
방문하지 않은 상태는 영원히 학습 안 됨
비슷한 상태들 간 지식 공유 불가

일반화 능력 부재

새로운 상태에서 완전히 무력함
유사한 상태에서의 경험을 활용하지 못함

1.4 해결책: Function Approximation

핵심 아이디어: "테이블 대신 함수로 가치를 표현하자!"

Before (Tabular):

V(s1) = 3.2
V(s2) = 2.8  
V(s3) = 4.1
...
V(s백만) = ?

After (Function Approximation):

V(s) ≈ V̂(s, w) = w₁×특징₁(s) + w₂×특징₂(s) + ...
하나의 함수로 모든 상태의 가치 표현

2. Function Approximation의 기본 개념

2.1 핵심 아이디어

매개변수화된 함수:

V̂(s, w) ≈ V(s)
Q̂(s, a, w) ≈ Q(s, a)

핵심 구성요소:

특징 벡터: φ(s) (상태의 특징 표현)
매개변수: w (학습 가능한 가중치)
함수 형태: 선형, 신경망 등

2.2 특징 표현 (Feature Representation)

상태를 벡터로 변환:

상태 s → 특징벡터 φ(s) = [φ₁(s), φ₂(s), ..., φₙ(s)]ᵀ

예시: GridWorld:

위치 (3,4) → φ(s) = [3, 4, 거리_목표, 벽_근처, ...]ᵀ

예시: 자율주행:

센서 데이터 → φ(s) = [속도, 앞차_거리, 차선_위치, ...]ᵀ

2.3 Function Approximation의 장점

1. 메모리 효율성:

상태 10^10개 → 매개변수 10^3개
테이블: 10^10 메모리 → 함수: 10^3 메모리

2. 일반화 능력:

비슷한 상태들이 비슷한 가치를 가짐
새로운 상태에서도 합리적인 추정 가능

3. 온라인 학습:

매개변수만 업데이트하면 됨
실시간 학습 가능

3. 선형 함수 근사 (Linear Function Approximation)

3.1 선형 함수의 형태

State Value Function:

V̂(s, w) = φ(s)ᵀw = Σᵢ φᵢ(s)wᵢ

Action Value Function:

Q̂(s, a, w) = φ(s, a)ᵀw = Σᵢ φᵢ(s, a)wᵢ

특징:

매개변수 w에 대해 선형
특징 φ(s)에 대해서는 비선형 가능
간단하고 이론적 성질이 좋음

3.2 선형 함수 근사의 예시

다항식 기저 (Polynomial Basis)

상태 s = [x, y] (2차원 위치)
φ(s) = [1, x, y, x², y², xy]ᵀ
V̂(s, w) = w₀ + w₁x + w₂y + w₃x² + w₄y² + w₅xy

RBF (Radial Basis Functions)

φᵢ(s) = exp(-||s - cᵢ||²/2σ²)  (가우시안 기저)
V̂(s, w) = Σᵢ wᵢ φᵢ(s)

타일 코딩 (Tile Coding)

상태 공간을 여러 타일로 분할
각 타일 내에서는 상수 값
φᵢ(s) = 1 if s가 타일 i 안에 있음, 0 otherwise

3.3 선형 함수의 장점과 한계

장점: ✅ 계산 효율적 ✅ 수렴 보장 (조건 하에) ✅ 이론적 분석 용이 ✅ 해석 가능

한계: ❌ 표현력 제한 (복잡한 함수 근사 어려움) ❌ 특징 설계에 크게 의존 ❌ 비선형 패턴 포착 한계

4. 매개변수 학습: Gradient Descent

4.1 목적 함수 정의

이상적인 목적 함수 (지도 학습에서):

J(w) = E[(V(s) - V̂(s, w))²]
       ↑ 참값 (하지만 모름!)

강화학습에서의 문제: 참값 V(s)를 모름!

4.2 Gradient Descent의 기본 원리

목적: J(w)를 최소화하는 w 찾기

업데이트 규칙:

w ← w - α ∇J(w)

선형 함수에서:

∇w V̂(s, w) = φ(s)

4.3 Stochastic vs Batch Gradient Descent

Stochastic Gradient Descent (SGD)

w ← w - α ∇w [목적함수의 샘플 추정]

장점: 온라인 학습, 빠른 업데이트 단점: 노이지한 업데이트

Batch Gradient Descent

w ← w - α (1/n) Σᵢ ∇w [각 샘플의 목적함수]

장점: 안정적 업데이트 단점: 메모리 요구량 크고 느림

강화학습에서는 SGD 주로 사용 (온라인 특성상)

5. Value Function Approximation

5.1 문제 정의

목표: 정책 π에 대해 V^π(s) ≈ V̂(s, w) 학습

핵심 도전: 참값 V^π(s) 모름 → Target 필요!

5.2 Target 선택에 따른 방법들

Monte Carlo Function Approximation

Target: 실제 Return Gt

목적함수: J(w) = E[(Gt - V̂(s, w))²]
업데이트: w ← w + α[Gt - V̂(St, w)]φ(St)

특징:

Unbiased target (Gt는 실제 값)
High variance
에피소드 완료 후 업데이트

TD Function Approximation

Target: TD Target (R_{t+1} + γV̂(S_{t+1}, w))

목적함수: J(w) = E[(R_{t+1} + γV̂(S_{t+1}, w) - V̂(St, w))²]
업데이트: w ← w + α[R_{t+1} + γV̂(S_{t+1}, w) - V̂(St, w)]φ(St)

특징:

Biased target (추정값 사용)
Low variance
매 스텝 업데이트 가능

5.3 수렴성 분석

Linear Function Approximation

Monte Carlo: 항상 global optimum으로 수렴 TD(0): local optimum으로 수렴 (하지만 좋은 해)

Non-linear Function Approximation

문제점: 수렴 보장 없음, 발산 가능 해결책: 경험 재생, 타겟 네트워크 등

6. Action Value Function Approximation

6.1 왜 Action Value Function인가?

Control 문제를 위해서:

정책 개선: π'(s) = argmax_a Q̂(s, a, w)

Model-Free 특성: 환경 모델 없이도 정책 개선 가능

6.2 Action Value의 특징 표현

방법 1: State-Action 특징

φ(s, a) = [φ₁(s,a), φ₂(s,a), ..., φₙ(s,a)]ᵀ
Q̂(s, a, w) = φ(s, a)ᵀw

방법 2: 행동별 분리 특징

φ(s) = [φ₁(s), φ₂(s), ..., φₙ(s)]ᵀ
Q̂(s, a, w) = φ(s)ᵀwa  (행동 a마다 다른 가중치)

6.3 Control 알고리즘들의 Function Approximation

Monte Carlo Control with Function Approximation

목적함수: J(w) = E[(Gt - Q̂(s, a, w))²]
업데이트: w ← w + α[Gt - Q̂(St, At, w)]∇w Q̂(St, At, w)

SARSA with Function Approximation

Target: R_{t+1} + γQ̂(S_{t+1}, A_{t+1}, w)
업데이트: w ← w + α[R_{t+1} + γQ̂(S_{t+1}, A_{t+1}, w) - Q̂(St, At, w)]∇w Q̂(St, At, w)

Q-Learning with Function Approximation

Target: R_{t+1} + γ max_a Q̂(S_{t+1}, a, w)
업데이트: w ← w + α[R_{t+1} + γ max_a Q̂(S_{t+1}, a, w) - Q̂(St, At, w)]∇w Q̂(St, At, w)

6.4 각 방법의 특성 비교

방법TargetBiasVariance수렴성MCGt없음높음보장SARSAR+γQ̂(s',a')있음낮음조건부Q-LearningR+γmax Q̂(s',a)있음낮음어려움

7. 실제 구현 고려사항

7.1 특징 설계 (Feature Engineering)

좋은 특징의 조건:

관련성: 가치와 밀접한 관련
차별성: 다른 상태들을 구분 가능
일반화: 유사한 상태들에 일관된 표현
효율성: 계산 비용 고려

특징 설계 방법들:

도메인 지식 활용: 전문가가 직접 설계
자동 특징 추출: 원시 데이터에서 자동 생성
표현 학습: 특징과 가치를 동시에 학습

7.2 학습률 설정

적응적 학습률:

α_t = α_0 / (1 + t)  또는  α_t = α_0 / √t

조건:

Σ α_t = ∞ (충분한 학습)
Σ α_t² < ∞ (수렴 보장)

7.3 안정성 개선 기법

Experience Replay

과거 경험을 버퍼에 저장
랜덤 샘플링으로 배치 학습
데이터 효율성과 안정성 개선

Target Network

별도의 타겟 네트워크 유지
주기적으로 메인 네트워크 복사
Q-Learning의 발산 문제 완화

8. 함수 근사의 한계와 도전

8.1 근사 오차 (Approximation Error)

불가피한 오차: 유한한 매개변수로 복잡한 함수 근사의 한계

Deadly Triad:

Function Approximation: 근사 오차
Bootstrapping: 추정값으로 추정값 업데이트
Off-policy: 행동 정책과 학습 정책 불일치

→ 이 세 요소가 결합되면 발산 위험 급증

8.2 차원의 저주 (Curse of Dimensionality)

문제: 특징 차원이 증가하면 필요한 데이터 기하급수적 증가

해결 방향:

차원 축소: PCA, autoencoder 등
정규화: L1, L2 regularization
특징 선택: 중요한 특징만 선별

8.3 탐험과 함수 근사

문제: 함수 근사 시 탐험 전략 복잡해짐

UCB의 확장: 불확실성 추정이 어려움 해결책:

Bayesian 접근법
Ensemble 방법
Dropout을 이용한 불확실성 추정

9. Chapter 6 정리 및 다음 단계

9.1 Function Approximation이 해결한 것

✅ 확장성: 큰 상태 공간 처리 가능 ✅ 일반화: 새로운 상태에서도 합리적 성능 ✅ 메모리 효율: 고정된 크기의 매개변수 ✅ 실용성: 현실 문제에 적용 가능

9.2 선형 함수 근사의 성과와 한계

성과:

이론적 보장 (수렴성)
계산 효율성
해석 가능성

한계:

표현력 제한
특징 설계에 의존
복잡한 패턴 학습 어려움

9.3 남은 도전과제

❌ 표현력: 더 복잡한 함수 근사 필요 ❌ 특징 학습: 자동 특징 추출 ❌ 안정성: 비선형 함수 근사의 수렴 보장 ❌ 샘플 효율성: 더 적은 데이터로 학습

9.4 다음 단계: Deep Reinforcement Learning

해결하고 싶은 문제들:

"더 복잡한 함수는?" → 신경망 (Deep RL)
"특징을 자동으로 학습하려면?" → End-to-end 학습
"이미지/텍스트 처리는?" → CNN, RNN 등

핵심 연결점:

Function Approximation → Neural Network
Q-Learning + Function Approximation → DQN
Policy Gradient + Function Approximation → Actor-Critic

9.5 현대 AI와의 연결고리

이 Chapter가 특히 중요한 이유:

LLM의 RLHF: 함수 근사로 가치/정책 학습
ChatGPT: Q-function을 신경망으로 근사
AlphaGo: 가치 네트워크와 정책 네트워크

9.6 핵심 메시지

Function Approximation은 실용적 강화학습의 시작:

Tabular 방법의 한계 극복
현실 문제 적용 가능성 제공
현대 Deep RL의 이론적 기초

"이제 강화학습이 진짜 실세계 문제를 풀 준비가 되었다!"

함수 근사는 강화학습을 장난감 문제에서 실제 응용으로 끌어올린 핵심 기술이며, 현재 우리가 사용하는 모든 Deep RL 알고리즘의 이론적 토대임.

이 장에서 우리는 강화학습의 확장성 문제를 해결하는 핵심 도구를 손에 넣었음. 함수 근사를 통해 무한한 상태 공간도 유한한 매개변수로 다룰 수 있게 되었고, 일반화 능력을 통해 미경험 상황에서도 합리적인 판단을 할 수 있게 되었음.

선형 함수 근사에서 시작해서 신경망까지, 각각의 방법이 가진 장단점을 이해했음. 특히 안정성과 수렴성이라는 새로운 도전 과제들을 만났지만, 이를 해결하는 다양한 기법들도 배웠음. Gradient TD, Experience Replay, Target Networks 등은 모두 함수 근사의 불안정성을 극복하려는 노력의 결과임.

하지만 여전히 한 가지 아쉬운 점이 있음. 지금까지는 가치함수만 근사했지만, 정책 자체를 직접 근사하는 방법도 있음. 특히 연속 행동 공간에서는 정책을 직접 매개변수화하는 것이 더 자연스러울 수 있음. 또한 가치 기반 방법과 정책 기반 방법을 결합한 Actor-Critic 구조도 강력한 도구임.

다음 장에서는 이런 정책 기반 방법들을 살펴볼 예정임. Policy Gradient부터 시작해서 REINFORCE, Actor-Critic까지, 가치함수 없이도 직접 최적 정책을 학습하는 방법들을 알아보자. 함수 근사와 정책 기반 방법이 만나면, 연속 제어 같은 더 복잡한 문제들도 해결할 수 있게 됨.

테이블에서 함수로, 가치에서 정책으로. 강화학습의 지평이 계속 넓어지고 있음. 이제 정말로 현실 세계의 복잡한 문제들에 도전할 준비가 되었음.

[2025 강화학습 Recap] Chapter 5. Model-Free Control

땽뚕 — Sun, 10 Aug 2025 10:51:28 +0900

[2025 강화학습 Recap] Chapter 5. Model-Free Control

Chapter 4에서 주어진 정책의 가치를 추정하는 방법을 배웠지만, 여전히 핵심 질문이 남아있음. "이제 가치를 구할 수 있으니, 어떻게 더 나은 정책을 찾을까?"

지금까지는 "이 정책을 따르면 얼마나 좋을까?"라는 평가 문제만 해결했음. 하지만 강화학습의 진짜 목표는 "어떤 정책이 가장 좋을까?"를 찾는 것임. 환경의 모델도 모르는 상황에서 어떻게 최적 정책을 학습할 수 있을까?

답은 Chapter 3에서 배운 Generalized Policy Iteration 구조에 있음. 평가(Evaluation)와 개선(Improvement)을 반복하되, 이제 모든 것을 실제 경험으로 대체하는 것임. 하지만 여기에는 새로운 도전이 기다리고 있음. 모델 없이 어떻게 정책을 개선할까? 탐험과 활용의 딜레마는 어떻게 해결할까?

이 장에서는 Monte Carlo부터 시작해서 SARSA, Q-Learning까지 차례로 살펴보며 Model-free Control의 완전한 그림을 그려볼 예정임. 특히 On-policy와 Off-policy라는 두 가지 근본적으로 다른 접근법의 차이점과 각각의 장단점을 명확히 이해하게 될 것임.

드디어 환경과 직접 상호작용하면서 스스로 최적 정책을 찾아가는 진짜 강화학습의 세계로 들어가보자.

1. Chapter 4에서 Chapter 5로: Prediction에서 Control로

1.1 Chapter 4에서 달성한 것

Model-Free Prediction 문제 해결: ✅ 환경 모델 없이도 정책의 가치 추정 가능 ✅ Monte Carlo: 전체 에피소드로 실제 Return 사용 ✅ Temporal Difference: 한 스텝 + 추정값으로 즉시 업데이트

1.2 남은 문제: Control

현재 상황: "주어진 정책의 가치는 구할 수 있다" 다음 단계: "어떻게 더 나은 정책을 찾을까?"

Control 문제의 핵심:

Prediction: vπ(s) 또는 qπ(s,a) 구하기 ✅
Control: 최적 정책 π* 찾기 ❓

1.3 Chatper 3. DP에서 배운 GPI (Generalized Policy Iteration)

기본 아이디어: Evaluation ↔ Improvement 반복

π0 → E → π1 → E → π2 → E → ... → π*

Model-Free에서의 도전:

Evaluation: MC/TD로 해결 가능 ✅
Improvement: 모델 없이 어떻게? ❓

2. Model-Free Control의 기본 원리와 접근법들

2.1 Control 문제 정의

목표: 환경 모델 없이 최적 정책 π* 찾기

주어진 것: 환경과의 상호작용만 가능 찾아야 할 것: 최적 정책 π*(s) = argmax_a Q*(s,a)

2.2 왜 Model-Free Control이 어려운가?

DP에서 Policy Improvement:

π'(s) = argmax_a Σ P(s'|s,a)[R(s,a) + γv(s')]
                  ↑ 모델 필요!

Model-Free에서는:

P(s'|s,a): 전이확률 모름
R(s,a): 보상함수 모름
직접 경험만 사용 가능

→ 어떻게 정책을 개선할 것인가?

2.3 두 가지 가능한 접근법

Chapter 4에서 배운 두 방법을 Control에 적용:

접근법 1: Monte Carlo 기반

장점: 개념적으로 단순, 정확한 추정
단점: 에피소드 완료까지 대기 필요
적용: Monte Carlo Control

접근법 2: Temporal Difference 기반

장점: 실시간 학습, 빠른 업데이트
단점: 추정값 사용으로 편향 가능
적용: SARSA, Q-Learning

2.4 왜 Monte Carlo부터 시작하는가?

교육적 순서:

개념적 단순함: MC는 실제 Return을 사용해서 이해하기 쉬움
DP와의 연결: Policy Iteration 구조를 그대로 활용
점진적 발전: MC의 한계를 통해 TD 방법의 필요성 부각

실제 발전 과정:

DP Policy Iteration → MC Policy Iteration → MC Control → SARSA → Q-Learning

3. Monte Carlo Control

3.1 DP Policy Iteration에서 MC Policy Iteration으로

DP Policy Iteration 구조 (복습): (Chapter 3에서 배웠던 Model-Based Control 해결 방법)

1. Policy Evaluation: 벨만 방정식으로 vπ(s) 계산
2. Policy Improvement: π'(s) = argmax_a Σ P(s'|s,a)[R(s,a) + γvπ(s')]
3. 수렴할 때까지 반복

MC Policy Iteration 아이디어: "DP와 같은 구조를 사용하되, 벨만 방정식 대신 MC로 가치 추정하자!"

1. Policy Evaluation: MC로 qπ(s,a) 추정 ← 모델 불필요!
2. Policy Improvement: π'(s) = argmax_a qπ(s,a) ← 모델 불필요!
3. 수렴할 때까지 반복

핵심 통찰: Action-Value Function Q(s,a)를 사용하면 모델 없이도 정책 개선 가능!

3.2 MC Control이 사용하는 벨만 방정식

중요한 구분: MC Control은 어떤 벨만 방정식을 사용하는가?

Bellman Expectation Equation 사용:

qπ(s,a) = E[R + γ Σ π(a'|s') qπ(s',a')]
          ↑ 현재 정책 π에 대한 가치

왜 Bellman Optimality가 아닌가?

MC Control은 Policy Iteration 구조를 따름
현재 정책의 가치를 정확히 추정한 후 개선
Bellman Optimality는 나중에 Q-Learning에서 사용

3.3 Monte Carlo Policy Iteration의 3가지 문제점

문제 1: Value Function 선택

State Value vs Action Value:

State Value Function 사용 시 문제:

π'(s) = argmax_a Σ P(s'|s,a)[R(s,a) + γv(s')]
                  ↑ 모델 필요!

해결책: Action Value Function 사용:

π'(s) = argmax_a q(s,a)  ← 모델 불필요!

Action Value의 장점:

모델 없이도 정책 개선 가능
행동 간 직접 비교 가능
Model-Free Control의 핵심

문제 2: Exploration 부족

Pure Greedy Policy의 문제:

π(s) = argmax_a Q(s,a)  ← 항상 최선만 선택

문제점:

탐험 부족으로 local optimum에 빠질 위험
미경험 상태-행동 쌍을 학습하지 못함
초기 추정이 잘못되면 개선 어려움

해결책: ε-Greedy Policy:

π(a|s) = {
  1-ε+ε/|A|  if a = argmax Q(s,a)  (탐욕적 행동)
  ε/|A|      otherwise              (탐험적 행동)
}

ε-Greedy의 특징:

ε 확률로 랜덤 행동 (exploration)
1-ε 확률로 최선 행동 (exploitation)
모든 행동에 양수 확률 보장

문제 3: Policy Evaluation의 비효율성

완전한 Policy Evaluation 문제:

수렴할 때까지 기다리면 너무 오래 걸림
실제로는 완전한 수렴 불필요

해결책: 제한된 Evaluation:

한 에피소드만 실행하고 바로 개선
Value Iteration과 유사한 아이디어

3.3 Monte Carlo Control 알고리즘

최종 알고리즘:

1. 임의의 ε-greedy 정책으로 초기화
2. 반복:
   a) 현재 정책으로 에피소드 실행
   b) 모든 (s,a) 쌍에 대해 Q(s,a) 업데이트
   c) 각 상태에서 ε-greedy로 정책 개선

3.4 GLIE (Greedy in the Limit with Infinite Exploration)

정의: 무한한 탐험 후 탐욕적 정책으로 수렴

GLIE 조건:

모든 상태-행동 쌍이 무한히 탐험됨
정책이 탐욕적 정책으로 수렴

ε-Greedy with Decaying ε:

ε_t = 1/t  (또는 다른 감소 함수)

왜 GLIE가 중요한가?:

초기에는 충분한 탐험 보장
나중에는 최적 정책으로 수렴
이론적 수렴 보장의 기반

4. Temporal Difference Control: SARSA

4.1 SARSA의 등장 배경

Monte Carlo Control의 한계:

에피소드가 끝날 때까지 기다려야 함
긴 에피소드나 연속 태스크에 부적합

SARSA의 아이디어: "TD(0)를 Action Value Function에 적용하면?"

4.2 SARSA가 사용하는 벨만 방정식

Bellman Expectation Equation의 TD 버전:

qπ(s,a) = E[R + γqπ(s',a')] where a' ~ π(·|s')

SARSA 업데이트:

Q(St,At) ← Q(St,At) + α[Rt+1 + γQ(St+1,At+1) - Q(St,At)]
                                     ↑ 실제 정책이 선택한 행동

핵심: 현재 정책이 실제로 선택할 다음 행동 At+1을 사용 이름의 유래: State-Action-Reward-State-Action

업데이트 규칙:

Q(St,At) ← Q(St,At) + α[Rt+1 + γQ(St+1,At+1) - Q(St,At)]

구성요소:

TD Target: Rt+1 + γQ(St+1,At+1)
TD Error: Rt+1 + γQ(St+1,At+1) - Q(St,At)

4.3 SARSA의 특징

On-Policy 학습:

학습하는 정책 = 행동하는 정책
실제 따르는 정책의 가치를 학습

알고리즘 구조:

1. 상태 S에서 정책에 따라 행동 A 선택
2. 행동 A 실행, 보상 R과 다음 상태 S' 관찰  
3. S'에서 정책에 따라 다음 행동 A' 선택
4. Q(S,A) 업데이트: Q(S,A) ← Q(S,A) + α[R + γQ(S',A') - Q(S,A)]
5. S ← S', A ← A'로 이동

4.4 SARSA vs Monte Carlo

특성Monte CarloSARSA학습 속도에피소드 후매 스텝적용 범위Episodic만모든 태스크Bias/VarianceUnbiased/High VarBiased/Low Var수렴성보장조건부

5. Off-Policy Learning

5.1 On-Policy vs Off-Policy

On-Policy Learning

정의: 학습하는 정책 = 행동하는 정책 예시: SARSA 특징:

실제 따르는 정책의 성능 학습
안전하고 안정적
탐험과 활용의 딜레마

Off-Policy Learning

정의: 학습하는 정책 ≠ 행동하는 정책 예시: Q-Learning 특징:

한 정책으로 행동하며 다른 정책 학습
과거 경험 재활용 가능
더 효율적인 학습 가능

5.2 Off-Policy의 장점

1. 탐험과 학습 분리:

Behavior Policy: 탐험 중심 (ε-greedy)
Target Policy: 최적화 중심 (greedy)

2. 데이터 재활용:

다른 에이전트의 경험 활용
과거 정책의 데이터 재사용

3. 안전한 학습:

보수적으로 행동하며 공격적으로 학습

5.3 Importance Sampling

핵심 아이디어: 한 분포의 샘플로 다른 분포의 기댓값 추정

수학적 원리:

E_p[X] = E_q[X · p(X)/q(X)]

강화학습 적용:

E_π[Return] = E_μ[Return · π(trajectory)/μ(trajectory)]

5.4 Off-Policy Monte Carlo

기본 아이디어:

Behavior Policy μ로 데이터 수집
Target Policy π에 대한 가치 학습

Importance Sampling Ratio:

ρ = ∏(π(At|St)/μ(At|St))  (전체 궤적에 대해)

업데이트:

V(s) ← V(s) + α[ρ·Gt - V(s)]

문제점:

μ(a|s) = 0이면 사용 불가
High variance (여러 확률의 곱)

5.5 Off-Policy TD Learning

개선점: 한 스텝만 Importance Sampling

ρ = π(At|St)/μ(At|St)  (한 스텝만)

업데이트:

V(s) ← V(s) + αρ[Rt+1 + γV(St+1) - V(St)]

여전한 문제: Importance Sampling으로 인한 variance

6. Q-Learning: Off-Policy TD Control

6.1 Q-Learning의 핵심 아이디어

문제 해결: "Importance Sampling 없이 Off-Policy 가능한가?"

해답: Action Value Function + 다른 정책으로 다음 행동 선택

6.2 Q-Learning이 사용하는 벨만 방정식

Bellman Optimality Equation의 TD 버전:

q*(s,a) = E[R + γ max_a' q*(s',a')]
                 ↑ 최적 행동 선택

Q-Learning 업데이트:

Q(St,At) ← Q(St,At) + α[Rt+1 + γ max_a Q(St+1,a) - Q(St,At)]
                                     ↑ 최선 행동의 가치

핵심 차이점:

SARSA (Bellman Expectation): 실제 선택한 행동 사용
Q-Learning (Bellman Optimality): 최선 행동 사용

6.3 이것이 Off-Policy인 이유

Two Different Policies:

Behavior Policy (행동 선택): ε-greedy로 실제 행동
Target Policy (가치 학습): greedy로 최적 가치 학습

수식으로 보는 차이:

행동 선택: At ~ ε-greedy(Q(St,·))     ← Behavior Policy
가치 업데이트: max_a Q(St+1,a)        ← Target Policy (greedy)

업데이트 규칙:

Q(St,At) ← Q(St,At) + α[Rt+1 + γ max_a Q(St+1,a) - Q(St,At)]

핵심 차이점:

SARSA: Rt+1 + γQ(St+1,At+1) ← 실제 선택한 행동
Q-Learning: Rt+1 + γ max_a Q(St+1,a) ← 최선 행동

6.3 Q-Learning의 구조

Two-Policy 구조:

Behavior Policy: ε-greedy w.r.t. Q(s,a) (탐험용)
Target Policy: greedy w.r.t. Q(s,a) (학습용)

알고리즘 흐름:

1. 상태 S에서 ε-greedy로 행동 A 선택 (behavior policy)
2. 행동 A 실행, 보상 R과 다음 상태 S' 관찰
3. Q(S,A) 업데이트: Q(S,A) ← Q(S,A) + α[R + γ max_a Q(S',a) - Q(S,A)]
   (target policy로 다음 행동 가치 계산)
4. S ← S'로 이동

6.4 Chapter 2의 구분과 실제 Model-Free의 차이

Chapter 2에서 배운 명확한 구분:

Prediction 문제 → Bellman Expectation Equation
Control 문제 → Bellman Optimality Equation

하지만 Model-Free에서는 더 복잡함:

Control 문제를 푸는 두 가지 방식

방식 1: Policy Iteration 스타일 (MC Control, SARSA)

1. Bellman Expectation으로 현재 정책 평가 (Prediction)
2. 정책 개선 (Policy Improvement)  
3. 반복 → 결과적으로 Control 해결

방식 2: Value Iteration 스타일 (Q-Learning)

Bellman Optimality로 최적 가치 직접 학습 → Control 해결

왜 이런 차이가 생기는가?

이론 (Chapter 2):

명확한 구분 가능 (완벽한 모델 있음)
Control = Bellman Optimality 직접 적용

실제 (Model-Free):

환경과 상호작용하며 점진적 학습
안전한 방법: 현재 정책 평가 후 개선 (MC, SARSA)
직접적 방법: 최적 가치 바로 추정 (Q-Learning)

핵심 통찰

Control 문제 = 두 가지 해법:

간접적: Prediction(평가) + Improvement(개선) 반복
직접적: Bellman Optimality로 최적 가치 직접 학습

Model-Free에서는 둘 다 유용함:

MC/SARSA: 안정적이지만 느림
Q-Learning: 빠르지만 복잡함

6.5 벨만 방정식 관점에서 보는 전체 그림

방법사용하는 벨만 방정식Control 해결 방식정책 타입MC ControlBellman Expectation평가 + 개선 반복On-PolicySARSABellman Expectation평가 + 개선 반복On-PolicyQ-LearningBellman Optimality최적 가치 직접 학습Off-Policy

Chapter 2 vs Model-Free 비교:

Chapter 2: Control = Bellman Optimality (이론적)
Model-Free: Control = 두 가지 방식 (실용적)
- 간접적: Bellman Expectation + Policy Improvement
- 직접적: Bellman Optimality

6.5 Q-Learning의 장점

1. Importance Sampling 불필요:

확률비 계산 없음
Variance 문제 해결

2. 최적 정책 직접 학습:

Target policy가 항상 greedy
수렴 시 최적 Q* 함수 획득

3. 데이터 효율성:

모든 경험을 최적 정책 학습에 활용
Off-policy의 모든 장점 보유

6.5 SARSA vs Q-Learning: Cliff Walking 예제

환경 설정: 절벽이 있는 격자 세계

SARSA (On-Policy):

실제 ε-greedy 정책의 가치 학습
절벽 근처에서 조심스러운 경로 학습
안전한 길로 우회

Q-Learning (Off-Policy):

최적 greedy 정책의 가치 학습
절벽 바로 옆의 최단 경로 학습
위험하지만 최적인 경로

실제 성능:

SARSA: 안전하지만 느린 경로
Q-Learning: 위험하지만 빠른 경로

7. n-step Methods와 Eligibility Traces

7.1 TD와 MC의 중간 지점

문제 인식:

TD(0): 빠르지만 높은 bias
MC: 정확하지만 높은 variance

해결 아이디어: "n-step만큼 실제 경험 후 추정"

7.2 n-step TD Prediction

n-step Return:

G(n)t = Rt+1 + γRt+2 + ... + γ^(n-1)Rt+n + γ^n V(St+n)

업데이트:

V(St) ← V(St) + α[G(n)t - V(St)]

특성:

n=1: TD(0)
n=∞: Monte Carlo
n 증가 시: bias 감소, variance 증가

7.3 λ-Return: Forward View

문제: "어떤 n이 최적인가?"

해결책: 모든 n-step return의 가중평균

G^λ_t = (1-λ) Σ λ^(n-1) G(n)t

특성:

λ=0: TD(0)
λ=1: Monte Carlo
Geometric weighting으로 모든 n 조합

7.4 n-step SARSA

n-step Action Value:

G(n)t = Rt+1 + γRt+2 + ... + γ^(n-1)Rt+n + γ^n Q(St+n,At+n)

SARSA(λ):

G^λ_t = (1-λ) Σ λ^(n-1) G(n)t

8. 실제 구현 고려사항

8.1 학습률 설정

SARSA:

수렴 조건: Σα=∞, Σα²<∞
실제: α=0.01~0.1 고정

Q-Learning:

더 안정적인 수렴
상대적으로 큰 학습률 사용 가능

8.2 탐험 전략

ε-Greedy 변형들:

Decaying ε: ε_t = ε_0/t
Boltzmann: 확률적 선택 with temperature
UCB: 불확실성 기반 탐험

8.3 함수 근사

큰 상태 공간 문제:

Q-table → Q-function 근사
선형 함수, 신경망 등 활용
Deep Q-Learning의 기초

9. Chapter 5 정리 및 다음 단계

9.1 Model-Free Control이 해결한 것

✅ 환경 모델 없이 최적 정책 학습: Action Value Function 활용 ✅ 탐험과 활용 균형: ε-greedy, GLIE 등 ✅ 온라인 학습: SARSA로 실시간 개선 ✅ 데이터 효율성: Q-Learning으로 off-policy 학습

9.2 주요 알고리즘 비교

알고리즘정책학습 방식특징MC ControlOn-Policy에피소드 단위안정적, 느림SARSAOn-Policy매 스텝실제 정책 학습Q-LearningOff-Policy매 스텝최적 정책 학습

9.3 남은 도전과제

❌ 함수 근사: 큰 상태 공간 처리 방법 ❌ 수렴 보장: 함수 근사 시 안정성 ❌ 샘플 효율성: 더 적은 경험으로 빠른 학습 ❌ 연속 행동 공간: 무한한 행동 처리

9.4 다음 단계: Function Approximation (Chapter 6)

해결하고 싶은 문제들:

"상태가 백만 개면 어떻게 하지?" → 함수 근사
"연속 상태/행동 공간은?" → 매개변수화된 정책
"딥러닝과 결합하면?" → Deep Reinforcement Learning

9.5 핵심 메시지

Model-Free Control은 실용적 강화학습의 핵심:

환경 모델 없이도 최적 정책 학습 가능
Action Value Function이 핵심 도구
On-Policy vs Off-Policy의 trade-off 이해
탐험과 활용의 균형이 성공의 열쇠

"이제 tabular 방법은 완성했다. 실제 복잡한 문제를 위해 함수 근사로 확장해보자!"

이 장에서 우리는 강화학습의 가장 중요한 단계를 완료했음. 환경의 모델을 전혀 모르는 상황에서도 실제 경험만으로 최적 정책을 학습할 수 있다는 것을 보여줬음. Monte Carlo Control의 직관적 접근법부터 SARSA의 안정적인 온라인 학습, Q-Learning의 효율적인 오프폴리시 학습까지, 각각이 서로 다른 상황에서 빛을 발하는 도구들임.

특히 Action-Value Function Q(s,a)가 Model-free Control의 핵심이라는 점을 기억해야 함. 이것이 있어야 모델 없이도 정책을 개선할 수 있고, 탐험과 활용의 균형을 맞출 수 있음. SARSA와 Q-Learning의 차이도 명확함. 안전하고 실제적인 성능을 원하면 SARSA를, 최적성과 데이터 효율성을 원하면 Q-Learning을 선택하면 됨.

하지만 지금까지 다룬 방법들은 모두 테이블 기반이었음. 상태와 행동이 유한하고 적은 경우에만 적용 가능함. 현실의 복잡한 문제들은 어떨까? 자율주행차의 무수한 센서 데이터, 바둑의 천문학적인 상태 공간, 로봇의 연속적인 관절 제어... 이런 문제들을 해결하려면 새로운 도구가 필요함.

다음 장에서는 함수 근사(Function Approximation)를 통해 이런 현실적 제약을 뛰어넘는 방법을 알아볼 예정임. 선형 함수부터 시작해서 신경망까지, 강화학습이 어떻게 복잡한 실세계 문제에 적용되는지 보게 될 것임. 지금까지 배운 모든 알고리즘들이 함수 근사와 결합되면서 진짜 실용적인 도구로 거듭나게 됨.

Tabular 강화학습의 여정이 끝났음. 이제 무한한 가능성의 세계로 확장해보자.

[2025 강화학습 Recap] Chapter 4. Model-Free Prediction

땽뚕 — Sun, 10 Aug 2025 10:50:57 +0900

[2025 강화학습 Recap] Chapter 4. Model-Free Prediction

Chapter 3에서 Dynamic Programming의 우아한 이론을 배웠지만, 현실 세계로 나오면 벽에 부딪힘. 자율주행차가 "비 올 때 브레이크 밟으면 미끄러질 확률이 정확히 0.23"이라고 미리 알 수 있을까? 게임 AI가 상대방의 모든 전략과 확률을 사전에 계산할 수 있을까?
대부분의 실제 문제에서는 환경의 완벽한 모델을 알 수 없음. 전이확률 P(s'|s,a)도, 보상함수 R(s,a)도 모르는 상황에서 어떻게 학습할 수 있을까?
답은 간단함. "모르면 직접 해보자." 모델을 추측하는 대신 환경과 실제로 상호작용하면서 경험을 쌓고, 그 경험으로부터 가치함수를 추정하는 것. 이것이 바로 Model-free 강화학습의 핵심 아이디어임.
이 장에서는 주어진 정책을 평가하는 문제(Prediction)를 Model-free 방식으로 해결하는 두 가지 근본적 접근법을 다룸. Monte Carlo 방법은 완전한 에피소드 경험을 활용하고, Temporal Difference 방법은 한 스텝씩 점진적으로 학습함. 각각의 장단점과 언제 어떤 방법을 써야 하는지도 알아볼 예정임.
이론에서 실제로, 계획에서 학습으로 넘어가는 중요한 전환점임. 불완전한 정보로도 똑똑하게 학습하는 방법을 찾아보자.

1. Chapter 3에서 Chapter 4로: 이상에서 현실로

1.1 Dynamic Programming의 성과와 한계

Chapter 3에서 달성한 것: ✅ 완벽한 모델(P, R)이 있을 때 최적 해법 ✅ 벨만 방정식을 실제 알고리즘으로 구현 ✅ Prediction과 Control 문제의 체계적 해결

하지만 현실적 한계들: ❌ 완벽한 모델 필요: 실제로는 전이확률 P(s'|s,a)와 보상함수 R(s,a)를 모름 ❌ 상호작용 없음: 환경과 직접 경험하지 않고 모델로만 계산 ❌ 사전 지식 의존: 환경에 대한 완벽한 사전 지식 필요

1.2 현실 세계의 문제들

실제 상황들:

자율주행: "비 올 때 브레이크 밟으면 미끄러질 확률"을 정확히 아는가?
게임 AI: 상대방의 모든 전략과 확률을 미리 알 수 있는가?
로봇 제어: 모터의 정확한 응답 특성을 완벽히 모델링할 수 있는가?

→ 대부분의 실제 문제에서는 모델을 모르거나 불완전함!

1.3 Model-Free RL의 등장 배경

핵심 아이디어: "모델을 모르니까 직접 경험해서 배우자!"

Model-Free 접근법:

환경과 상호작용: 실제로 행동하고 결과를 관찰
경험으로 학습: 관찰된 데이터로 가치함수/정책 개선
점진적 개선: 더 많은 경험으로 점점 더 나은 성능

2. Model-Free vs Model-Based 비교

2.1 근본적 차이점

특성Model-Based (DP)Model-Free환경 지식완벽한 모델 필요모델 불필요학습 방식계산 (Planning)경험 (Learning)상호작용없음필수데이터사전 지식샘플링된 경험업데이트정확한 기댓값샘플 기반 추정

2.2 벨만 방정식의 변화

Model-Based (DP):

v(s) = Σ π(a|s) Σ P(s'|s,a) [R(s,a) + γv(s')]
       전체 합계 (정확한 기댓값)

Model-Free:

v(s) ← 샘플된 경험으로 추정
      (불완전하지만 실제 경험 기반)

2.3 두 가지 접근법

Model-Free에서 벨만 방정식을 근사하는 두 가지 방법:

Monte Carlo: 전체 에피소드 경험으로 실제 Return 계산
Temporal Difference: 부분 경험 + 추정값으로 즉시 업데이트

3. Prediction 문제: 정책 평가하기

3.1 문제 정의

목표: 주어진 정책 π에 대해 vπ(s)를 모든 상태에서 구하기 제약: 환경 모델(P, R)을 모르는 상황

DP와의 차이:

DP: 정확한 벨만 방정식으로 계산
Model-Free: 샘플링된 경험으로 추정

3.2 핵심 아이디어

경험적 평균으로 기댓값 근사:

E[X] ≈ (x1 + x2 + ... + xn) / n

강화학습에 적용:

vπ(s) = E[Gt | St = s] ≈ 상태 s에서 관찰된 Return들의 평균

4. Monte Carlo 방법

4.1 Monte Carlo란?

정의: 무작위 샘플링을 통해 수치적 결과를 얻는 방법

강화학습에서 Monte Carlo: "정책을 따라 실제로 여러 에피소드를 실행해보고, 각 상태에서 받은 Return들의 평균을 구하자"

4.2 Monte Carlo Prediction 알고리즘

기본 아이디어:

정책 π를 따라 완전한 에피소드 실행
각 상태에서 받은 실제 Return 계산: Gt = Rt+1 + γRt+2 + γ²Rt+3 + ...
해당 상태의 가치 추정값을 Return으로 업데이트

수식:

V(St) ← V(St) + α[Gt - V(St)]

4.3 First-Visit vs Every-Visit MC

First-Visit Monte Carlo

규칙: 한 에피소드에서 상태를 처음 방문했을 때만 Return 기록
장점: 이론적으로 깔끔함, 수렴 보장
사용: 대부분의 이론적 분석

Every-Visit Monte Carlo

규칙: 상태를 방문할 때마다 Return 기록
장점: 더 많은 데이터 활용, 실제로 더 빠른 수렴
사용: 실제 구현에서 선호

예시:

에피소드: S1 → S2 → S1 → S3 (terminal)
First-Visit: S1의 첫 방문(step 1)만 기록
Every-Visit: S1의 두 방문(step 1, 3) 모두 기록

4.4 Incremental Mean 업데이트

문제: 모든 Return을 저장하고 평균 계산하면 메모리/계산 비효율

해결: 점진적 평균 업데이트

평균 ← 이전평균 + 학습률 × (새값 - 이전평균)
V(s) ← V(s) + α[Gt - V(s)]

학습률 α의 역할:

α = 1/N(s): 완전한 평균 (stationary)
α = 상수: 최근 경험에 더 가중치 (non-stationary)

4.5 Monte Carlo의 특징

장점: ✅ Unbiased: 편향 없음 (실제 Return 사용) ✅ Model-free: 환경 모델 불필요 ✅ Simple: 개념과 구현이 단순 ✅ Convergence: 수렴 보장 (큰 수의 법칙)

단점: ❌ High Variance: 에피소드마다 큰 변동 ❌ Episodic only: 종료되는 태스크에만 적용 ❌ Slow: 에피소드 끝까지 기다려야 학습 ❌ Memory: 긴 에피소드는 메모리 소모

4.6 Monte Carlo 예시: GridWorld

정책: 목표까지 랜덤 이동
에피소드 1: S1 → S2 → S3 → Goal, Return = 10
에피소드 2: S1 → S4 → S2 → Goal, Return = 8  
에피소드 3: S1 → S1 → S3 → Goal, Return = 7

V(S1) = (10 + 8 + 7) / 3 = 8.33
V(S2) = (8 + 6) / 2 = 7 (두 번째, 세 번째 에피소드)
V(S3) = (6 + 5) / 2 = 5.5 (첫 번째, 세 번째 에피소드)

5. Temporal Difference (TD) 방법

5.1 TD의 핵심 아이디어

Monte Carlo의 한계: 에피소드가 끝날 때까지 기다려야 함

TD의 해법: "한 스텝만 가보고 나머지는 현재 추정값 사용"

핵심 통찰:

실제 Return: Gt = Rt+1 + γRt+2 + γRt+3 + ...
TD 추정: Rt+1 + γV(St+1)

5.2 TD(0) 알고리즘

가장 간단한 TD 방법: 한 스텝만 실제 경험, 나머지는 추정

업데이트 규칙:

V(St) ← V(St) + α[Rt+1 + γV(St+1) - V(St)]

구성요소:

TD Target: Rt+1 + γV(St+1)
TD Error: Rt+1 + γV(St+1) - V(St)
학습률: α

5.3 TD Target과 TD Error

TD Target (r + γV(St+1))

즉시 보상: Rt+1 (실제 관찰)
미래 가치: γV(St+1) (현재 추정값)
의미: "한 스텝 후 상태의 추정 가치"

TD Error (δt)

δt = Rt+1 + γV(St+1) - V(St)

양수: 현재 추정이 너무 낮음 → 가치 증가
음수: 현재 추정이 너무 높음 → 가치 감소
영역: 추정이 정확함

5.4 TD의 특징

장점: ✅ Online: 매 스텝마다 즉시 학습 ✅ Low Variance: Monte Carlo보다 안정적 ✅ Continuing: 무한히 계속되는 태스크에도 적용 ✅ Efficient: 빠른 학습 속도

단점: ❌ Biased: 추정값 사용으로 편향 발생 ❌ Initial Value Sensitive: 초기값에 민감 ❌ Convergence: 수렴 보장이 약함 (조건부)

5.5 Bootstrapping의 개념

정의: 추정값으로 추정값을 업데이트하는 것

TD에서 Bootstrapping:

V(St) ← ... + γV(St+1)
     현재 추정   미래 추정값 사용

DP vs TD Bootstrapping:

DP: 정확한 벨만 방정식으로 부트스트래핑
TD: 샘플 기반 부트스트래핑

5.6 TD 예시: GridWorld

현재 상태: S1, V(S1) = 5
행동 후: S2로 이동, 보상 = -1, V(S2) = 3, γ = 0.9

TD Target = -1 + 0.9 × 3 = 1.7
TD Error = 1.7 - 5 = -3.3
V(S1) ← 5 + 0.1 × (-3.3) = 4.67

6. Monte Carlo vs Temporal Difference

6.1 비교 요약표

특성Monte CarloTemporal Difference데이터 요구완전한 에피소드한 스텝 전이학습 속도느림빠름Bias없음 (Unbiased)있음 (Biased)Variance높음낮음수렴성보장됨조건부초기값 민감도낮음높음적용 범위Episodic만모든 태스크

6.2 Bias vs Variance Trade-off

Monte Carlo:

Unbiased: 실제 Return을 사용하므로 편향 없음
High Variance: 에피소드마다 큰 변동성

Temporal Difference:

Biased: 추정값(V(St+1))을 사용하므로 편향 있음
Low Variance: 한 스텝만 실제 경험하므로 변동성 적음

6.3 시각적 이해: Bias vs Variance

Target (참값): ●

Monte Carlo: 편향 없지만 퍼져있음
  ○ ○     ○
    ○ ● ○
  ○     ○ ○

TD: 편향 있지만 모여있음  
      ◇◇◇
      ◇◇◇  ● 
      ◇◇◇

6.4 언제 무엇을 사용할까?

Monte Carlo 선호 상황:

에피소드가 짧을 때
정확한 추정이 중요할 때
Non-Markov 환경
충분한 데이터가 있을 때

TD 선호 상황:

실시간 학습이 필요할 때
에피소드가 길거나 무한할 때
빠른 초기 개선이 중요할 때
제한된 데이터 상황

6.5 Markov Property와의 관계

TD: Markov 환경에 최적화

현재 상태만으로 미래 예측 가능
부트스트래핑이 효과적

Monte Carlo: Non-Markov 환경에도 robust

전체 궤적 정보 활용
Markov 가정에 덜 의존

7. 세 방법의 통합적 이해

7.1 Sampling vs Bootstrapping

두 가지 핵심 아이디어:

Sampling

정의: 모든 가능성을 계산하지 않고 실제 경험만 사용
장점: 모델 불필요, 실제 환경 적용 가능
단점: 노이즈, 변동성

Bootstrapping

정의: 추정값으로 추정값을 업데이트
장점: 빠른 학습, 적은 데이터 필요
단점: 편향, 초기값 의존성

7.2 세 방법의 특성 매트릭스

방법SamplingBootstrapping특징DP❌✅정확하지만 모델 필요MC✅❌정확하지만 느림TD✅✅빠르지만 편향

7.3 실제 성능 비교

학습 곡선 특성:

성능
 ↑
 │    TD: 빠른 초기 개선, 조기 수렴
 │   ╱╱╱╱╱╱╱━━━━━━
 │  ╱
 │ ╱     MC: 느린 개선, 높은 최종 성능  
 │╱      ╱╱╱╱╱╱╱╱╱╱╱╱╱
 └────────────────────────→ 시간

7.4 하이브리드 접근법들

λ-Return: MC와 TD의 조합

Gλt = (1-λ)∑λⁿ⁻¹G(n)t

Experience Replay: 과거 경험을 반복 학습 Eligibility Traces: 여러 스텝의 정보 조합

8. 실제 구현 고려사항

8.1 학습률 (Learning Rate) 선택

이론적 조건 (수렴 보장):

∑α = ∞, ∑α² < ∞
예: α = 1/N(s) 또는 α = 1/t

실제 사용:

상수 학습률: α = 0.01~0.1 (non-stationary 환경)
감소 학습률: α = 1/N(s) (stationary 환경)

8.2 초기값 설정

Monte Carlo: 초기값 영향 적음 TD: 초기값이 학습에 큰 영향

초기값 전략:

Optimistic: 높은 초기값으로 탐험 유도
Realistic: 도메인 지식 기반 설정
Zero: 간단하지만 편향 가능

8.3 탐험 vs 활용 (Exploration vs Exploitation)

문제: 정책 평가 중에도 탐험 필요

해결법:

ε-greedy: 확률적 탐험
Soft policies: 모든 행동에 양수 확률
Importance sampling: 다른 정책으로 수집한 데이터 활용

9. Chapter 4 정리 및 다음 단계

9.1 Model-Free RL이 해결한 것

✅ 모델 독립성: 환경 모델 없이도 학습 가능 ✅ 실제 적용성: 현실 환경에서 사용 가능 ✅ 온라인 학습: 상호작용하면서 실시간 개선 ✅ 경험 기반: 실제 데이터로 점진적 개선

9.2 남은 문제들

❌ Prediction만 해결: Control 문제 (최적 정책 찾기) 미해결 ❌ 정책이 주어진 경우만: 어떻게 정책을 개선할 것인가? ❌ 탐험 문제: 어떻게 효과적으로 탐험할 것인가?

9.3 다음 단계: Model-Free Control (Chapter 5)

해결하고 싶은 문제들:

"정책을 어떻게 개선할까?" → Q-Learning, SARSA
"탐험을 어떻게 할까?" → ε-greedy, UCB
"On-policy vs Off-policy?" → 데이터 효율성

활용할 핵심 아이디어들:

GPI (Generalized Policy Iteration): Chapter 3에서 배운 평가↔개선 반복
MC/TD Prediction: Chapter 4에서 배운 가치 추정 방법
Action-Value Function: 정책 개선을 위한 Q(s,a) 활용

9.4 핵심 메시지

Model-Free Prediction은 실제 강화학습의 첫 걸음:

환경 모델 없이도 가치를 추정할 수 있음을 보여줌
MC와 TD라는 두 가지 근본적 접근법 제시
Bias-Variance trade-off라는 중요한 개념 도입

"이제 가치를 추정할 수 있으니, 이를 바탕으로 정책을 어떻게 개선할까?"

이 장에서 우리는 강화학습의 실용성을 크게 한 걸음 전진시켰음. 환경의 완벽한 모델 없이도 실제 경험만으로 가치함수를 추정할 수 있다는 것을 보여줬음. Monte Carlo는 편향 없는 정확한 추정을, Temporal Difference는 빠르고 효율적인 학습을 제공함.

하지만 여전히 한 가지 큰 문제가 남아있음. 지금까지는 정책이 주어진 상황에서 그 정책을 평가하는 방법만 배웠음. "이 정책을 따르면 얼마나 좋을까?"라는 질문에는 답할 수 있지만, "어떤 정책이 가장 좋을까?"라는 더 중요한 질문은 아직 해결하지 못했음.

다음 장에서는 이 마지막 퍼즐 조각을 맞춰볼 예정임. Model-free 환경에서 어떻게 정책을 개선하고 최적 정책을 찾을 수 있는지 알아보자. MC와 TD에서 배운 가치 추정 방법들이 이제 정책 개선의 도구로 변신하게 됨.

Generalized Policy Iteration의 구조(평가 ↔ 개선)는 그대로 유지되지만, 이제 모든 것이 실제 경험 기반으로 바뀜. Q-Learning과 SARSA 같은 강력한 알고리즘들이 등장하면서, 강화학습은 비로소 실용적인 문제 해결 도구로 완성될 것임.

가치를 추정하는 방법을 배웠으니, 이제 그 가치를 바탕으로 더 나은 행동을 선택하는 방법을 찾아보자

[2025 강화학습 Recap] Chapter 3. Model-based Prediction & Control

땽뚕 — Sun, 10 Aug 2025 10:50:19 +0900

[2025 강화학습 Recap] Chapter 3. Model-based Prediction & Control

Chapter 2에서 MDP의 수학적 구조와 벨만 방정식을 배웠지만, 한 가지 중요한 질문이 남아있음. "이론적으로는 완벽하지만, 실제로는 어떻게 풀까?"
벨만 방정식은 최적 정책과 최적 가치 함수가 만족해야 하는 조건을 명확하게 제시하지만, 이를 직접 계산하는 방법은 별도로 필요함. 마치 "x² = 4"라는 방정식이 해가 ±2라는 걸 알려주지만, 실제로 그 해를 구하는 과정은 따로 있는 것과 같음.
이 장에서는 가장 이상적인 조건에서 MDP를 푸는 방법인 동적계획법(Dynamic Programming)을 다룸. 여기서 "이상적"이라는 것은 환경의 모델(전이확률과 보상함수)을 완벽하게 알고 있다는 뜻임. 현실적이지 않아 보일 수 있지만, 이는 강화학습 알고리즘의 이론적 기준점 역할을 함.
Policy Iteration과 Value Iteration이라는 두 가지 핵심 알고리즘을 통해 벨만 방정식을 실제로 풀어볼 예정임. 이 과정에서 "평가(Evaluation)"와 "개선(Improvement)"이 번갈아 일어나는 패턴을 발견하게 될 것인데, 이는 이후 모든 강화학습 알고리즘의 기본 구조가 됨.
완벽한 조건에서의 완벽한 해법을 먼저 이해해야, 불완전한 현실에서 근사적 해법을 설계할 수 있음. Dynamic Programming은 그 출발점임.

1. Chapter 2에서 Chapter 3로: 이론에서 실제로

1.1 Chapter 2에서 우리가 얻은 것

벨만 방정식이라는 완벽한 이론적 해답:

Prediction: vπ(s) = Σ π(a|s) [R(s,a) + γ Σ P(s'|s,a) vπ(s')]
Control: v*(s) = max_a [R(s,a) + γ Σ P(s'|s,a) v*(s')]

1.2 남은 문제: "어떻게 실제로 풀 것인가?"

벨만 방정식을 만족하는 해를 어떻게 구할까?

가장 단순한 경우부터 시작하자:

✅ Model을 완벽히 안다: P(전이확률), R(보상함수) 모두 알고 있음
✅ 상태 수가 적다: 계산 가능한 크기
✅ 충분한 시간: 실시간 제약 없음

→ 이런 이상적 조건에서 벨만 방정식을 어떻게 풀까? → Dynamic Programming!

1.3 Dynamic Programming의 등장 배경

왜 DP가 MDP에 적합한가?

최적 부분구조: 최적 정책의 부분도 최적 (Principle of Optimality)
중복 부분문제: 같은 상태의 가치를 여러 번 계산
재귀적 구조: 벨만 방정식 자체가 재귀적

→ DP의 핵심 아이디어와 MDP의 구조가 완벽하게 일치!

2. Dynamic Programming 기본 개념

2.1 Dynamic Programming이란?

정의: 복잡한 문제를 더 간단한 부분 문제들로 나누어 해결하고, 그 결과를 저장하여 재사용하는 방법

핵심 원리:

분할: 큰 문제를 작은 문제들로 나눔
정복: 작은 문제들을 해결
저장: 해결한 결과를 메모리에 저장 (Memoization)
재사용: 같은 문제가 나오면 저장된 결과 사용

2.2 MDP에서 DP의 적용

MDP에서 DP가 가능한 조건:

완벽한 모델: P(s'|s,a), R(s,a) 모두 알고 있음
유한한 상태/행동 공간: 계산 가능한 크기
마르코프 성질: 미래가 현재에만 의존

DP = Planning:

Planning: 환경과 상호작용 없이 모델만으로 계산
Learning: 환경과 상호작용하면서 학습 (Chapter 4에서 다룰 예정)

2.3 벨만 방정식과 DP의 관계

벨만 방정식의 재귀적 구조:

현재 상태 가치 = 즉시 보상 + 할인된 다음 상태들의 가치

DP의 활용:

부분 문제: 각 상태의 가치 계산
재귀 관계: 벨만 방정식
저장: Value Function Table
반복: 수렴할 때까지 업데이트

3. DP의 두 가지 문제: Prediction vs Control

3.1 문제 분류

Chapter 2에서 정의한 두 가지 문제를 DP로 해결:

Prediction (Policy Evaluation)

문제: "주어진 정책 π의 가치는 얼마인가?"

입력: 정책 π, MDP model
출력: vπ(s) for all s
방법: Iterative Policy Evaluation

Control (Policy Optimization)

문제: "최적 정책과 최적 가치는 무엇인가?"

입력: MDP model
출력: π*(s), v*(s) for all s
방법: Policy Iteration, Value Iteration

3.2 왜 Prediction부터?

더 간단함: 정책이 주어져 있어서 최적화 불필요
Control의 구성요소: Control 과정에서 Prediction이 필요
단계적 학습: 쉬운 것부터 차근차근

4. Prediction: Iterative Policy Evaluation

4.1 목표

주어진 정책 π에 대해 vπ(s)를 모든 상태 s에서 구하기

4.2 핵심 아이디어

벨만 방정식을 반복적으로 적용하여 수렴시키기

벨만 방정식 (복습): vπ(s) = Σ π(a|s) [R(s,a) + γ Σ P(s'|s,a) vπ(s')]

4.3 Iterative Policy Evaluation 알고리즘

1. 모든 상태의 가치를 임의로 초기화: v0(s) for all s
2. k번째 반복에서:
   vk+1(s) = Σ π(a|s) [R(s,a) + γ Σ P(s'|s,a) vk(s')]
3. 수렴할 때까지 반복: |vk+1(s) - vk(s)| < θ for all s

4.4 알고리즘의 특징

수렴성: γ < 1이면 항상 참값 vπ(s)로 수렴 보장

업데이트 방식:

Synchronous: 모든 상태를 동시에 업데이트
Asynchronous: 상태를 하나씩 순차적으로 업데이트

계산 복잡도: O(|S|²|A|) per iteration

4.5 실제 예시: GridWorld

3x3 격자, 목표: 오른쪽 하단 도달
정책: 각 상태에서 4방향으로 균등하게 이동 (π(a|s) = 0.25)

초기값: v0(s) = 0 for all s
1회 반복 후: 목표 근처 상태들의 가치가 증가
여러 반복 후: 목표에서 멀수록 낮은 가치로 수렴

4.6 Policy Evaluation의 의미

결과 해석:

높은 가치: 이 상태에서 시작하면 정책 π를 따라 좋은 결과
낮은 가치: 이 상태에서는 정책 π가 별로
가치 gradient: 어느 방향이 더 유리한지 보여줌

5. Control: 최적 정책 찾기

5.1 Control 문제의 접근법

기본 아이디어: Prediction과 Policy Improvement를 번갈아 수행

Generalized Policy Iteration (GPI):

π0 → E → π1 → E → π2 → E → ... → π*

E: Evaluation (가치 계산)
→: Policy Improvement (정책 개선)

5.2 Policy Improvement 원리

현재 정책 π에서 더 나은 정책 π'를 만들기

Greedy Policy: π'(s) = argmax_a qπ(s,a)

Policy Improvement Theorem: 만약 qπ(s,π'(s)) ≥ vπ(s) for all s라면, vπ'(s) ≥ vπ(s) for all s

직관: "각 상태에서 가장 좋은 행동만 선택하면 전체적으로 더 좋아진다"

6. Policy Iteration

6.1 알고리즘 구조

1. 임의의 정책 π0로 초기화
2. 반복:
   a) Policy Evaluation: vπ를 정확히 계산
   b) Policy Improvement: π'(s) = argmax_a Σ P(s'|s,a)[R(s,a) + γvπ(s')]
   c) π ← π'
3. 정책이 변하지 않을 때까지 반복

6.2 Policy Iteration의 특징

수렴성: 유한 MDP에서 항상 최적 정책으로 수렴

단조성: 정책이 단조적으로 개선됨 (vπk+1 ≥ vπk)

유한성: 정책 수가 유한하므로 유한 시간에 수렴

계산량: 각 iteration에서 Policy Evaluation이 비쌈

6.3 Policy Iteration의 과정 예시

초기 정책: 모든 상태에서 랜덤 행동
1차 반복: 이 정책의 가치 계산 → 각 상태에서 최선 행동 선택
2차 반복: 개선된 정책의 가치 계산 → 또 다시 개선
...
수렴: 더 이상 개선할 수 없는 최적 정책 도달

6.4 Policy Evaluation의 정확도

완전한 평가 vs 부분 평가:

완전: 수렴할 때까지 Policy Evaluation
부분: 몇 번만 반복하고 Policy Improvement

Modified Policy Iteration: Policy Evaluation을 일정 횟수만 수행

더 빠르지만 수렴 보장이 약해질 수 있음
극단적 경우: 1번만 → Value Iteration

7. Value Iteration

7.1 기본 아이디어

"Policy Evaluation을 한 번만 하고 바로 개선하면?"

핵심 통찰: 벨만 최적성 방정식을 직접 반복 적용 vk+1(s) = max_a [R(s,a) + γ Σ P(s'|s,a) vk(s')]

7.2 Value Iteration 알고리즘

1. 모든 상태의 가치를 임의로 초기화: v0(s)
2. k번째 반복에서:
   vk+1(s) = max_a [R(s,a) + γ Σ P(s'|s,a) vk(s')]
3. 수렴할 때까지 반복
4. 최적 정책 추출: π*(s) = argmax_a [R(s,a) + γ Σ P(s'|s,a) v*(s')]

7.3 Value Iteration의 특징

수렴성: γ < 1이면 v*로 수렴 보장

효율성: Policy Iteration보다 각 iteration이 빠름

구조: Evaluation과 Improvement가 동시에 일어남

정책 추출: 마지막에 최적 정책을 greedy하게 추출

7.4 Principle of Optimality

벨만의 최적성 원리: "최적 정책의 어떤 부분도 그 자체로 최적이어야 한다"

MDP에서의 적용:

최적 정책 π가 상태 s에서 행동 a를 선택했다면
a* 이후의 정책도 해당 부분 문제에서 최적이어야 함

Value Iteration의 정당성: 이 원리가 Value Iteration의 수렴을 보장

8. Policy Iteration vs Value Iteration

8.1 비교표

특성Policy IterationValue Iteration각 iteration오래 걸림빠름iteration 수적음많음전체 시간비슷비슷메모리정책 + 가치 저장가치만 저장중간 정책의미 있음의미 없음구현복잡단순

8.2 언제 무엇을 사용할까?

Policy Iteration 선호:

좋은 초기 정책이 있을 때
중간 정책도 활용하고 싶을 때
행동 공간이 클 때

Value Iteration 선호:

구현 단순성을 원할 때
메모리 제약이 있을 때
최종 정책만 필요할 때

8.3 시간 복잡도 분석

State Value Function 사용 시:

Policy Iteration: O(|S|²|A|) per evaluation + O(|S||A|) per improvement
Value Iteration: O(|S|²|A|) per iteration

Action Value Function 사용 시:

더 높은 복잡도: O(|S||A|²)
하지만 정책 추출이 더 간단: π(s) = argmax_a Q(s,a)

9. 실제 구현 고려사항

9.1 수렴 판정

Value Function 기준:

max_s |vk+1(s) - vk(s)| < θ

Policy 기준 (Policy Iteration):

πk+1(s) = πk(s) for all s

9.2 초기화 전략

Value Function:

v0(s) = 0 (일반적)
도메인 지식 활용한 좋은 초기값

Policy:

균등 정책 (uniform random)
휴리스틱 기반 정책

9.3 업데이트 순서

Synchronous: 모든 상태 동시 업데이트 Asynchronous: 상태별 순차 업데이트

In-place 업데이트로 메모리 절약
수렴 속도 개선 가능

9.4 실제 적용 시 한계

상태 공간 폭발: 상태 수가 기하급수적 증가 Model 요구사항: 완벽한 P, R 필요 계산 복잡도: 큰 문제에는 비현실적

10. DP의 확장과 응용

10.1 Asynchronous DP

In-place Value Iteration: 같은 배열에서 즉시 업데이트 Prioritized Sweeping: 변화가 큰 상태 우선 업데이트 Real-time DP: 현재 상태 주변만 업데이트

10.2 Approximate DP

Function Approximation: 가치 함수를 함수로 근사 State Aggregation: 비슷한 상태들을 묶어서 처리 Linear Programming: DP를 선형계획법으로 변환

10.3 Partial Observable MDP

Belief State: 확률 분포로 상태 표현 Point-based DP: 대표적인 belief state들만 계산

11. Chapter 3 정리 및 다음 단계

11.1 DP가 해결한 것

✅ 완벽한 모델에서 최적 해법: 벨만 방정식을 실제로 풀 수 있음 ✅ 이론의 구현: MDP 이론을 실제 알고리즘으로 변환 ✅ 두 가지 접근법: Policy Iteration과 Value Iteration

11.2 DP의 한계

❌ 완벽한 모델 필요: 실제로는 P, R을 모르는 경우가 많음 ❌ 계산 복잡도: 상태 수가 많으면 불가능 ❌ 실시간 제약: 계획 단계에서만 사용 가능

11.3 다음 단계: Model-free RL (Chapter 4)

해결하고 싶은 문제들:

"모델을 모를 때는 어떻게 하지?" → Monte Carlo, TD Learning
"실시간으로 학습하려면?" → Online Learning
"상태가 너무 많으면?" → Function Approximation

DP에서 배운 핵심 아이디어들:

GPI (Generalized Policy Iteration): Evaluation ↔ Improvement 반복
Bootstrapping: 추정값으로 추정값 업데이트
Bellman Backup: 벨만 방정식 기반 업데이트

→ 이들이 Model-free RL의 핵심 구성요소가 됨!

11.4 핵심 메시지

Dynamic Programming은 강화학습의 이론적 토대:

MDP 이론을 실제 알고리즘으로 구현하는 방법
완벽한 조건에서의 최적 해법
실제 RL 알고리즘들의 원형과 영감의 원천

"이상적 조건에서 완벽한 해법을 알았으니, 이제 현실적 제약에서 근사적 해법을 찾아보자!"

Dynamic Programming은 강화학습 여행의 첫 번째 목적지였음. 완벽한 지도(환경 모델)를 가지고 최적의 경로(정책)를 찾는 방법을 배웠음. Policy Iteration과 Value Iteration을 통해 벨만 방정식이 단순한 이론이 아니라 실제로 풀 수 있는 문제라는 것을 확인했음.

하지만 현실은 그리 호락호락하지 않음. 대부분의 실제 문제에서는 환경의 완벽한 모델을 알 수 없고, 상태 공간은 계산하기 어려울 만큼 크며, 실시간으로 학습해야 하는 경우가 많음. DP는 이런 현실적 제약들 앞에서 한계를 드러냄.

그럼에도 불구하고 DP에서 배운 핵심 아이디어들은 앞으로의 여정에서 계속 등장할 예정임. 평가와 개선을 반복하는 Generalized Policy Iteration의 구조, 추정값으로 추정값을 업데이트하는 Bootstrapping, 벨만 방정식을 기반으로 한 업데이트 방식 등은 모든 강화학습 알고리즘의 DNA가 됨.

다음 장에서는 모델 없이도 학습할 수 있는 Model-free 방법들을 살펴볼 예정임. 완벽한 지도 없이 시행착오를 통해 길을 찾아가는 방법들 말임. DP가 제시한 이론적 기준점을 바탕으로, 이제 현실적인 해법들을 하나씩 탐험해보자.

완벽한 조건에서의 완벽한 해법을 알았으니, 이제 불완전한 세상에서 통하는 실용적인 방법들을 찾아갈 차례임.

[2025 강화학습 Recap] Chapter 2: Markov Decision Processes

땽뚕 — Sun, 10 Aug 2025 10:48:45 +0900

[2025 강화학습 Recap] Chapter 2: Markov Decision Processes

강화학습의 핵심은 불확실한 환경에서 순차적 의사결정을 통해 누적 보상을 최대화하는 것임. 하지만 이런 문제를 어떻게 수학적으로 표현하고 분석할 수 있을까?

이 장에서는 강화학습 문제를 정형화하는 표준 프레임워크인 마르코프 결정 과정(Markov Decision Process, MDP)을 다룸. MDP는 에이전트와 환경 간의 상호작용을 상태, 행동, 보상, 전이확률이라는 명확한 수학적 개념으로 모델링함.

MDP의 핵심 가정인 마르코프 성질부터 시작해서, 정책과 가치함수의 정의, 그리고 최적해를 특성화하는 벨만 방정식까지 살펴볼 예정임. 이러한 이론적 토대는 이후 장에서 다룰 모든 강화학습 알고리즘의 근간이 됨.
단순해 보이는 이 프레임워크가 어떻게 복잡한 현실 문제들을 효과적으로 모델링할 수 있는지, 그리고 왜 강화학습 연구의 출발점이 되는지 함께 알아보자.

1. Markov Property (마르코프 성질)

1.1 기본 개념

"미래는 과거에 독립적이며, 오직 현재에만 의존한다"

수학적 정의: P(St+1|St) = P(St+1|S1, S2, ..., St)

직관적 이해:

현재 상태가 과거의 모든 정보를 충분히 담고 있음
다음 상태를 예측하는 데 과거 히스토리는 불필요
"현재가 과거와 미래를 분리한다"

실생활 예시:

체스: 현재 말의 배치만 알면 충분 (이전 수순은 중요하지 않음)
날씨: 현재 기상 상태로 내일 날씨 예측 (일주일 전 날씨는 무관)
주식: 현재 주가 상태 (과거 주가 히스토리보다 현재 상황이 중요)

Markov Property 위반 사례:

포커: 상대방이 이전에 어떻게 플레이했는지(블러핑 패턴)가 중요
대화: 현재 문장만으로는 맥락 파악 불가, 이전 대화 내용 필요
주가 기술적 분석: 과거 차트 패턴이 미래 예측에 중요하다고 믿는 경우

1.2 State Transition Matrix (상태 전이 행렬)

정의: 현재 상태 s에서 다음 상태 s'로 갈 확률을 담은 행렬
특성: 각 행의 합이 1 (확률의 총합 = 1)
표기: P_ss' = P(St+1 = s' | St = s)

예시: 날씨 예측

        내일
오늘    맑음  비   흐림
맑음    0.7  0.2   0.1    ← 오늘 맑으면 내일도 맑을 확률 70%
비      0.3  0.4   0.3    ← 비가 오면 내일도 비 올 확률 40%
흐림    0.4  0.3   0.3    ← 흐리면 내일 확률이 고르게 분포

중요한 성질들:

각 행의 합 = 1: 확률의 기본 성질
Stationary: 시간이 지나도 전이 확률 불변
Irreducible: 모든 상태에서 다른 모든 상태로 갈 수 있음 (연결성)
Aperiodic: 특정 주기 없이 상태 방문 가능

2. Markov Process (마르코프 과정) <S, P>

2.1 정의

"상태들과 전이 확률로만 구성된 확률적 과정"

구성요소:

S: 상태들의 집합 (finite or infinite)
P: 상태 전이 확률 행렬

2.2 특징

Memoryless: 기억이 없는 확률 과정
Stochastic: 확률에 기반한 랜덤 과정
시간 독립적: 전이 확률이 시간에 따라 변하지 않음

실생활 예시:

웹 페이지 간 사용자 이동 패턴
고객의 브랜드 선호도 변화
게임 내 캐릭터 상태 변화

Random Walk 예제:

상태: [1] ↔ [2] ↔ [3] ↔ [4] ↔ [5]
각 상태에서 좌우로 0.5 확률씩 이동
양 끝에서는 제자리 또는 안쪽으로만 이동

장기 행동 분석:

Stationary Distribution: 충분한 시간 후 각 상태에 있을 확률
Mean Return Time: 특정 상태로 돌아오는 데 걸리는 평균 시간
Absorption Probability: 흡수 상태에 도달할 확률

3. Markov Reward Process (MRP) <S, P, R, γ>

3.1 왜 MRP가 필요한가?

Markov Process의 한계: 단순히 상태만 변하는 것을 관찰할 뿐, **"어떤 상태가 좋은가?"**를 알 수 없음

MRP의 목표: "각 상태의 가치를 평가하자!"

3.2 정의

"보상과 할인율이 추가된 마르코프 과정"

구성요소:

S: 상태 집합
P: 상태 전이 확률 행렬
R: 보상 함수 (각 상태에서 받는 즉시 보상)
γ: 할인율 (0 ≤ γ ≤ 1)

3.3 Return (수익)

정의: Gt = Rt+1 + γRt+2 + γ²Rt+3 + ... = Σ(γᵏRt+k+1)

할인율이 필요한 이유:

수렴성 보장: 무한한 보상의 합을 유한하게 만듦
불확실성 반영: 미래는 불확실하므로 현재 가치로 할인
즉시성 선호: 나중의 보상보다 지금의 보상이 더 가치 있음
수학적 편의: 계산을 단순화

할인율의 의미:

γ = 0: 극도로 근시안적 (즉시 보상만 고려)
γ = 1: 극도로 원시안적 (모든 미래 보상 동등하게 고려)
γ = 0.9: 10스텝 후 보상은 현재 가치의 약 35%
γ = 0.99: 100스텝 후 보상은 현재 가치의 약 37%

할인율 선택 가이드:

Episode가 짧은 경우: γ = 0.9 ~ 0.95
Episode가 긴 경우: γ = 0.99 ~ 0.999
실시간 제어: γ = 0.8 ~ 0.9 (빠른 반응 중요)
장기 계획: γ = 0.95 ~ 0.99 (미래 고려 중요)

경제학적 해석:

이자율과 유사: 할인율 = 1/(1+이자율)
Risk Premium: 불확실성에 대한 추가 할인
Time Preference: 개인의 시간 선호도 반영

3.4 State Value Function (상태 가치 함수)

정의: v(s) = E[Gt | St = s]

의미: 상태 s에서 시작해서 끝까지 받을 것으로 예상되는 총 보상

실용적 해석: "이 상태가 얼마나 좋은가?"

3.5 Bellman Equation for MRP

해결하고 싶은 문제: "각 상태의 가치를 어떻게 계산할까?"

핵심 아이디어: 현재 가치 = 즉시 보상 + 할인된 다음 상태들의 기댓값

수식: v(s) = R(s) + γ Σ P(s'|s) v(s')

직관적 이해:

현재 상태의 가치는 두 부분으로 나뉨
1. 지금 당장 받는 보상
2. 다음에 갈 수 있는 모든 상태들의 할인된 가치

벡터 형태: v = R + γPv

이를 풀면: v = (I - γP)⁻¹R (행렬의 역원이 존재할 때)

해결 방법들:

직접 해법: 연립방정식으로 풀기 (상태 수가 적을 때)
반복 해법: v_{k+1} = R + γPv_k (수렴할 때까지 반복)
Monte Carlo: 실제 샘플 궤적으로 추정

계산 복잡도:

직접 해법: O(n³) - 행렬 역원 계산
반복 해법: O(n²) per iteration - 행렬-벡터 곱셈
n이 클 때는 반복 해법이 유리

수렴 조건: γ < 1이면 항상 수렴 보장

4. Markov Decision Process (MDP) <S, A, P, R, γ>

4.1 MRP의 한계와 MDP의 필요성

MRP의 한계:

환경이 상태를 바꿔주기만 하고, 우리는 수동적으로 관찰만 함
"더 좋은 상태로 가고 싶은데 어떻게 해야 할까?" → 답이 없음

MDP의 아이디어:

"내가 행동을 선택해서 더 좋은 상태로 갈 수 있다면?"
의사결정권을 Agent에게 주자!

4.2 정의

"의사결정(행동 선택)이 추가된 마르코프 보상 과정"

구성요소:

S: 상태 집합
A: 행동 집합
P: 상태 전이 확률 (이제 행동에 의존)
R: 보상 함수 (상태와 행동에 의존)
γ: 할인율

핵심 차이점: Agent가 행동을 선택할 수 있음!

MDP vs MRP 비교:

MRPMDP제어없음 (수동적)있음 (능동적)전이고정된 확률행동에 따라 변함목표예측 (Prediction)제어 (Control)해법벡터 연산최적화 문제

실제 응용 예시:

로봇 제어: 상태(위치), 행동(모터 명령), 보상(목표 달성)
게임 AI: 상태(게임 상황), 행동(플레이어 선택), 보상(점수)
금융: 상태(시장 상황), 행동(투자 결정), 보상(수익)
자율주행: 상태(센서 정보), 행동(조향/가속), 보상(안전한 주행)

4.3 Policy (정책)

정의: π(a|s) = P(At = a | St = s)

의미: "각 상태에서 어떤 행동을 선택할 것인가?"

특징:

Stationary: 시간에 독립적 (같은 상태에서는 항상 같은 확률 분포)
Markovian: 현재 상태에만 의존 (히스토리 무관)

정책의 종류:

Deterministic Policy: π(s) = a (확정적)
Stochastic Policy: π(a|s) (확률적)

왜 확률적 정책이 필요한가?

게임 이론에서 혼합 전략
탐험을 위한 랜덤성
연속 행동 공간에서의 자연스러운 표현

정책의 특성:

Memoryless: 현재 상태만 고려 (과거 행동 무관)
Stationary: 시간이 지나도 같은 정책 (시간 독립적)
Complete: 모든 상태에서 행동이 정의됨

정책 표현 방법:

Table: 작은 상태 공간에서 직접 저장
Linear: π(a|s) = softmax(θᵀφ(s,a))
Neural Network: 딥러닝으로 복잡한 정책 표현

정책 평가의 어려움:

같은 정책도 환경의 확률성 때문에 다른 결과
여러 번 실행해서 평균을 구해야 함
탐험 부족으로 일부 상태는 방문하지 못할 수 있음

5. 잠깐만!

1단계: 문제 정의

MRP: "이 환경에서 가만히 있으면 얼마나 좋을까?" (수동적)
MDP: "내가 행동을 선택할 수 있다면 얼마나 좋을까?" (능동적)

MDP를 정의했으니 이제 실제로 해결하고 싶은 문제가 무엇인지 명확히 하자.

2단계: 해결하고 싶은 질문들

Prediction 문제: "주어진 정책이 얼마나 좋은가?"
Control 문제: "가장 좋은 정책은 무엇인가?"

3단계: 자연스러운 접근

Prediction → Bellman Expectation Equation 
"정책을 따를 때 가치를 어떻게 계산하지?"

Control → Bellman Optimality Equation
"최적 정책을 어떻게 찾지?"

왜 이 순서인가?

Prediction이 Control보다 쉬움: 정책이 주어지면 단순히 계산 문제
Control은 Prediction을 포함: 최적 정책을 찾으려면 각 정책을 평가할 수 있어야 함
점진적 확장: MRP 개념을 MDP로 확장하는 자연스러운 과정

실제 사고 과정:

1. "MDP에서 정책을 평가하려면?" → Bellman Expectation
2. "그럼 최고의 정책은?" → Bellman Optimality  
3. "이걸 어떻게 풀지?" → Dynamic Programming, RL 알고리즘들

6. Bellman Expectation Equation (예측 문제의 해법)

6.1 문제 정의

해결하려는 문제: "정책 π가 주어졌을 때, 각 상태의 가치는 얼마인가?"

6.2 Value Functions

State Value Function

정의: vπ(s) = E_π[Gt | St = s] 의미: 정책 π를 따를 때 상태 s에서 시작해서 받을 기댓값

Action Value Function (Q-function)

정의: qπ(s,a) = E_π[Gt | St = s, At = a] 의미: 상태 s에서 행동 a를 한 후 정책 π를 따를 때의 기댓값

6.3 Bellman Expectation Equations

State Value

수식: vπ(s) = Σ π(a|s) [R(s,a) + γ Σ P(s'|s,a) vπ(s')]

두 단계 분해:

정책에 따른 행동 선택: 정책 π에 따라 행동들의 가중평균
환경의 응답: 선택한 행동에 대한 환경의 확률적 응답

Action Value

수식: qπ(s,a) = R(s,a) + γ Σ P(s'|s,a) Σ π(a'|s') qπ(s',a')

관계식:

vπ(s) = Σ π(a|s) qπ(s,a)
qπ(s,a) = R(s,a) + γ Σ P(s'|s,a) vπ(s')

6.4 벨만 방정식의 해석

State Value 관점:

현재 상태 가치 = 정책에 따른 행동들의 가중평균 가치

Action Value 관점:

상태-행동 가치 = 즉시 보상 + 다음 상태에서의 정책 따라 행동할 때의 할인된 가치

벨만 방정식의 기하학적 해석:

고정점 정리: 벨만 연산자의 고정점이 해
수축 연산자: γ < 1이면 유일한 해 존재
반복 개선: 임의의 초기값에서 시작해도 수렴

실제 계산 시 고려사항:

Bootstrap: 추정값으로 추정값을 개선 (순환 참조)
Bias vs Variance: 정확도와 안정성의 트레이드오프
Sample Complexity: 정확한 추정에 필요한 샘플 수

벨만 방정식의 한계:

차원의 저주: 상태 수가 기하급수적으로 증가
모델 의존성: 전이 확률과 보상 함수를 알아야 함
연속 공간: 무한한 상태/행동 공간에서는 직접 적용 어려움

7. Bellman Optimality Equation (제어 문제의 해법)

7.1 문제 정의

해결하려는 문제: "가장 좋은 정책은 무엇이고, 그때의 최대 가치는 얼마인가?"

7.2 Optimal Policy

정의: π* ≥ π for all π if vπ*(s) ≥ vπ(s) for all s

특성:

항상 존재함 (유한 MDP에서)
여러 개일 수 있음 (같은 최적 가치를 갖는 서로 다른 정책)
최적 가치 함수는 유일함

최적 정책의 구조:

Deterministic: 확률적 정책보다 결정적 정책이 항상 존재
Stationary: 시간에 독립적인 정책으로 충분
Greedy: 최적 가치 함수에 대해 탐욕적 선택

최적 정책 찾기의 어려움:

탐험 딜레마: 최적을 찾으려면 탐험 필요, 하지만 탐험은 비최적
지역 최적: 정책 공간에서 지역 최적에 빠질 위험
계산 복잡도: 일반적으로 NP-hard 문제

실무에서의 접근:

ε-optimal: 거의 최적인 정책으로 타협
Approximation: 함수 근사로 실용적 해 구하기
Online Learning: 경험하면서 점진적으로 개선

7.3 Optimal Value Functions

Optimal State Value: v*(s) = max_π vπ(s) Optimal Action Value: q*(s,a) = max_π qπ(s,a)

관계식: v*(s) = max_a q*(s,a)

7.4 Bellman Optimality Equations

State Value: v*(s) = max_a [R(s,a) + γ Σ P(s'|s,a) v*(s')]

Action Value: q*(s,a) = R(s,a) + γ Σ P(s'|s,a) max_a' q*(s',a')

핵심 차이점: 기댓값(평균) → 최댓값(최적화)

7.5 최적성 방정식의 의미

탐욕적 선택: 각 상태에서 가장 좋은 행동만 선택
일관성: 부분 문제의 최적해가 전체 문제의 최적해를 구성
동적 계획법의 원리: Principle of Optimality

8. 벨만 방정식의 한계와 실제 해결의 어려움

8.1 이론은 완벽한데 실제로는...

벨만 방정식을 통해 이론적으로는 완벽한 해답을 얻었음:

Prediction: vπ(s) = Σ π(a|s) [R(s,a) + γ Σ P(s'|s,a) vπ(s')]
Control: v*(s) = max_a [R(s,a) + γ Σ P(s'|s,a) v*(s')]

하지만 실제로 풀려면...

문제 1: 계산 복잡도

상태 수가 많으면: 체스(10^40), 바둑(10^170) → 불가능
연립방정식: n개 상태면 n×n 행렬 연산 필요
실시간 요구: 로봇은 1ms 내에 결정해야 함

문제 2: 모델을 모름

전이확률 P: 실제 환경에서는 모르는 경우가 대부분
보상함수 R: 명확하지 않거나 복잡함
예시: 자율주행에서 "비 올 때 브레이크 밟으면 미끄러질 확률"을 정확히 아는가?

문제 3: 연속 공간

상태 공간: 로봇 팔의 각도(무한한 실수값)
행동 공간: 자동차의 스티어링 각도(연속값)
벨만 방정식: 이산적 합계 기반 → 적용 어려움

8.2 그럼 어떻게 해결할까?

접근 방향들:

모델을 알 때: Dynamic Programming 사용
모델을 모를 때: 경험으로 학습 (Model-free)
상태가 많을 때: 함수 근사 (Function Approximation)
연속 공간: 샘플링이나 근사 기법

이제 구체적인 해결 방법들을 알아보자.

9. MDP 해결 방법

9.1 Dynamic Programming (모델 기반)

언제 사용: 전이확률 P와 보상함수 R을 정확히 아는 경우

Value Iteration

아이디어: 벨만 최적성 방정식을 반복적으로 적용
알고리즘: v_{k+1}(s) = max_a [R(s,a) + γ Σ P(s'|s,a) v_k(s')]
장점: 구현 간단, 수렴 보장
단점: 각 iteration마다 모든 상태 업데이트 필요
복잡도: 메모리 O(|S|), 시간 O(|S|²|A|) per iteration

Policy Iteration

아이디어: 정책 평가 → 정책 개선 반복
단계:
1. Policy Evaluation: 현재 정책의 가치 계산
2. Policy Improvement: 가치 기반으로 정책 개선
장점: 보통 Value Iteration보다 빠름
단점: 각 iteration에서 정책 평가가 비쌈

Dynamic Programming의 한계: 모델을 알아야 하고, 상태 수가 많으면 불가능

9.2 Model-free Methods (모델 모름)

동기: "실제 환경에서는 P와 R을 모르는데, 어떻게 학습하지?"

핵심 아이디어: 환경과 상호작용해서 경험으로 학습

Monte Carlo

아이디어: 실제 궤적을 여러 번 실행해서 Return 평균 계산
방법: v(s) ≈ 상태 s에서 시작한 여러 episode들의 Return 평균
장점: Unbiased (편향 없음), 간단한 개념
단점: High variance, Episode 끝나야 학습 가능
예시: 게임을 100번 해보고 각 상황의 평균 점수 계산

Temporal Difference (TD)

아이디어: 부트스트래핑으로 실시간 가치 업데이트
핵심: v(s) ← v(s) + α[r + γv(s') - v(s)]
장점: Online 학습, Low variance
단점: Biased (편향 있음), 수렴 조건 까다로움
예시: 한 스텝만 가보고 바로 예측 업데이트

Model-free의 핵심: 실제 경험 데이터로 벨만 방정식을 근사적으로 풀기

9.3 대규모 문제를 위한 근사 방법

동기: "상태가 백만 개인데 어떻게 테이블로 저장하지?"

Function Approximation

문제: 상태 수가 10^6 이상이면 table 방식 불가능

해결책: 가치 함수를 함수로 근사

Linear: v(s) ≈ θᵀφ(s) (feature의 가중합)
Neural Network: v(s) ≈ NN(s; θ) (딥러닝)

장단점:

Linear: 빠르고 수렴 보장, 하지만 표현력 제한
Non-linear: 표현력 좋지만 수렴 보장 어려움
Deep RL: 복잡한 환경에서 성공, 하지만 불안정

차원 축소 방법들

Feature Engineering: 중요한 특징만 추출
계층적 강화학습: 큰 문제를 작은 문제들로 분할
State Abstraction: 비슷한 상태들을 묶어서 처리

10. 정리: 이론에서 실제로

10.1 MDP의 계층 구조

Markov Property → 기본 가정
Markov Process → 상태 전이만
Markov Reward Process → 보상 추가 → "어떤 상태가 좋은가?"
Markov Decision Process → 의사결정 추가 → "어떻게 행동해야 하는가?"

10.2 문제 해결의 흐름

Prediction: "주어진 정책이 얼마나 좋은가?" → Bellman Expectation
Control: "가장 좋은 정책은 무엇인가?" → Bellman Optimality
Implementation: "실제로 어떻게 풀 것인가?" → RL 알고리즘들

10.3 이론과 실제의 간극을 메우는 방법들

완벽한 이론 (벨만 방정식)
      ↓
실제 한계들 (계산복잡도, 모델 무지, 대규모 공간)
      ↓  
해결 방법들 (DP, Model-free, Function Approximation)
      ↓
현대 강화학습 알고리즘들

10.4 핵심 통찰

Bellman 방정식은 "현재 = 즉시 + 할인된 미래"의 구조
최적성은 탐욕적 선택으로 달성 가능
이론은 방향을 제시하고, 실제 방법들은 근사적으로 구현

10.5 MDP에서 실제 RL로

Model-free: 환경과 상호작용하며 학습
Function Approximation: 큰 상태 공간 처리
Online Learning: 실시간 개선
Generalization: 미경험 상태 처리

10.6 현대 강화학습의 도전

Sample Efficiency: 적은 경험으로 빠른 학습
Transfer Learning: 다른 환경으로 지식 전이
Multi-agent: 여러 에이전트가 동시에 학습
Partial Observability: 불완전한 관측 환경
Continuous Control: 연속적 행동 공간
Safety: 학습 중 안전성 보장

10.7 실무 팁

간단한 환경부터: Gridworld → Cartpole → Atari
시각화: 가치 함수와 정책을 그래프로 확인
하이퍼파라미터: 할인율부터 신중하게 선택
디버깅: 이론적 예상과 실제 결과 비교

MDP는 강화학습의 수학적 기초이며, 실제 알고리즘들은 모두 이 이론에서 출발함. **"왜 이 개념이 필요한가?"**부터 시작해서 자연스럽게 벨만 방정식에 도달하고, **"이론은 좋은데 실제로는 어떻게?"**라는 질문으로 구체적 해결 방법들까지 연결되는 것이 핵심임.

+) 용어

Trajectory
- 에이전트는 이따금 자신의 상태에 따른 보상(reward)을 받는다. 에이전트가 지나온 일련의 상태와 행동을 궤적(trajectory)이라고도 한다. 에이전트가 상태에서 보상을 받았다고 할 때, 이 보상으로 이끈 궤적은 S_0,a_0,S_1,a_1,S_2가 된다.
Rollout
- 데이터 transition {(s,a,s',r)}을 얻기 위해 에이전트와 환경이 1번(or n번) 상호작용 하는 것(sample)을 의미한다. trajectory의 경우 한 에피소드 전체를 바라보고, reward가 포함되어 있지 않지만, Rollout은 한번의 상호작용을 하고, reward를 포함한다.

[2025 강화학습 Recap] Chapter 1. Introduction to Reinforcement Learning

땽뚕 — Sun, 10 Aug 2025 10:48:09 +0900

[2025 강화학습 Recap] Chapter 1. Introduction to Reinforcement Learning

1. 강화학습의 기본 개념

인공지능이 체스에서 세계 챔피언을 이기고, 복잡한 비디오 게임을 마스터하며, 자율주행차를 운전하는 모습을 본 적이 있을 것임. 이런 성과들의 공통점은 무엇일까? 바로 시행착오를 통해 스스로 학습한다는 점임.
강화학습은 정답이 주어지지 않은 상황에서 환경과의 상호작용을 통해 최적의 행동을 학습하는 방법임. 지도학습처럼 "이것이 정답이다"라고 알려주는 대신, 오직 "좋다" 또는 "나쁘다"는 보상 신호만으로 학습함. 마치 아기가 걸음마를 배우듯, 넘어지고 일어서기를 반복하면서 점점 더 나은 방법을 찾아가는 과정임.
이 장에서는 강화학습의 기본 개념과 구조를 전반적으로 살펴볼 예정임. 에이전트와 환경이라는 핵심 요소부터 시작해서, 상태, 행동, 보상이라는 기본 구성요소들을 이해하고, 탐험과 활용의 딜레마 같은 강화학습만의 특별한 도전과제들도 다룰 것임.
복잡해 보이지만 핵심 아이디어는 단순함. 좋은 결과를 가져다주는 행동은 더 자주 하고, 나쁜 결과를 가져다주는 행동은 덜 하는 것. 이 간단한 원리가 어떻게 놀라운 지능적 행동으로 발전하는지 함께 알아보자.

1.1 강화학습이란

강화학습은 환경과의 상호작용을 통해 최적의 행동을 학습하는 방법임. 지도학습과 달리 정답 데이터가 없고, 오직 보상(reward) 신호만으로 학습함.

실생활 예시: 아기가 걸음마를 배우는 과정

아기(Agent)가 여러 움직임을 시도해봄
넘어지면 불편함(음수 보상), 잘 걸으면 기쁨(양수 보상)
점차 더 나은 걸음걸이를 학습
누구도 "이렇게 걸어야 한다"고 정답을 알려주지 않음

1.2 강화학습의 4가지 핵심 특징

감독자 없음 - 오직 reward signal만 존재
- 지도학습처럼 "정답"이 주어지지 않음
- 좋고 나쁨만 알 수 있음 (점수로만 피드백)
지연된 피드백 - 행동의 결과가 즉시 나타나지 않음
- 체스에서 초반 수가 승부에 영향을 주지만 바로 알 수 없음
- Credit Assignment Problem: 어떤 행동이 최종 결과에 기여했는지 파악하기 어려움
시간의 중요성 - 연속적이며 독립적이지 않은 데이터
- 이전 행동이 현재 상황에 영향을 줌
- 순서가 바뀌면 완전히 다른 문제가 됨
행동의 영향 - Agent의 행동이 이후 받는 데이터에 영향을 줌
- Active Learning: Agent가 직접 데이터를 생성
- 잘못된 탐험으로 나쁜 상태에 빠질 위험

2. 강화학습의 구조

2.1 핵심 구성요소

Agent (에이전트)

학습하고 결정을 내리는 주체
Environment와 상호작용하며 경험을 쌓음

Environment (환경)

Agent가 행동하는 외부 세계
Agent의 행동에 대해 새로운 상태와 보상을 제공

State (상태)

현재 상황에 대한 정보
다음 행동을 결정하는 데 필요한 정보
핵심: 상태는 미래 예측에 필요한 모든 정보를 담아야 함

Action (행동)

Agent가 취할 수 있는 행위
환경에 영향을 주어 상태 변화를 일으킴
Discrete Action: 체스의 말 이동 (유한한 선택지)
Continuous Action: 로봇 팔의 관절 각도 (무한한 실수값)

Reward (보상)

행동에 대한 피드백 신호 (스칼라 값)
Agent가 얼마나 잘 수행했는지를 나타냄
Reward Hypothesis: 모든 목표는 누적 보상의 최대화로 표현 가능
Reward Shaping: 학습을 돕기 위해 중간 보상을 설계하는 기법

2.2 상태(State)의 종류

Environment State

환경의 내부적 표현
보통 Agent에게는 보이지 않음
보인다 해도 불필요한 정보가 포함될 수 있음

Agent State

Agent의 내부적 표현
다음 행동을 결정할 때 사용하는 정보
강화학습에서 가장 중요한 상태

Markov State

미래 예측에 필요한 모든 정보를 포함
과거 히스토리가 아닌 현재 상태만으로 미래를 예측 가능
Markov Property: P(St+1|St) = P(St+1|S1,...,St)
직관적 이해: "현재가 과거와 미래를 분리한다"
예시: 체스에서 현재 말의 배치만 알면 충분 (이전 수순은 중요하지 않음)

2.3 환경의 종류

Fully Observable Environment (완전 관측 환경)

Agent가 Environment State를 직접 관찰 가능
Environment State = Agent State = Markov State
**Markov Decision Process (MDP)**로 모델링
예시: 체스, 바둑 같은 완전정보게임

Partially Observable Environment (부분 관측 환경)

Agent가 Environment State를 간접적으로만 관찰 가능
Environment State ≠ Agent State
**Partially Observable MDP (POMDP)**로 모델링
예시: 포커 (상대방 카드를 모름), 자율주행 (모든 센서 정보가 제한적)
해결 방법:
- 과거 관측들을 기억 (RNN 사용)
- 확률적 추정 (Belief State)
- Attention 메커니즘

3. Agent의 구성요소

3.1 Policy (정책)

상태에서 행동으로의 매핑 함수
Agent의 행동 전략을 정의
Deterministic Policy: 각 상태에서 하나의 행동만 선택
- π(s) = a (상태 s에서 항상 행동 a)
- 예시: 틱택토에서 "가운데가 비어있으면 항상 가운데 선택"
Stochastic Policy: 각 상태에서 행동을 확률적으로 선택
- π(a|s) = P(행동=a|상태=s)
- 예시: "상황에 따라 60% 공격, 40% 수비"
왜 확률적 정책이 필요한가: 상대방이 예측하기 어렵게 만들기 위해

3.2 Value Function (가치 함수)

각 상태 또는 상태-행동 쌍의 가치를 평가
현재부터 종료까지의 예상 누적 보상
정책의 좋고 나쁨을 판단하는 기준

두 가지 주요 타입:

State Value Function V(s): 상태 s에서 시작해서 정책 π를 따를 때의 기댓값
Action Value Function Q(s,a): 상태 s에서 행동 a를 취한 후 정책 π를 따를 때의 기댓값

직관적 이해:

V(s)는 "이 위치가 얼마나 좋은가"
Q(s,a)는 "이 위치에서 이 행동이 얼마나 좋은가"
부동산으로 비유하면 V(s)는 동네 가치, Q(s,a)는 특정 집의 가치

3.3 Model (모델)

환경에 대한 Agent의 표현
다음 상태와 보상을 예측
계획(Planning)에 사용됨

4. Agent의 분류

4.1 가치 기반 vs 정책 기반

Value-based: 가치 함수 학습, 암시적 정책 사용
Policy-based: 정책 직접 학습, 가치 함수 없음
Actor-Critic: 정책과 가치 함수 모두 학습

4.2 모델 기반 vs 모델 프리

Model-based: 환경 모델을 명시적으로 학습
Model-free: 환경 모델 없이 경험으로만 학습

5. 핵심 개념들

5.1 Exploration vs Exploitation

강화학습의 핵심 딜레마

Exploration (탐험)

환경에 대한 새로운 정보 수집
더 좋은 행동을 발견할 가능성
단기적으로는 손해를 볼 수 있음
예시: 새로운 식당을 가보기 (맛없을 수도 있지만 더 맛있는 곳을 발견할 수도)

Exploitation (활용)

현재 알고 있는 정보로 최선의 선택
단기적 보상 최대화
더 좋은 선택을 놓칠 위험
예시: 항상 같은 맛집만 가기 (안전하지만 더 좋은 곳을 놓칠 수 있음)

균형점 찾기가 중요함

해결 방법들:

ε-greedy: ε 확률로 랜덤 행동, (1-ε) 확률로 최선 행동
Upper Confidence Bound (UCB): 불확실성까지 고려한 선택
Thompson Sampling: 베이지안 방법론 활용

5.2 Prediction vs Control

Prediction (예측)

주어진 정책에 대해 가치 함수 계산
"이 정책을 따르면 얼마나 좋을까?"
Policy Evaluation 과정

Control (제어)

최적 정책을 찾는 과정
"어떤 정책이 가장 좋을까?"
Policy Improvement 과정

6. Sequential Decision Making

6.1 특징

미래의 총 보상을 최대화하는 행동 선택
행동들이 장기적 결과를 가질 수 있음
즉시 보상을 희생하여 장기 보상을 얻을 수 있음

핵심 개념들:

Discount Factor (γ): 미래 보상을 현재 가치로 할인
- γ = 0: 근시안적 (즉시 보상만 고려)
- γ = 1: 원시안적 (모든 미래 보상 동등하게 고려)
- 보통 0.9-0.99 사용
Return: 할인된 미래 보상들의 합
Episodic vs Continuing: 종료가 있는 작업 vs 무한히 계속되는 작업

6.2 Planning vs Reinforcement Learning

Planning

환경 모델이 알려져 있음
모델을 이용한 계산
외부 상호작용 없음

Reinforcement Learning

환경 모델이 알려져 있지 않음
환경과의 상호작용 필요
경험을 통한 학습

7. 주요 알고리즘 분류

7.1 Model-free 알고리즘

Value-based: Q-Learning, SARSA, DQN
- Q-Learning: Off-policy, 최적 정책 직접 학습
- SARSA: On-policy, 현재 정책을 따라 학습
- DQN: 딥러닝 + Q-Learning (Atari 게임에서 유명)
Policy-based: Policy Gradient, REINFORCE
- 정책을 직접 최적화
- 연속 행동 공간에 유리
- 안정적이지만 학습이 느림
Actor-Critic: A3C, PPO, SAC
- Policy-based + Value-based의 장점 결합
- Actor: 정책 학습, Critic: 가치 함수 학습
- 현재 가장 인기 있는 방법들

7.2 Model-based 알고리즘

Dynamic Programming: Value Iteration, Policy Iteration
- 환경 모델이 완전히 알려져 있을 때 사용
- 이론적으로 완벽하지만 실제로는 제한적
Monte Carlo Tree Search
- 알파고에서 사용된 기법
- 트리 탐색 + 몬테카를로 시뮬레이션
Model-based RL: Dyna-Q, PILCO
- 환경 모델을 학습하면서 동시에 정책 학습
- Sample efficiency가 높지만 모델 오차 문제

8. 실제 구현시 고려사항

8.1 주요 도전과제

Sample Efficiency: 적은 데이터로 효과적 학습
Generalization: 학습하지 않은 상황에서도 동작
Stability: 학습 과정에서 성능이 요동치지 않게
Safety: 학습 중 위험한 행동 방지

8.2 하이퍼파라미터 튜닝

Learning Rate: 너무 크면 불안정, 너무 작으면 느림
Batch Size: 클수록 안정적이지만 메모리 많이 사용
Network Architecture: 문제에 따라 적절한 구조 선택
Reward Engineering: 좋은 보상 함수 설계가 성공의 열쇠

강화학습은 이론적으로는 간단하지만 실제 구현과 적용에서는 많은 고려사항들이 있음. 특히 exploration-exploitation 균형과 sample efficiency가 주요 도전과제임.

Understanding Reasoning LLMs 번역

땽뚕 — Sun, 10 Aug 2025 10:47:11 +0900

[원문] https://magazine.sebastianraschka.com/p/understanding-reasoning-llms

추론 LLM 이해하기

이 아티클은 추론 모델을 구축하는 네 가지 주요 접근법, 즉 LLM에 추론 능력을 향상시키는 방법에 대해 설명함. 이 글이 가치 있는 통찰을 제공하고 이 주제를 둘러싼 빠르게 발전하는 문헌과 과대광고를 탐색하는 데 도움이 되길 바람.

2024년에 LLM 분야는 점점 더 전문화되는 모습을 보임. 사전 훈련과 파인튜닝을 넘어서, RAG부터 코드 어시스턴트까지 전문화된 애플리케이션의 부상을 목격함. 이 트렌드가 2025년에도 가속화될 것으로 예상되며, 도메인과 애플리케이션 특화 최적화(즉, "전문화")에 더욱 중점을 둘 것임.

1-3단계가 LLM 개발의 일반적인 단계들임. 4단계는 특정 사용 사례를 위해 LLM을 전문화함.

추론 모델의 개발은 이러한 전문화 중 하나임. 이는 퍼즐, 고급 수학, 코딩 챌린지와 같이 중간 단계가 있어야 가장 잘 해결되는 복잡한 작업에서 뛰어난 성과를 내도록 LLM을 개선한다는 의미임. 하지만 이 전문화가 다른 LLM 애플리케이션을 대체하는 것은 아님. LLM을 추론 모델로 변환하는 것도 나중에 논의할 특정 단점들을 도입하기 때문임.

아래 내용을 간략히 살펴보면, 이 글에서 다룰 내용들:

"추론 모델"의 의미 설명
추론 모델의 장단점 논의
DeepSeek R1 뒤의 방법론 개요
추론 모델을 구축하고 개선하는 네 가지 주요 접근법 설명
DeepSeek V3와 R1 출시 이후 LLM 환경에 대한 생각 공유
제한된 예산으로 추론 모델을 개발하는 팁 제공

AI가 올해 급속한 발전을 계속하는 가운데 이 글이 유용하길 바람!

"추론 모델"을 어떻게 정의할까?

AI(또는 일반적으로 머신러닝) 분야에서 일한다면, 모호하고 격렬하게 논쟁되는 정의들에 익숙할 것임. "추론 모델"이라는 용어도 예외가 아님. 결국 누군가가 논문에서 공식적으로 정의하고, 다음 논문에서 다시 정의되고, 이런 식으로 계속됨.

이 글에서는 "추론"을 중간 단계가 필요한 복잡하고 다단계 생성을 요구하는 질문에 답하는 과정으로 정의함. 예를 들어, "프랑스의 수도는 무엇인가?"와 같은 사실적 질문 답변은 추론을 포함하지 않음. 반면, "기차가 시속 60마일로 움직이며 3시간 동안 여행한다면, 얼마나 멀리 갈까?"와 같은 질문은 간단한 추론이 필요함. 예를 들어, 답에 도달하기 전에 거리, 속도, 시간 간의 관계를 인식해야 함.

일반적인 LLM은 짧은 답만 제공할 수 있지만(왼쪽에 표시된 것처럼), 추론 모델은 일반적으로 사고 과정의 일부를 드러내는 중간 단계를 포함함. (추론 작업을 위해 특별히 개발되지 않은 많은 LLM들도 답변에서 중간 추론 단계를 제공할 수 있다는 점 참고.)

대부분의 현대 LLM들은 기본적인 추론이 가능하며 "기차가 시속 60마일로 움직이며 3시간 동안 여행한다면, 얼마나 멀리 갈까?"와 같은 질문에 답할 수 있음. 그래서 오늘날 추론 모델이라고 할 때는 일반적으로 퍼즐 해결, 수수께끼, 수학적 증명과 같은 더 복잡한 추론 작업에서 뛰어난 LLM을 의미함.

또한, 오늘날 추론 모델로 브랜딩된 대부분의 LLM들은 응답의 일부로 "사고" 또는 "생각" 과정을 포함함. LLM이 실제로 "생각"하는지와 어떻게 생각하는지는 별개의 논의임.

추론 모델의 중간 단계는 두 가지 방식으로 나타날 수 있음. 첫째, 이전 그림에서 보여진 것처럼 응답에 명시적으로 포함될 수 있음. 둘째, OpenAI의 o1과 같은 일부 추론 LLM은 사용자에게 보여지지 않는 중간 단계를 가진 여러 반복을 실행함.

"추론"은 두 가지 다른 수준에서 사용됨: 1) 입력을 처리하고 여러 중간 단계를 통해 생성하는 것과 2) 사용자에게 응답의 일부로 어떤 종류의 추론을 제공하는 것.

언제 추론 모델을 사용해야 할까?

추론 모델을 정의했으니, 이제 더 흥미로운 부분으로 넘어갈 수 있음: 추론 작업을 위해 LLM을 구축하고 개선하는 방법. 하지만 기술적 세부사항에 들어가기 전에, 추론 모델이 실제로 언제 필요한지 고려하는 것이 중요함.

언제 추론 모델이 필요할까? 추론 모델은 퍼즐 해결, 고급 수학 문제, 도전적인 코딩 작업과 같은 복잡한 작업에 좋도록 설계됨. 하지만 요약, 번역, 또는 지식 기반 질문 답변과 같은 간단한 작업에는 필요하지 않음. 실제로 모든 것에 추론 모델을 사용하는 것은 비효율적이고 비쌀 수 있음. 예를 들어, 추론 모델은 일반적으로 사용하기 더 비싸고, 더 장황하며, "과도한 사고" 때문에 때때로 오류에 더 취약함. 여기서도 간단한 규칙이 적용됨: 작업에 적합한 도구(또는 LLM의 유형)를 사용하라.
추론 모델의 주요 강점과 제한사항이 아래 그림에 요약되어 있음.

추론 모델의 주요 강점과 약점.

DeepSeek 훈련 파이프라인 간략히 살펴보기

다음 섹션에서 추론 모델을 구축하고 개선하는 네 가지 주요 접근법을 논의하기 전에, DeepSeek R1 기술 보고서에 설명된 DeepSeek R1 파이프라인을 간략히 설명하고 싶음. 이 보고서는 흥미로운 사례 연구이자 추론 LLM 개발을 위한 청사진 역할을 함.

DeepSeek은 단일 R1 추론 모델을 출시한 것이 아니라 세 가지 서로 다른 변형을 도입했음: DeepSeek-R1-Zero, DeepSeek-R1, DeepSeek-R1-Distill.
기술 보고서의 설명을 바탕으로, 아래 다이어그램에서 이러한 모델들의 개발 과정을 요약함.

DeepSeek R1 기술 보고서에서 논의된 DeepSeek의 세 가지 다른 추론 모델의 개발 과정.

다음으로, 위 다이어그램에 표시된 과정을 간략히 살펴보겠음. 더 자세한 내용은 추론 모델을 구축하고 개선하는 네 가지 주요 접근법을 논의하는 다음 섹션에서 다룰 예정임.

(1) DeepSeek-R1-Zero: 이 모델은 2024년 12월에 출시된 671B 사전 훈련된 DeepSeek-V3 기본 모델을 기반으로 함. 연구팀은 두 가지 유형의 보상을 사용하여 강화학습(RL)으로 훈련시킴. 이 접근법은 일반적으로 인간 피드백을 통한 강화학습(RLHF)의 일부인 지도 파인튜닝(SFT) 단계를 포함하지 않았기 때문에 "콜드 스타트" 훈련이라고 불림.

(2) DeepSeek-R1: 이것은 DeepSeek-R1-Zero를 기반으로 구축된 DeepSeek의 플래그십 추론 모델임. 팀은 추가적인 SFT 단계와 추가 RL 훈련으로 더욱 개선하여, "콜드 스타트"된 R1-Zero 모델을 향상시킴.
(3) DeepSeek-R1-Distill: 이전 단계에서 생성된 SFT 데이터를 사용하여, DeepSeek 팀은 Qwen과 Llama 모델을 파인튜닝하여 추론 능력을 향상시킴. 전통적인 의미의 증류는 아니지만, 이 과정은 더 큰 DeepSeek-R1 671B 모델의 출력으로 더 작은 모델들(Llama 8B와 70B, Qwen 1.5B-30B)을 훈련시키는 것을 포함함.

추론 모델을 구축하고 개선하는 4가지 주요 방법

이 섹션에서는 LLM의 추론 능력을 향상시키고 DeepSeek-R1, OpenAI의 o1 & o3와 같은 전문화된 추론 모델을 구축하는 데 현재 사용되는 핵심 기술들을 개괄할 것임.
참고: o1과 o3의 정확한 작동 방식은 OpenAI 외부에서는 알려지지 않음. 하지만 추론과 훈련 기법의 조합을 활용한다는 소문이 있음.

1) 추론 시간 스케일링

LLM의 추론 능력(또는 일반적으로 모든 능력)을 향상시키는 한 가지 방법은 추론 시간 스케일링임. 이 용어는 여러 의미를 가질 수 있지만, 이 맥락에서는 추론 중에 계산 자원을 늘려 출력 품질을 향상시키는 것을 의미함.

대략적인 비유로, 인간들이 복잡한 문제를 생각할 시간을 더 많이 받으면 더 나은 응답을 생성하는 경향이 있음. 마찬가지로, LLM이 답을 생성하는 동안 더 "생각"하도록 격려하는 기법들을 적용할 수 있음. (물론 LLM이 실제로 "생각"하는지는 다른 논의임.)

추론 시간 스케일링의 한 가지 직접적인 접근법은 영리한 프롬프트 엔지니어링임. 전형적인 예는 연쇄 사고(CoT) 프롬프팅으로, 입력 프롬프트에 "단계별로 생각해보세요"와 같은 구문을 포함함. 이는 모델이 최종 답으로 직접 뛰어넘기보다는 중간 추론 단계를 생성하도록 격려하며, 이는 종종(항상은 아니지만) 더 복잡한 문제에서 더 정확한 결과로 이어질 수 있음. ("프랑스의 수도는 무엇인가?"와 같은 간단한 지식 기반 질문에는 이 전략을 사용하는 것이 의미가 없다는 점 참고. 이는 다시 주어진 입력 쿼리에서 추론 모델이 의미가 있는지 알아내는 좋은 경험칙임.)

2022년 Large Language Models are Zero-Shot Reasoners 논문의 고전적인 CoT 프롬프팅 예시.

앞서 언급한 CoT 접근법은 더 많은 출력 토큰을 생성하여 추론을 더 비싸게 만들기 때문에 추론 시간 스케일링으로 볼 수 있음.

추론 시간 스케일링의 또 다른 접근법은 투표와 검색 전략의 사용임. 간단한 예는 다수결 투표로, LLM이 여러 답을 생성하게 하고 다수결 투표로 올바른 답을 선택함. 마찬가지로, 빔 서치와 다른 검색 알고리즘을 사용하여 더 나은 응답을 생성할 수 있음.

다양한 검색 기반 방법들은 최고의 답을 선택하기 위해 프로세스 보상 기반 모델에 의존함. LLM Test-Time Compute 논문의 주석이 달린 그림.

DeepSeek R1 기술 보고서는 일반적인 추론 시간 스케일링 방법들(프로세스 보상 모델 기반 및 몬테카를로 트리 검색 기반 접근법 등)을 "실패한 시도들" 아래로 분류함. 이는 DeepSeek이 V3 기본 모델에 비해 암시적인 추론 시간 스케일링 형태 역할을 하는 더 긴 응답을 생성하는 R1 모델의 자연스러운 경향을 넘어서는 이러한 기법들을 명시적으로 사용하지 않았음을 시사함.

하지만 명시적인 추론 시간 스케일링은 종종 LLM 자체 내에서가 아니라 애플리케이션 계층에서 구현되므로, DeepSeek도 여전히 앱 내에서 그러한 기법들을 적용할 수 있음.

OpenAI의 o1과 o3 모델이 추론 시간 스케일링을 사용한다고 의심하며, 이는 GPT-4o와 같은 모델에 비해 상대적으로 비싼 이유를 설명할 것임. 추론 시간 스케일링에 더해, o1과 o3는 아마도 DeepSeek R1에 사용된 것과 유사한 RL 파이프라인을 사용하여 훈련되었을 것임. 아래 다음 두 섹션에서 강화학습에 대해 더 다룰 예정임.

2) 순수 강화학습(RL)

DeepSeek R1 논문에서 개인적으로 가장 흥미로운 부분 중 하나는 순수 강화학습(RL)에서 추론이 행동으로 나타난다는 발견임. 이것이 더 자세히 무엇을 의미하는지 탐구해보겠음.

앞서 개괄한 바와 같이, DeepSeek은 세 가지 유형의 R1 모델을 개발함. 첫 번째인 DeepSeek-R1-Zero는 2024년 12월에 출시한 표준 사전 훈련된 LLM인 DeepSeek-V3 기본 모델 위에 구축됨. RL 전에 지도 파인튜닝(SFT)이 적용되는 일반적인 RL 파이프라인과 달리, DeepSeek-R1-Zero는 아래 다이어그램에서 강조된 바와 같이 초기 SFT 단계 없이 독점적으로 강화학습으로만 훈련됨.

DeepSeek-R1-Zero 모델의 개발 과정.

여전히 이 RL 과정은 LLM을 선호도 튜닝하는 데 일반적으로 사용되는 RLHF 접근법과 유사함. (RLHF에 대해서는 LLM Training: RLHF and Its Alternatives 글에서 더 자세히 다룸.) 하지만 위에서 언급했듯이, DeepSeek-R1-Zero의 주요 차이점은 명령어 튜닝을 위한 지도 파인튜닝(SFT) 단계를 건너뛰었다는 것임. 이것이 "순수" RL이라고 부르는 이유임. (비록 LLM 맥락에서의 RL은 전통적인 RL과 상당히 다르며, 이는 다른 시점의 주제임.)

보상의 경우, 인간 선호도로 훈련된 보상 모델을 사용하는 대신, 두 가지 유형의 보상을 사용함: 정확도 보상과 형식 보상.

정확도 보상은 LeetCode 컴파일러를 사용하여 코딩 답을 검증하고 수학적 응답을 평가하는 결정론적 시스템을 사용함.
형식 보상은 LLM 판사에 의존하여 응답이 추론 단계를 <think> 태그 안에 배치하는 것과 같은 예상 형식을 따르는지 확인함.

놀랍게도, 이 접근법은 LLM이 기본적인 추론 기술을 개발하기에 충분함. 연구자들은 모델이 명시적으로 그렇게 하도록 훈련받지 않았음에도 불구하고 응답의 일부로 추론 추적을 생성하기 시작하는 "아하!" 순간을 관찰함. 아래 그림에서 보여지는 것처럼.

"아하" 순간의 출현을 보여주는 DeepSeek R1 기술 보고서의 그림.

R1-Zero는 최고 성능의 추론 모델은 아니지만, 위 그림에서 보여지는 것처럼 중간 "생각" 단계를 생성하여 추론 능력을 보여줌. 이는 순수 RL을 사용하여 추론 모델을 개발하는 것이 가능하다는 것을 확인하며, DeepSeek 팀이 이 접근법을 최초로 증명(또는 적어도 발표)함.

3) 지도 파인튜닝과 강화학습 (SFT + RL)

다음으로, 추론 모델 구축을 위한 청사진 역할을 하는 DeepSeek의 플래그십 추론 모델인 DeepSeek-R1의 개발을 살펴보겠음. 이 모델은 추론 성능을 향상시키기 위해 추가적인 지도 파인튜닝(SFT)과 강화학습(RL)을 통합하여 DeepSeek-R1-Zero를 개선함.

실제로 표준 RLHF 파이프라인에서 볼 수 있듯이 RL 전에 SFT 단계를 포함하는 것은 일반적임. OpenAI의 o1도 유사한 접근법을 사용하여 개발되었을 가능성이 높음.

DeepSeek-R1 모델의 개발 과정.

위 다이어그램에서 보여지는 것처럼, DeepSeek 팀은 DeepSeek-R1-Zero를 사용하여 "콜드 스타트" SFT 데이터라고 부르는 것을 생성함. "콜드 스타트"라는 용어는 이 데이터가 자체적으로 지도 파인튜닝(SFT) 데이터로 훈련받지 않은 DeepSeek-R1-Zero에 의해 생성되었다는 사실을 의미함.
이 콜드 스타트 SFT 데이터를 사용하여, DeepSeek은 명령어 파인튜닝을 통해 모델을 훈련시킨 후, 또 다른 강화학습(RL) 단계를 거침. 이 RL 단계는 DeepSeek-R1-Zero의 RL 과정에서 사용된 동일한 정확도와 형식 보상을 유지함. 하지만 응답 내에서 여러 언어를 전환하는 언어 혼합을 방지하기 위해 일관성 보상을 추가함.
RL 단계 다음에는 또 다른 SFT 데이터 수집 라운드가 이어짐. 이 단계에서는 가장 최근의 모델 체크포인트를 사용하여 600K 연쇄 사고(CoT) SFT 예시를 생성하고, DeepSeek-V3 기본 모델을 사용하여 추가로 200K 지식 기반 SFT 예시를 생성함.
- 이 600K + 200K SFT 샘플들은 최종 RL 라운드를 따르기 전에 DeepSeek-V3 기본을 명령어 파인튜닝하는 데 사용됨. 이 단계에서 수학과 코딩 질문에는 다시 정확도 보상을 위한 규칙 기반 방법을 사용하고, 다른 질문 유형에는 인간 선호도 라벨을 사용함. 전체적으로 이는 SFT 데이터에 (더 많은) CoT 예시가 포함되어 있다는 것을 제외하고는 일반적인 RLHF와 매우 유사함. 그리고 RL은 인간 선호도 기반 보상에 더해 검증 가능한 보상을 가짐.

최종 모델인 DeepSeek-R1은 아래 표에서 보여지는 것처럼 추가적인 SFT와 RL 단계 덕분에 DeepSeek-R1-Zero에 비해 눈에 띄는 성능 향상을 보임.

OpenAI O1과 DeepSeek R1 모델들의 벤치마크 비교. DeepSeek-R1 기술 보고서의 주석이 달린 그림.

4) 순수 지도 파인튜닝(SFT)과 증류

지금까지 추론 모델을 구축하고 개선하는 세 가지 핵심 접근법을 다룸:

기본 모델을 훈련하거나 수정하지 않고 추론 능력을 향상시키는 기법인 추론 시간 스케일링.
DeepSeek-R1-Zero에서처럼 지도 파인튜닝 없이도 추론이 학습된 행동으로 나타날 수 있음을 보여준 순수 강화학습(RL).
DeepSeek의 플래그십 추론 모델인 DeepSeek-R1로 이어진 지도 파인튜닝(SFT) + RL.

그럼 남은 것은? 모델 "증류"임.

놀랍게도, DeepSeek은 증류라고 부르는 과정을 통해 훈련된 더 작은 모델들도 출시함. 하지만 LLM의 맥락에서 증류는 딥러닝에서 사용되는 고전적인 지식 증류 접근법을 반드시 따르지는 않음. 전통적으로, 지식 증류에서는(Machine Learning Q and AI 책의 6장에서 간략히 설명된 바와 같이), 더 작은 학생 모델이 더 큰 교사 모델의 로짓과 타겟 데이터셋 모두로 훈련됨.

대신, 여기서 증류는 Llama 8B와 70B, Qwen 2.5 모델(0.5B부터 32B까지)과 같은 더 작은 LLM들을 더 큰 LLM들에 의해 생성된 SFT 데이터셋으로 명령어 파인튜닝하는 것을 의미함. 구체적으로, 이러한 더 큰 LLM들은 DeepSeek-V3와 DeepSeek-R1의 중간 체크포인트임. 실제로, 이 증류 과정에 사용된 SFT 데이터는 이전 섹션에서 설명한 대로 DeepSeek-R1을 훈련하는 데 사용된 동일한 데이터셋임.

이 과정을 명확히 하기 위해, 아래 다이어그램에서 증류 부분을 강조함.

DeepSeek-R1-Distill 모델들의 개발 과정.

왜 이러한 증류된 모델들을 개발했을까? 개인적으로 두 가지 핵심 이유가 있다고 생각함:

더 작은 모델들이 더 효율적임. 이는 실행 비용이 더 저렴하다는 의미이지만, 또한 더 낮은 사양의 하드웨어에서도 실행할 수 있어서 나와 같은 많은 연구자들과 개발자들에게 특히 흥미로움.
순수 SFT의 사례 연구. 이러한 증류된 모델들은 강화학습 없이 순수 지도 파인튜닝(SFT)만으로 모델이 어디까지 갈 수 있는지를 보여주는 흥미로운 벤치마크 역할을 함.

아래 표는 이러한 증류된 모델들의 성능을 다른 인기 모델들뿐만 아니라 DeepSeek-R1-Zero와 DeepSeek-R1과 비교함.

증류된 모델 대 비증류된 모델의 벤치마크 비교. DeepSeek-R1 기술 보고서의 주석이 달린 그림.

보다시피, 증류된 모델들은 DeepSeek-R1보다는 눈에 띄게 약하지만, 규모가 몇 배 작음에도 불구하고 DeepSeek-R1-Zero에 비해서는 놀랍도록 강함. 또한 이러한 모델들이 o1 mini와 비교해서 얼마나 잘 수행하는지도 흥미로움 (o1-mini 자체도 o1의 유사하게 증류된 버전일 수 있다고 의심함).

이 섹션을 결론으로 마무리하기 전에, 언급할 가치가 있는 한 가지 더 흥미로운 비교가 있음. DeepSeek 팀은 DeepSeek-R1-Zero에서 보인 창발적 추론 행동이 더 작은 모델들에서도 나타날 수 있는지 테스트함. 이를 조사하기 위해, DeepSeek-R1-Zero와 동일한 순수 RL 접근법을 Qwen-32B에 직접 적용함.

이 실험의 결과는 아래 표에 요약되어 있으며, QwQ-32B-Preview는 Qwen 팀이 Qwen 2.5 32B를 기반으로 개발한 참조 추론 모델 역할을 함 (훈련 세부사항은 공개되지 않았다고 생각함). 이 비교는 순수 RL만으로도 DeepSeek-R1-Zero보다 훨씬 작은 모델에서 추론 능력을 유도할 수 있는지에 대한 추가적인 통찰을 제공함.

더 작은 32B 모델에서의 증류와 RL 벤치마크 비교. DeepSeek-R1 기술 보고서의 주석이 달린 그림.

흥미롭게도, 결과들은 증류가 더 작은 모델들에게는 순수 RL보다 훨씬 더 효과적임을 시사함. 이는 RL만으로는 이 규모의 모델에서 강한 추론 능력을 유도하기에 충분하지 않을 수 있는 반면, 고품질 추론 데이터에 대한 SFT는 작은 모델로 작업할 때 더 효과적인 전략이 될 수 있다는 아이디어와 일치함.

완성도를 위해, 표에서 추가적인 비교들을 보는 것이 유용했을 것임:

DeepSeek-R1이 개발된 방식과 유사하게 SFT + RL로 훈련된 Qwen-32B. 이는 순수 RL과 순수 SFT에 비해 RL이 SFT와 결합될 때 얼마나 개선될 수 있는지 결정하는 데 도움이 될 것임.
증류된 모델들이 생성된 방식과 유사하게 순수 SFT로 훈련된 DeepSeek-V3. 이는 RL + SFT가 순수 SFT에 비해 얼마나 효과적인지 직접 비교할 수 있게 해줄 것임.

결론

이 섹션에서는 추론 모델을 구축하고 개선하는 네 가지 다른 전략을 탐구함:

추론 시간 스케일링은 추가 훈련이 필요하지 않지만 추론 비용을 증가시켜서 사용자 수나 쿼리 볼륨이 증가함에 따라 대규모 배포를 더 비싸게 만듦. 그럼에도 불구하고, 이미 강한 모델의 성능을 향상시키는 데는 여전히 당연한 선택임. o1이 추론 시간 스케일링을 활용한다고 강하게 의심하며, 이는 DeepSeek-R1에 비해 토큰당 더 비싼 이유를 설명하는 데 도움이 됨.
순수 RL은 추론을 창발적 행동으로서의 통찰을 제공하기 때문에 연구 목적으로는 흥미로움. 하지만 실용적인 모델 개발에서는 RL + SFT가 더 강한 추론 모델로 이어지므로 선호되는 접근법임. o1도 RL + SFT를 사용하여 훈련되었다고 강하게 의심함. 더 정확히 말하면, o1은 DeepSeek-R1보다 더 약하고 작은 기본 모델에서 시작하지만 RL + SFT와 추론 시간 스케일링으로 보상한다고 믿음.
위에서 언급했듯이, RL + SFT는 고성능 추론 모델을 구축하는 핵심 접근법임. DeepSeek-R1은 이것이 어떻게 이루어질 수 있는지를 보여주는 좋은 청사진임.
증류는 특히 더 작고 효율적인 모델을 만드는 데 매력적인 접근법임. 하지만 한계는 증류가 혁신을 주도하거나 차세대 추론 모델을 생산하지 않는다는 것임. 예를 들어, 증류는 항상 지도 파인튜닝(SFT) 데이터를 생성하기 위해 기존의 더 강한 모델에 의존함.

다음에 보게 될 흥미로운 측면 중 하나는 RL + SFT(접근법 3)와 추론 시간 스케일링(접근법 1)을 결합하는 것임. 이는 아마도 OpenAI o1이 하고 있는 것으로, DeepSeek-R1보다 더 약한 기본 모델을 기반으로 하고 있을 것이며, 이는 DeepSeek-R1이 추론 시간에 상대적으로 저렴하면서도 그렇게 잘 수행하는 이유를 설명함.

DeepSeek R1에 대한 생각

최근 몇 주 동안 많은 사람들이 DeepSeek-R1 모델에 대한 생각을 물어봄. 간단히 말해서, 이들은 놀라운 성취라고 생각함. 연구 엔지니어로서, 내가 배울 수 있는 방법론에 대한 통찰을 제공하는 상세한 기술 보고서를 특히 높이 평가함.
가장 매력적인 결론 중 하나는 순수 RL에서 추론이 행동으로 나타났다는 것임. 그리고 DeepSeek이 Meta의 Llama 모델보다도 더 적은 제한이 있는 허용적인 오픈소스 MIT 라이선스 하에 모델들을 오픈소스화한 것도 인상적임.

o1과 어떻게 비교될까?

DeepSeek-R1이 o1보다 나을까? 대략 비슷한 수준이라고 말하겠음. 하지만 눈에 띄는 것은 DeepSeek-R1이 추론 시간에 더 효율적이라는 것임. 이는 DeepSeek이 훈련 과정에 더 많이 투자한 반면, OpenAI는 o1을 위해 추론 시간 스케일링에 더 의존했을 수 있음을 시사함.
그렇긴 하지만, OpenAI가 o1에 대해 많은 것을 공개하지 않았기 때문에 o1과 DeepSeek-R1을 직접 비교하기는 어려움. 예를 들어, 우리는 다음을 모름:

o1도 전문가 혼합(MoE)인가?
o1은 얼마나 큰가?
o1이 단지 최소한의 RL + SFT와 광범위한 추론 시간 스케일링만을 가진 GPT-4o의 약간 개선된 버전일 수 있을까?

이러한 세부사항들을 모르면, 직접 비교는 여전히 사과와 오렌지를 비교하는 것임.

DeepSeek-R1의 훈련 비용

또 다른 논의점은 DeepSeek-R1 개발 비용이었음. 일부는 약 600만 달러의 훈련 비용을 언급했지만, 아마도 DeepSeek-V3(작년 12월에 출시된 기본 모델)와 DeepSeek-R1을 혼동했을 것임.
600만 달러 추정치는 가정된 GPU 시간당 2달러와 2024년 12월에 원래 논의된 DeepSeek-V3의 최종 훈련 실행에 필요한 GPU 시간 수를 기반으로 함.
하지만 DeepSeek 팀은 R1의 정확한 GPU 시간이나 개발 비용을 공개한 적이 없으므로, 모든 비용 추정치는 순전한 추측임.
어쨌든, 궁극적으로 DeepSeek-R1은 오픈 웨이트 추론 모델의 주요 이정표이며, 추론 시간의 효율성은 OpenAI의 o1에 대한 흥미로운 대안이 됨.

제한된 예산으로 추론 모델 개발하기

DeepSeek-V3와 같은 오픈 웨이트 기본 모델에서 시작하더라도 DeepSeek-R1 수준의 추론 모델을 개발하는 데는 수십만에서 수백만 달러가 필요할 가능성이 높음. 이는 제한된 예산으로 작업하는 연구자나 엔지니어들에게는 낙담스럽게 느껴질 수 있음.

좋은 소식: 증류가 큰 도움이 됨

다행히도, 모델 증류는 더 비용 효율적인 대안을 제공함. DeepSeek 팀은 DeepSeek-R1보다 상당히 작음에도 불구하고 놀랍도록 강한 추론 성능을 달성하는 R1-증류 모델들로 이를 입증함. 하지만 이 접근법도 완전히 저렴하지는 않음. 그들의 증류 과정은 상당한 컴퓨팅을 요구하는 800K SFT 샘플을 사용함.
흥미롭게도, DeepSeek-R1이 출시되기 불과 며칠 전에, 소규모 팀이 단 17K SFT 샘플만을 사용하여 오픈 웨이트 32B 모델을 훈련시킨 매력적인 프로젝트인 Sky-T1에 대한 글을 발견함. 총 비용은? 단 450달러로, 대부분의 AI 컨퍼런스 등록비보다도 적음.
이 예시는 대규모 훈련이 여전히 비싸지만, 더 작고 타겟팅된 파인튜닝 노력들은 여전히 비용의 일부로 인상적인 결과를 낼 수 있음을 강조함.

"Sky-T1: Train your own O1 preview model within $450" 글의 그림.
그들의 벤치마크에 따르면, Sky-T1은 낮은 훈련 비용을 고려할 때 인상적인 o1과 대략 동등한 성능을 보임.

예산 내 순수 RL: TinyZero

Sky-T1이 모델 증류에 초점을 맞춘 반면, "순수 RL" 공간에서도 흥미로운 작업을 발견함. 주목할 만한 예는 DeepSeek-R1-Zero 접근법을 복제하는 3B 파라미터 모델인 TinyZero임 (부수적으로, 훈련 비용이 30달러 미만임).
놀랍게도 단 3B 파라미터에서도 TinyZero는 일부 창발적 자기 검증 능력을 보여주며, 이는 순수 RL을 통해 추론이 나타날 수 있다는 아이디어를, 심지어 작은 모델에서도 지원함.
TinyZero 저장소는 연구 보고서가 아직 작업 중이라고 언급하며, 더 자세한 내용을 확실히 주목하고 있을 것임.

모델이 자기 검증이 가능함을 보여주는 TinyZero 저장소의 그림. (비교를 위해 기본 모델의 응답을 보는 것이 흥미로웠을 것임.)

위에서 언급한 두 프로젝트는 제한된 예산으로도 추론 모델에 대한 흥미로운 작업이 가능함을 보여줌. 두 접근법 모두 DeepSeek-R1의 방법들을 복제하는데, 하나는 순수 RL(TinyZero)에, 다른 하나는 순수 SFT(Sky-T1)에 초점을 맞추고 있어, 이러한 아이디어들이 어떻게 더 확장될 수 있는지 탐구하는 것이 매력적일 것임.
논문의 핵심 아이디어는 "지름길 학습"의 대안으로서 **"여정 학습"**임.

지름길 학습은 모델이 올바른 해결 경로만을 사용하여 훈련되는 명령어 파인튜닝의 전통적인 접근법을 의미함.

반면 여정 학습은 잘못된 해결 경로도 포함하여 모델이 실수로부터 학습할 수 있게 함.

이 접근법은 TinyZero의 순수 RL 훈련에서 관찰된 자기 검증 능력과 어느 정도 관련이 있지만, 전적으로 SFT를 통해 모델을 개선하는 데 초점을 맞춤. 모델을 잘못된 추론 경로와 그 수정에 노출시킴으로써, 여정 학습은 또한 자기 수정 능력을 강화할 수 있어, 잠재적으로 추론 모델을 이런 방식으로 더 신뢰할 수 있게 만들 수 있음.

전통적인 지름길 학습과 달리 SFT 데이터에 잘못된 해결 경로를 포함하는 여정 학습. O1 Replication Journey: A Strategic Progress Report – Part 1의 주석이 달린 그림.

이는 특히 RL 기반 접근법이 계산적으로 비실용적일 수 있는 저예산 추론 모델 개발을 위한 흥미로운 미래 작업 방향이 될 수 있음.
어쨌든, 추론 모델 분야에서 현재 많은 흥미로운 작업이 일어나고 있으며, 앞으로 몇 달 안에 더 많은 흥미진진한 작업을 보게 될 것이 확실함!

논문은 또한 추론 모델을 프롬프팅하는 방법에 대한 몇 가지 통찰을 포함함:
(1) 제로샷이 퓨샷보다 우수함 - 그들의 광범위한 테스트는 퓨샷 프롬프팅이 전통적인 LLM 모범 사례와 달리 일관되게 모델 성능을 저하시킨다는 것을 밝혀냄.(3) 언어 일관성이 중요함 - 프롬프트 전체에서 동일한 언어를 사용하는 것이 중요한데, 프롬프트에 여러 언어가 포함되어 있을 때 모델이 추론 체인에서 언어를 혼합할 수 있기 때문임.
[원문] https://magazine.sebastianraschka.com/p/understanding-reasoning-llms
(2) 직접적인 문제 설명이 승리함 - 모델은 사용자가 단순히 문제를 명시하고 출력 형식을 지정할 때 최고의 성능을 보이며, 복잡한 프롬프팅 패턴을 피함.

추론 LLM 이해하기

1-3단계가 LLM 개발의 일반적인 단계들임. 4단계는 특정 사용 사례를 위해 LLM을 전문화함.

아래 내용을 간략히 살펴보면, 이 글에서 다룰 내용들:

"추론 모델"의 의미 설명
추론 모델의 장단점 논의
DeepSeek R1 뒤의 방법론 개요
추론 모델을 구축하고 개선하는 네 가지 주요 접근법 설명
DeepSeek V3와 R1 출시 이후 LLM 환경에 대한 생각 공유
제한된 예산으로 추론 모델을 개발하는 팁 제공

AI가 올해 급속한 발전을 계속하는 가운데 이 글이 유용하길 바람!

"추론 모델"을 어떻게 정의할까?

언제 추론 모델을 사용해야 할까?

추론 모델의 주요 강점과 약점.

DeepSeek 훈련 파이프라인 간략히 살펴보기

DeepSeek R1 기술 보고서에서 논의된 DeepSeek의 세 가지 다른 추론 모델의 개발 과정.

추론 모델을 구축하고 개선하는 4가지 주요 방법

1) 추론 시간 스케일링

2022년 Large Language Models are Zero-Shot Reasoners 논문의 고전적인 CoT 프롬프팅 예시.

앞서 언급한 CoT 접근법은 더 많은 출력 토큰을 생성하여 추론을 더 비싸게 만들기 때문에 추론 시간 스케일링으로 볼 수 있음.

다양한 검색 기반 방법들은 최고의 답을 선택하기 위해 프로세스 보상 기반 모델에 의존함. LLM Test-Time Compute 논문의 주석이 달린 그림.

OpenAI의 o1과 o3 모델이 추론 시간 스케일링을 사용한다고 의심하며, 이는 GPT-4o와 같은 모델에 비해 상대적으로 비싼 이유를 설명할 것임. 추론 시간 스케일링에 더해, o1과 o3는 아마도 D

MoE (Mixture of Experts) 알아보기 2 - 최신 MoE 기반의 LLM들

땽뚕 — Sat, 26 Jul 2025 21:24:07 +0900

MoE (Mixture of Experts) 알아보기 2 - 최신 MoE 기반의 LLM들

DeepSeek-V2: 대규모 MoE 기반 LLM의 효율적 확장

DeepSeek-V2는 DeepSeek-AI에서 공개한 Mixture-of-Experts(MoE) 구조의 대규모 언어 모델
- 2360억개의 파라미터 중 210억개만 토큰마다 활성화되는 스파스(sparse) LLM
모델 아키텍처 핵심은 두 가지 혁신으로 요약
- 1) MLA (Multi-Head Latent Attention) – 키/밸류(KV) 캐시를 저차원 잠재 벡터로 압축하여 긴 문맥 추론 시 메모리와 속도 병목을 제거
- (2) DeepSeekMoE – 피드포워드 층을 전부 MoE 레이어로 대체하여 훈련 비용을 낮추면서 높은 표현력을 확보한 점

DeepSeekMoE
- FFN 대신 도입된 MoE 층에서는 각 층마다 64개의 전문가(Expert)가 존재하며 이 중 상위 6개 전문가만 토큰당 활성화
- 또한 2개의 공유 전문가를 별도로 두어 모든 토큰에 항상 적용되도록 함으로써, 공통 상식이나 일반 지식을 담당하게 설계
- Expert Choice (EC) 알고리즘으로 불리는 기법을 사용
  - Expert Collapse를 방지하기 위해, 토큰을 다양한 전문가에 고르게 분배하도록 하는 보조 손실을 훈련에 도입

https://likejazz.com/deepseek-v3/

DeepSeek V3 MoE 구조 리뷰 · likejazz.com

HOME » ARTICLES » DeepSeek V3 MoE 구조 리뷰 DeepSeek V3 MoE 구조 리뷰 01 Apr 2025 딥시크 (DeepSeek) V3의 모델을 리뷰하고, 특히 MoE 구조 중심으로 정리한다. Apr 1, 2025 참고 DeepSeek V3 계열의 모델링 코드는 다음

likejazz.com

Kimi-K2: Moonshot AI의 1조 파라미터 에이전트형 LLM

2025년 Moonshot AI에서 발표한 초거대 혼합전문가 MoE 언어모델로, 총 1조 파라미터 중 320억만 활성화
- 극단적 sparsity (3.2% 사용) : DeepSeek-V2가 약 9%를 활성화했던 것과 비교하면 Kimi-K2는 약 3.2%만 사용하는 셈
Kimi-K2의 기본 아키텍처를 살펴보면, Layer 61개 중 단 1개만 밀집 FFN이고 나머지를 MoE로 구성
- 각 MoE 층에는 384개의 전문가가 있으며 이 중 8개를 토큰당 선택
- 또한 각 층마다 1개의 공유 전문가를 두어 DeepSeek과 유사하게 공통 지식을 담당
로드 밸런싱 최적화를 통해 특정 전문가의 독점 현상을 방지
- 1조 파라미터 모델에서 3%만 쓰이는 극단적인 sparsity에도 불구하고, **특수한 최적화 기법(MuonClip 옵티마이저 등)**으로 훈련 불안정성을 억제하여 전문가들의 고른 활용

https://likejazz.com/llm-comparison/

LLM 아키텍처 비교 · likejazz.com

HOME » ARTICLES » LLM 아키텍처 비교 LLM 아키텍처 비교 01 Aug 2025 Aug 1, 2025 개요 그간 LLM 아키텍처에 대해 좋은 글을 많이 올려주던 세바스찬 라슈카가 이번에 본인의 서브스택에 유명 LLM 아키텍처 설

likejazz.com

Mixture-of-Recursions (MoR)

2025년 KAIST·Mila·Google 연구진이 제안한 새로운 LLM 아키텍처 패러다임
- 기존에는 파라미터 효율화를 위해 층 재활용 기법(예: ALBERT의 레이어 타이ying 등)이나, 계산 효율화를 위해 토큰별 조기 종료(early exiting) 등이 각각 연구돼왔지만, 두 측면을 단일 프레임워크에서 통합한 사례 거의 없었음
MoR은 이를 위해 Recursive Transformer 도입
- 고정된 한 세트의 Transformer 레이어들을 여러 번 반복 적용하여 깊이를 증가시키되, 각 토큰마다 몇 번의 재귀를 거칠지를 경량 라우터가 동적으로 결정
- 쉽게 말해, 어떤 쉬운 토큰은 적은 단계만 처리하고 바로 종료하는 반면, 어려운 토큰은 같은 층셋을 여러 번 통과하며 더 깊은 표현을 얻도록
  - **토큰별 가변 처리(depth-adaptive)**는 MoE의 “전문가 선택” 개념을 *“계산 횟수 선택”*으로 확장한 것으로 볼 수 있음
  - MoE에서는 여러 병렬 전문가 중 일부를 선택했다면, MoR에서는 하나의 공유 전문가(레이어 스택)를 몇 번 반복할지를 토큰별로 조절
    - 따라서 모델 파라미터 수는 공유로 억제되면서도, 토큰마다 필요한만큼 연산을 할당하여 효율을 극대화
- MoR 구조에서 라우팅 메커니즘은 다음과 같음
  - 입력 토큰들이 최초 재귀 1단계를 모두 거친 뒤, 경량 라우터가 각 토큰의 상태를 평가하여 “추가 연산이 필요한지” 여부를 결정
  - 추가 연산이 필요하다고 판단된 토큰들만 재귀 2단계(같은 레이어 세트를 다시 적용)에 투입되고, 그렇지 않은 토큰들은 일찍 종료되어 더 이상 처리하지 않음
  - 이 과정을 최대 N번 반복하며 (토큰마다 다를 수 있음), 각 재귀 단계마다 남은 토큰끼리만 Self-Attention을 수행함
    - 이때 주목할 점은, 재귀 단계가 깊어질수록 토큰 수가 감소하므로 쿼드러틱 자원 소모의 어텐션 연산량이 자동으로 경감된다는 것
    - 또한 각 단계에서 해당 단계까지 남은 토큰들의 KV 캐시만 유지하면 되므로, 메모리 사용도 효율적으로 관리
  - 연구진은 추가로, KV Sharing이라는 변형을 제안하여 첫 재귀 단계의 KV를 이후 단계들이 재활용하도록 함으로써 초기 프리필(prefill) 지연 시간을 크게 줄이는 방법도 소개
    - MoR의 이러한 설계는 파라미터 재활용(parameter sharing)과 동적 계산 할당(adaptive compute)을 완벽히 결합한 것으로, *사실상 “필요할 때만 깊어지는 Transformer”*를 구현한 셈

Ref.

https://huggingface.co/deepseek-ai/DeepSeek-V2#8-license#:~:text=DeepSeek,economical%20training%20and%20efficient%20inference%EF%BC%9A

deepseek-ai/DeepSeek-V2 · Hugging Face

huggingface.co

https://medium.com/@niejam/deep-dive-into-moe-routing-in-deepseek-1fa6f4777097

Deep Dive into MoE Routing in DeepSeek

Editor: KNB

medium.com

https://github.com/MoonshotAI/Kimi-K2

GitHub - MoonshotAI/Kimi-K2: Kimi K2 is the large language model series developed by Moonshot AI team

Kimi K2 is the large language model series developed by Moonshot AI team - MoonshotAI/Kimi-K2

github.com

https://arxiv.org/abs/2507.10524#:~:text=simultaneously.%20We%20introduce%20Mixture,KV%20pairs%20from%20the%20first

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation

Scaling language models unlocks impressive capabilities, but the accompanying computational and memory demands make both training and deployment expensive. Existing efficiency efforts typically target either parameter sharing or adaptive computation, leavi

arxiv.org