세상은 내가 정하는 대로 세상은 내가 정하는 대로

LLM Alignment 방법 정리 (RLHF, DPO, KTO, ... ) Alignment란 AI 시스템을 인간의 목표, 선호도 및 원칙에 맞추어 조정하는 과정 인간의 윤리적 기준, 사회적 가치, 그리고 개별 사용자의 특정 요구를 반영하도록 조정하는 것을 포함 이런 Alignment를 잘 수행하기 위해 인간의 행동을 더 잘 반영하는 Loss Function들이 제시되었는데 이를 Human-Aware Loss Function (HALOs)라고 한다 PPO, DPO, MTO 등이 여기에 해당한다 Reinforcement Learning with Human Feedback (RLHF) / Reinforcement learning from AI feedback (RLAIF) 3 Step으로 수행 Step 1..