세상은 내가 정하는 대로 세상은 내가 정하는 대로

Reasoning On Graphs: Faithful and Interpretable Large Language Model Reasoning 논문 리뷰 (ICLR 2024) 논문 읽은 후 RAG에서 Knowledge Graph를 활용한 논문으로, 이를 통해 LLM의 Reasoning 과정에 대한 해석력을 제공한다 방법이 크게 어렵진 않으나, appendix까지 쳬계적인 실험들과 case study들을 해서 잘 쓴 논문이라는 느낌이 확실히 들었다 역시 ICLR은 다르다. RAG ... 이 분야 좀 재미있을지도? 연구할만한 주제가 많을 것 같다 또 읽어보고 싶은 논문 1, 논문 2 Introduction 배경 LLM의 Challenges : lack of knowledge & hallucination 이 원..

"[SK TECH SUMMIT 2023] RAG를 위한 Retriever 전략" 영상 리뷰   목차 Retrieval Augmented Generation RAG가 왜 어려운가?Document Parsing - TableRetriever 전략     Retrieval Augmented Generation       RAG가 처음 등장한 건 GPT-3 등장 때쯤, 이때는 Generator의 성능 자체가 그다지 좋지 못하다 보니까 ... 요즘엔 LLM의 등장으로 Generator 성능 향상 -> Retriever & Document Parsing 부분의 중요성 !  아직도 기업 내부 문서를 가지고 RAG하기에는 Retriever & Document Parsing 이 부분에서 어려움이 있다 ....    RA..

Augmenting LLM Through external Knowledge - RAG (Retrieval Augment Generation) LLM이 가진 한계점 중 하나 최신 지식이나 특정 사례 또는 개인 정보에 대한 활용 적음 위 문제를 해결하기 위한 방법으로 Retrieval Augmented Generation, RAG 활용! RAG (Retrieval Augmented Generation)란? RAG는 입력 프롬프트에서 쿼리를 추출하고, 해당 쿼리를 사용하여 외부 지식 소스에서 관련 정보를 검색하는 과정 포함 검색된 관련 정보는 원래의 프롬프트에 추가되어 LLM에 제공되며, 모델은 이를 바탕으로 최종 응답을 생성합니다. RAG 시스템은 검색, 생성, 보강의 세 가지 중요한 요소로 구성됨 Fine..

LLM Prompt Design and Engineering 정리 (CoT, ToT, Self Consistency, ...) Prompt란 사용자가 모델의 출력을 안내하기 위해 제공하는 텍스트 입력 단순히 프롬프트를 구성하는 것을 넘어서, 특정 도메인 지식, AI 모델에 대한 이해, 그리고 다양한 맥락에 맞춰 프롬프트를 맞춤화하는 체계적인 접근법을 요구 예를 들어, 사용자 데이터를 기반으로 개인화된 응답을 생성하는 데 동적으로 채워지는 템플릿이 사용될 수 있음 Chain Of Thoughts (CoT) LM이 토큰 예측에는 능숙하지만 명시적인 추론을 위해 설계되지 않았다는 이해에 기반 CoT는 LLM의 내재된 추론 과정을 명시화하는 데 기반을 두고 있음 크게 두 가지 주요 형태 1. Zero Shot ..

LLM Decoding Strategy 정리 (Greedy, Beam Search, Top-K, ... )      Decoding Strategy이란 언어 모델이 생성한 logit을 softmax을 적용해 확률로 변환한다면, 그 확률을 바탕으로 다음 토큰을 어떻게 선택할지 결정하는 방식모델이 생성한 출력을 최종 사용자가 이해할 수 있는 형태로 변환하는 방법론         Greedy Search     가장 간단한 방법,  각 단계에서 가장 높은 확률을 가진 토큰을 선택 언어 모델에서 타임스텝 t에서 가장 높은 확률을 갖는 토큰을 다음 토큰으로 선택하는 전략     장점빠르고 직관적단점 문맥적으로 부적합하거나 의미가 불분명한 문장을 생성할 수 있다 전체적으로 최적의 문장을 생성하지 못할 수 있음 # ..

LLM Positional Encoding 방법 정리 (Absolute, Relative, Rotary, ... ) Absolute Positional Encoding (APE) Vanilla Transformer 모델에서 input sequence의 순서 정보를 유지하기 위해서 사용 RNN 계열과 달리 Transformer 구조는 모든 input token이 병렬적으로 들어가기 때문에 positional information이 없으면 input token들은 그냥 BoW처럼 취급된다 위와 같이, encoder와 decoder stack 이전에 들어갈 input embedding들에 element-wise addition을 해준다 Vanilla Transformer 모델에서는 Sine과 Cosine 함수..

LLM Tokenization 방법 정리(BytePair, Byte-level BPE, WordPiece, Unigram, SentencePiece)    Tokenization이란 input text sequence를 Token이라는 더 작은 부분으로 변환하는 과정이다 가장 단순한 Tokenization 방법은 공백을 기준으로 나누는 거겠지만, 이는 OOV(out of vocabulary) 문제를 일으킨다 이 문제를 해결하기 위해 Subword 기반의 Tokenization를 많이 사용하고 있으며, 이때 훈련 데이터에 없는 단어 등 기존에 보지 못했던 단어들에 대해서도 유연하게 대처할 수 있다   Tokenizer가 중요한 이유  토크나이저는 텍스트 처리의 첫 단계로, 그 정확성과 효율성이 전체 모델의..

LLM Alignment 방법 정리 (RLHF, DPO, KTO, ... ) Alignment란 AI 시스템을 인간의 목표, 선호도 및 원칙에 맞추어 조정하는 과정 인간의 윤리적 기준, 사회적 가치, 그리고 개별 사용자의 특정 요구를 반영하도록 조정하는 것을 포함 이런 Alignment를 잘 수행하기 위해 인간의 행동을 더 잘 반영하는 Loss Function들이 제시되었는데 이를 Human-Aware Loss Function (HALOs)라고 한다 PPO, DPO, MTO 등이 여기에 해당한다 Reinforcement Learning with Human Feedback (RLHF) / Reinforcement learning from AI feedback (RLAIF) 3 Step으로 수행 Step 1..