세상은 내가 정하는 대로 세상은 내가 정하는 대로

LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰   최근에 나온 MoRA를 읽어보기 전에 LoRA 논문을 올리지 않은 것 같아, 이번 기회에 정리! 사용 방법에 대한 코드도 함께 정리해볼 예정이다  들어가기 전에 : PeFT의 등장 배경     Fully Fine Tuning Parameter-efficient approach세타는 오리지널 파라미터보다 훨씬 적은 양의 파라미터세타_0에 아주 작은 변화량 더해준다 => 이게 LoRA의 핵심이다     Abstract & Introduction   Transfer learning의 붐이 시작된 이래로 수십 개의 연구에서 parameter와 compute-efficient하게 model adaptation..

Query Expansion by Prompting Large Language Models (Google, 2023) 논문 리뷰    Abstract + Introduction   Query Expansion정의 : 원문 Query에 몇가지 용어를 추가해서 검색 시스템의 성능을 향상시키는 방법원문 Query랑 단어가 겹치지 않는 관련 document들을 뽑아내는 데 유용하다 기존의 방식 Pseudo-Revevance Feedback (PRF): 원문 Query를 입력했을 때 나오는 Document에서 키워드를 추출해서, 그 키워드를 포함한 다른 Document 반환하는 방식 한계 : 가장 위에 retrieve되는 document가 query와 관련있다고 생각하는데, 실제로 특히 query가 짧은 경우엔 ..

"[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?" 영상 리뷰    목차 1. LLM 배경 2. 사내 적용 시 Challenge Point3. PEFT vs RAG4. 결론   PoC(Proof of Concept)를 진행하며 발견했던 부분들에 대해서 강연 ~새로운 기술, 서비스, 프로젝트, 신약 등이 실현 가능성이 있는지 검증하는 과정               OpenAI GPT의 경우 API 형태로만 공개해서 사용 시 제약사항이 있었지만, LLaMA를 오픈소스로 풀어서 우리가 잘 쓰고 있는 중 (땡스투Meta)   아래에서 본격적으로 PoC를 진행하며 고려해야 됐던 사항들 설명되었다 Challenge Point ChatGPT (API 형태의..

LangChain RAG Retriever 방법 정리 (Multi-Query, Parent Document, Ensemble Retriever, ... )    LLM이 뛰어날 수록 Document Parsing과 Retriever 단계가 중요하다  따라서, 지난 포스트 마지막에서 언급했던 Retriever API를 좀 더 살펴볼 것이다.    Retriever 기법 1. Multi-Query : 대충 질문해도 좋은 답변 원할 때 2. Parent Document : 앞뒤 문맥 잘 담아야 할 때 3. Self Query : 시맨틱 검색 말고 쿼리가 필요할 때 4. Time-Weighted : 오래된 자료를 덜 참고하면 좋을 때5. Ensemble Retriever : 검색의 정확도 높일 때  6. Lon..

LangChain RAG 구현 모듈 정리 (Document Loaders, Text Splitters, Text Embeddings & VectorStores , Retrievers, ... )        과정 Document LoadersText Spiltters Text Embeddings & VectorStores Retrievers !pip install langchain pypdf unstructured pdf2image docx2txt pdfminer sentence-transformers chromadb # a class to create a question answering system based on information retrievalfrom langchain.chains impor..

"[SK TECH SUMMIT 2023] RAG를 위한 Retriever 전략" 영상 리뷰   목차 Retrieval Augmented Generation RAG가 왜 어려운가?Document Parsing - TableRetriever 전략     Retrieval Augmented Generation       RAG가 처음 등장한 건 GPT-3 등장 때쯤, 이때는 Generator의 성능 자체가 그다지 좋지 못하다 보니까 ... 요즘엔 LLM의 등장으로 Generator 성능 향상 -> Retriever & Document Parsing 부분의 중요성 !  아직도 기업 내부 문서를 가지고 RAG하기에는 Retriever & Document Parsing 이 부분에서 어려움이 있다 ....    RA..

LLM Prompt Design and Engineering 정리 (CoT, ToT, Self Consistency, ...) Prompt란 사용자가 모델의 출력을 안내하기 위해 제공하는 텍스트 입력 단순히 프롬프트를 구성하는 것을 넘어서, 특정 도메인 지식, AI 모델에 대한 이해, 그리고 다양한 맥락에 맞춰 프롬프트를 맞춤화하는 체계적인 접근법을 요구 예를 들어, 사용자 데이터를 기반으로 개인화된 응답을 생성하는 데 동적으로 채워지는 템플릿이 사용될 수 있음 Chain Of Thoughts (CoT) LM이 토큰 예측에는 능숙하지만 명시적인 추론을 위해 설계되지 않았다는 이해에 기반 CoT는 LLM의 내재된 추론 과정을 명시화하는 데 기반을 두고 있음 크게 두 가지 주요 형태 1. Zero Shot ..

LLM Decoding Strategy 정리 (Greedy, Beam Search, Top-K, ... )      Decoding Strategy이란 언어 모델이 생성한 logit을 softmax을 적용해 확률로 변환한다면, 그 확률을 바탕으로 다음 토큰을 어떻게 선택할지 결정하는 방식모델이 생성한 출력을 최종 사용자가 이해할 수 있는 형태로 변환하는 방법론         Greedy Search     가장 간단한 방법,  각 단계에서 가장 높은 확률을 가진 토큰을 선택 언어 모델에서 타임스텝 t에서 가장 높은 확률을 갖는 토큰을 다음 토큰으로 선택하는 전략     장점빠르고 직관적단점 문맥적으로 부적합하거나 의미가 불분명한 문장을 생성할 수 있다 전체적으로 최적의 문장을 생성하지 못할 수 있음 # ..