세상은 내가 정하는 대로 세상은 내가 정하는 대로

LLM Tokenization 방법 정리(BytePair, Byte-level BPE, WordPiece, Unigram, SentencePiece)    Tokenization이란 input text sequence를 Token이라는 더 작은 부분으로 변환하는 과정이다 가장 단순한 Tokenization 방법은 공백을 기준으로 나누는 거겠지만, 이는 OOV(out of vocabulary) 문제를 일으킨다 이 문제를 해결하기 위해 Subword 기반의 Tokenization를 많이 사용하고 있으며, 이때 훈련 데이터에 없는 단어 등 기존에 보지 못했던 단어들에 대해서도 유연하게 대처할 수 있다   Tokenizer가 중요한 이유  토크나이저는 텍스트 처리의 첫 단계로, 그 정확성과 효율성이 전체 모델의..

[ASR Study] Speech and speaker recognition from raw waveform with sincnet (SLT, 2018) CNN architecture 에 sinc function을 추가하여 Speaker recognition에 특화 기존에 사용하던 FBANK나 MFCC 상수(많은 튜닝이 필요)를 사용하는 대신, Raw Waveform을 직접 feed로 사용하여 학습 화자(speaker)가 누구(index)인지 맞추는 과정에서 SincNet이 학습 시간 도메인의 입력 음성 신호 x에 싱크 함수로 컨볼루션 연산을 적용 싱크 함수를 유한한 길이로 자르고 이를 푸리에 변환을 하면, 이상적인 bandpass filter의 모양(사각형)에서 점점 멀어지게 됨 우리가 원하는 주파수 ..

[2023 Lab Seminar] BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation (ICML, 2022) Introduction : Vision-Language Pretraining (VLP) 먼저 Vision-Language에 대해서 생소하실 수 있는 분들을 위해서 한 번 짚고 넘어가자면, Vision-Language Pretraining(VLP)은 컴퓨터 비전과 자연어 처리를 결합한 인공지능 모델을 사전 학습하는 방법입니다. BERT, OpenAI GPT 등 기존 연구들은 대규모 텍스트 데이터를 모아 사전학습 후 미세조정(pre-training and fine-t..

[2023 Summer Lab Seminar] FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS (ICLR, 2022) 이 논문은 “Instruction Tuning”이라는, in-context learning과 Reinforcement Learning from Human Feedback (RLHF) 사이에 제시된, 다운스트림 태스크에 대한 학습 방식을 제시한 논문입니다. 다음과 같은 순서로 소개해드리겠습니다. 먼저 Introduction에서 최근 fine-tuning 외의 LLM을 학습하는 방식들에 대해서 설명을 드리고, 오늘 핵심적으로 말씀드릴 Instruction Tuning에 대해서 소개하고자 합니다. Instruction Tuning의 학습 방법을 말씀드리고..

[2023 Spring NLP Seminar ] On Transferability of Prompt Tuning for Natural Language Processing (NAACL 2022) Abstract + Introduction 기존 연구 동향: 기존의 pre-trained language models (PLMs)은 파라미터 수가 매우 많아서 fine-tuning에는 많은 계산 자원과 시간이 필요했다. 이러한 문제를 해결하기 위해 Prompt Tuning (PT)이라는 새로운 방법이 제안되었다. PT는 매우 큰 PLMs를 활용하여 매우 적은 수의 소프트 프롬프트(prompt)만을 조정하여 전체 파라미터 fine-tuning 수행 결과와 비교 가능한 성능을 달성하는 방법이다. 기존 연구들의 한계: ..

[2023 Spring Lab Seminar] DDIM: Denoising Diffusion Implicit Model (ICLR, 2021) Generative model : Diffusion Model DIffusion (forward process) -> : 이미지에 고정된(fixed) 정규 분포(=Gaussian분포)로 생성된 Noise가 더해지고 Sampling (reverse process)

[2023 Spring NLP Seminar] How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022) Abstract & Introduction 기존 연구들의 한계점: 기존 연구에서는 요약의 관련성을 평가하는 ROUGE 메트릭을 주로 사용했지만, 사실성을 평가하는 메트릭은 부족 긴 문서를 요약하는 모델에서는 ROUGE 결과를 최대화하기 위해 학습하였지만, 이로 인해 사실성을 무시하는 요약이 생성되는 경우가 있음 본 연구의 접근 방법: 긴 문서를 추상적으로 요약하는 모델과 메트릭을 평가하기 위해 인간 주석을 수행 평가를 통해 요약의 관련성과 사실성을 평가하는 ROUGE와 다양한 사실성 메트릭(BLEURT, FactCC, etc.)을 ..

Chapter 01) Reinforcement Learning Overview InstructGPT에도 강화학습이 쓰였다니 ! 앞으로 더 발전할 분야인 듯 하다 예전에 강화학습 수업 들은 적 있었는데, 학점 망했던 기억이... ㅋㅋㅋ큐ㅠ 그래도 공부는 열심히 했으므로 2년 전에 노션에 남겼던 흔적을 올리기로 ~ 목차 Reinforcement Learning이란 ? Reinforcement Learning의 의미 Reinforcement Learning의 특징 4가지 Reinforcement Learning의 구조 Rewards Environments Agents Reinforcement Learning의 Algorithms 용어정리 Exploration VS Exploitation Prediction V..