전체 글
-
[2023 Spring NLP Seminar] Mutual Information Alleviates Hallucinations in Abstractive Summarization (EMNLP 2022)AI/NLP 2023. 3. 28. 19:35
[2023 Spring NLP Seminar] Mutual Information Alleviates Hallucinations in Abstractive Summarization (EMNLP 2022) Abstract / Introduction Background hallucination : 긴 문서를 짧은 요약으로 생성하는 추상적 요약(abstractive summarization) 작업에서 자주 발생하는 문제 Limitation 기존의 모델들은 원본 문서에서 나타나지 않는 내용을 생성하는 경향이 있음 이로 인해 잘못된 정보를 전달하게 되는데, 이를 방지하기 위해 이전 연구에서 다양한 시도가 있었지만, 효율적이고 robust한 기술은 없었다고 함 Our Approach 모델이 hallucination을..
-
[2023 Spring NLP Seminar] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension (ACL 2020)AI/NLP 2023. 3. 21. 22:31
[2023 Spring NLP Seminar] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension (ACL 2020) 이전에 정리했던 대표적인 LM 논문들 (BERT / RoBERTa / GPT-1 / GPT-2 / GPT-3 ) https://asidefine.tistory.com/181 GPT-1 / BERT / GPT-2 간단 정리 GPT-1 / BERT / GPT-2 간단 정리 [논문 목록] GPT-1 : Improving Language Understanding by Generative Pre-Training (2018) BERT : Pre-tra..
-
[2023 Spring NLP Seminar] SimCSE : Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) 간단 리뷰AI/NLP 2023. 3. 15. 14:46
[2023 Spring NLP Seminar] SimCSE : Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) 간단 리뷰 Abstract / Introduction SimCSE: sentence embedding을 advance하는 simple한 contrastive learning framework 이전에 있었던 것들: SBERT (Reimers and Gurevych, 2019) 등 unsupervised approach positive pair: 같은 문장에 한 번씩 standard dropout을 거친 2개의 문장 negative pair는 같은 mini-batch 안의 다른 문장들 이렇게 간단한 방법이 NSP나 discrete d..
-
Discriminative Model / Generative ModelAI 2023. 2. 24. 21:58
Discriminative model 샘플의 카테고리만을 예측하는데 관심이 있는 모델 사후 확률 P(y|x)만 구함 x라는 샘플이 있을 때 이 샘플의 카테고리가 y 일 확률, 즉 사후 확률 P(y|x)만을 추정하면 됨 카테고리가 4개 존재한다면 소프트맥스(softmax)의 경우와 같이 각 카테고리별 사후 확률인 P(y=1|x), P(y=2|x), P(y=3|x), P(y=4|x)를 구한 후, 사후 확률이 가장 높은 카테고리로 분류 대부분은 분별 모델 ex) 특정 데이터의 카테고리를 분류하는 모델 ex) Logistic regression, Neural Networks 각 class의 차이에 주목하여 바로바로 어떤 class에 들어가야 할지 결정해 주는 모델 Generative model Discrimin..
-
[2023 Winter Multimodal Seminar 4.Transference 2) Transfer] Multimodal Few-Shot Learning with Frozen Language Models 논문 리뷰 (NeurIPS, 2021)AI/Multimodal 2023. 2. 20. 13:51
[2023 Winter Multimodal Seminar 4.Transference 2) Transfer] Multimodal Few-Shot Learning with Frozen Language Models 논문 리뷰 (NeurIPS, 2021) 본 포스팅은 딥마인드에서 발표한 Frozen Method에 대해서 알아본다 딥마인드, 많이 들어보셨죠 ? 데미스 허사비스(Demis Hassabis), 셰인 레그(Shane Legg), 무스타파 술레이만(Mustafa Suleyman)의 세 명이 2010년 딥마인드 테크놀로지(DeepMind Technologies)라는 이름으로 처음 공동 창업하였다. 현재와 같이 이름이 바뀌게 된 것은 2014년 구글에 인수되면서부터이다. 구글 X 소속이었으나 2015년 구글..
-
How to write an effective GPT-3 promptAI/NLP 2023. 2. 13. 14:34
https://zapier.com/blog/gpt-3-prompt/ How to write an effective GPT-3 prompt | Zapier These tips will help you write an effective GPT-3 prompt to get the output you're looking for from OpenAI. zapier.com https://decentralizedcreator.com/use-gpt-3-to-create-and-enhance-text-to-image-prompts/
-
[Related Works] Vision-Language TransformerAI/Multimodal 2023. 2. 13. 14:23
Multimodal transformers have made significant progress over the past few years, by pre-trained on large scale image and text pairs, then finetuned on downstream tasks. VisualBERT (Li et al., 2019), Unicoder-VL (Li et al., 2020a), NICE (Chen et al., 2021b), and VL-BERT (Su et al., 2020) propose the single-stream architecture to work on both images and text. ViLBERT (Lu et al., 2019) and LXMERT (T..
-
Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰AI/NLP 2023. 1. 26. 16:25
Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..