세상은 내가 정하는 대로 세상은 내가 정하는 대로

[ASR Study] wav2vec: Unsupervised pre-training for speech recognition (Interspeech, 2019) word2vec과 비슷한 본 모델의 이름에서 느낌이 오듯이, 임베딩을 잘 뽑기 위한 모델이라 생각하면 되겠다 Introduction 기존 연구들과 그 한계 현재 ASR SOTA 모델들은 대량의 transcribed audio data가 필요하다 하지만, labeled data는 부족 Key Idea 데이터 양이 충분할 때, general representation을 학습하는 것 (=pretraining) 데이터 양이 부족할 때, downstream task에 대한 성능을 높이는 것 (=fine-tuning) Unsupervised Learning..