본문 바로가기

전체 글21

[논문리뷰] Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks 안녕하세요. 이번 논문은 지난번에 소개했던 ‘Attention is all you need in speech separation’에서 사용되었던 loss에 대해서 소개하는 논문입니다. 사실 저번 논문 소개에서 loss에 대해서는 말을 하지 않기는 했었죠. 무튼 이번에는 저번에 소개했던 논문에서 사용된 loss에 대해서 알아보기 위해 본 논문을 소개해 드릴게요! 또한 본 논문은 저번에 리뷰 한 논문인 PIT논문의 후속작 입니다. PIT는 speaker tracing problem과 같은 문제가 있었는데 본 논문에서 소개하는 uPIT는 이러한 단점을 보완한 방법입니다. 그럼 이제부터 알아보겠습니다. 먼저 이 논문은 2017년 10월에 IEEE/ACM Transactions on Audio, Speech an.. 2021. 10. 27.
[논문리뷰] BioBERT : a pre-trained biomedical language representation model for biomedical text mining 오늘은 BERT의 친구인 BioBERT논문을 보려고 합니다. 이 논문은 2019년에 Bioinformatics라는 저널에 올라온 자랑스러운 한국인이 작성한 논문입니다. 실제로 인용 수도 966회로 나름 많습니다. 그럼 이제 살펴볼까요? Biomedical document의 수가 점점 많이 증가함으로 인해서 biomedical text mining이 점점 중요해지고 있습니다. NLP기술의 진보로 인해 biomedical문헌에서 중요한 정보를 추출하는 것이 연구자들 사이에서 인기를 얻었고, 딥러닝은 효과적인 biomedical text mining 모델의 개발을 촉진시켰습니다. 그러나 NLP의 발전과는 다르게 이러한 기술을 biomedical text mining에 직접 적용하면 제대로 된 결과물을 얻기 힘.. 2021. 9. 23.
[논문리뷰] LibriMix: An Open-Source Dataset for Generalizable Speech Separation 오늘 소개할 논문은 LibriMix라는 논문입니다. 이 논문은 2020년 Interspeech에 submitted 된 논문으로(억셉되지는 못했다고 하네요 ㅠㅠ) 자세한 내용은 아래 본문에서 설명 드리겠습니다. 최근 single-channel speech separation 을 위한 레퍼런스 데이터셋은 wsj0-2mix 데이터셋이 사용되는 것이 일반적입니다. 또한 대부분의 딥러닝 베이스 speech separation 모델들이 벤치마크로 본 데이터셋을 사용합니다. 그러나 최근 연구들을 보면 wsj0-2mix 에서 훈련된 모델들은 다른 유사한 데이터셋에서 평가될 때 상당한 성능저하가 일어났습니다. 이러한 이유로 generalization 문제가 발생했는데, 이 논문의 저자들은 이러한 문제를 wsj0-2mix.. 2021. 9. 7.
[논문리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Transfer learning, Masked Language Modeling(MLM), Next Sentence Prediction(NSP), Fine-tuning BERT는 유명한 논문입니다. LSTM 구조의 모델에서 허덕이던 NLP계에 혜성같이 등장하여 11개의 NLP 벤치마크에서 SOTA를 달성하였습니다. BERT의 영향력은 엄청나 현재까지 BERT의 구조를 이용한 수많은 변형 모델들이 만들어졌습니다. 지금 생각나는 것만 나열해 봐도, RoBERTa, ALBERT, BART, MBERT, ViLBERT, SpanBER.. 2021. 6. 30.
반응형

티스토리툴바