본문 바로가기

Deep Learning10

[논문리뷰] BioBERT : a pre-trained biomedical language representation model for biomedical text mining 오늘은 BERT의 친구인 BioBERT논문을 보려고 합니다. 이 논문은 2019년에 Bioinformatics라는 저널에 올라온 자랑스러운 한국인이 작성한 논문입니다. 실제로 인용 수도 966회로 나름 많습니다. 그럼 이제 살펴볼까요? Biomedical document의 수가 점점 많이 증가함으로 인해서 biomedical text mining이 점점 중요해지고 있습니다. NLP기술의 진보로 인해 biomedical문헌에서 중요한 정보를 추출하는 것이 연구자들 사이에서 인기를 얻었고, 딥러닝은 효과적인 biomedical text mining 모델의 개발을 촉진시켰습니다. 그러나 NLP의 발전과는 다르게 이러한 기술을 biomedical text mining에 직접 적용하면 제대로 된 결과물을 얻기 힘.. 2021. 9. 23.
[논문리뷰] LibriMix: An Open-Source Dataset for Generalizable Speech Separation 오늘 소개할 논문은 LibriMix라는 논문입니다. 이 논문은 2020년 Interspeech에 submitted 된 논문으로(억셉되지는 못했다고 하네요 ㅠㅠ) 자세한 내용은 아래 본문에서 설명 드리겠습니다. 최근 single-channel speech separation 을 위한 레퍼런스 데이터셋은 wsj0-2mix 데이터셋이 사용되는 것이 일반적입니다. 또한 대부분의 딥러닝 베이스 speech separation 모델들이 벤치마크로 본 데이터셋을 사용합니다. 그러나 최근 연구들을 보면 wsj0-2mix 에서 훈련된 모델들은 다른 유사한 데이터셋에서 평가될 때 상당한 성능저하가 일어났습니다. 이러한 이유로 generalization 문제가 발생했는데, 이 논문의 저자들은 이러한 문제를 wsj0-2mix.. 2021. 9. 7.
[논문리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Transfer learning, Masked Language Modeling(MLM), Next Sentence Prediction(NSP), Fine-tuning BERT는 유명한 논문입니다. LSTM 구조의 모델에서 허덕이던 NLP계에 혜성같이 등장하여 11개의 NLP 벤치마크에서 SOTA를 달성하였습니다. BERT의 영향력은 엄청나 현재까지 BERT의 구조를 이용한 수많은 변형 모델들이 만들어졌습니다. 지금 생각나는 것만 나열해 봐도, RoBERTa, ALBERT, BART, MBERT, ViLBERT, SpanBER.. 2021. 6. 30.
[논문리뷰] PERMUTATION INVARIANT TRAINING OF DEEP MODELS FORSPEAKER-INDEPENDENT MULTI-TALKER SPEECH SEPARATION 이 논문은 옛날에 나온 논문입니다. 하지만 현재 사용되는 loss함수의 근원이 되는 논문이므로 리뷰를 해보도록 하겠습니다. 먼저 이 논문은 2017년에 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)에 출판된 논문입니다. 멋지군요. 이전에 제가 리뷰했던 speech separation의 SOTA논문의 저자가 참여한 논문입니다. 그러니까 꼭 읽어야겠죵? 이제 찬찬히 논문의 서론을 바라봅시다. 오! 첫 줄부터 이렇게 시작합니다. “우리는 새로운 딥러닝 훈련 기준을 제안하며, 이를 permutation invariant training(PIT)라고 명명합니다.” 멋집니다. 계속 봅시다. PIT는 칵테일 파티 문제.. 2021. 6. 29.
반응형