[논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Pre-training, Fine-tuning, Language Model, BERT, GPT, Sequence-to-Sequence(Seq2Seq), BART, Bidirectional Auto-Regressive Transformer 안녕하세요~ NLP 맨입니다. 이번에 들고온 논문은 BART입니다. 바트.. 어디서 들어본 이름 아닌가요? 바트 심슨이 떠오르시죠? 그러나 오늘 소개할 것은 애니메이션 캐릭터가 아니라 Bidirectional Auto-Regressive Transformer입니다. 각 단어의 앞글자를 따서 ..
2022. 1. 6.
[논문리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding
Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Transfer learning, Masked Language Modeling(MLM), Next Sentence Prediction(NSP), Fine-tuning BERT는 유명한 논문입니다. LSTM 구조의 모델에서 허덕이던 NLP계에 혜성같이 등장하여 11개의 NLP 벤치마크에서 SOTA를 달성하였습니다. BERT의 영향력은 엄청나 현재까지 BERT의 구조를 이용한 수많은 변형 모델들이 만들어졌습니다. 지금 생각나는 것만 나열해 봐도, RoBERTa, ALBERT, BART, MBERT, ViLBERT, SpanBER..
2021. 6. 30.
