[논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Pre-training, Fine-tuning, Language Model, BERT, GPT, Sequence-to-Sequence(Seq2Seq), BART, Bidirectional Auto-Regressive Transformer 안녕하세요~ NLP 맨입니다. 이번에 들고온 논문은 BART입니다. 바트.. 어디서 들어본 이름 아닌가요? 바트 심슨이 떠오르시죠? 그러나 오늘 소개할 것은 애니메이션 캐릭터가 아니라 Bidirectional Auto-Regressive Transformer입니다. 각 단어의 앞글자를 따서 ..
2022. 1. 6.
[논문리뷰] On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines
Background Key features : NLP(Natural Language Processing), BERT, Fine-tuning, ADAM Optimizer, Catastrophic Forgetting, Machine learning Engineering, Fine-tuning instability, Bias Correction 자연어 처리를 연구하다보면 BERT 모델과 접할 기회가 많습니다. 많은 논문들이 더 크고 더 많은 데이터로 학습시킨 모델이 더 좋은 성능을 낼 수 있다고 말하고 있고, 이는 자연어 처리 뿐만아니라 이미지 처리, 아니 모든 인공지능 모델에 적용되는 공통 사항입니다. (요새는 일반 사람들의 컴퓨터에 만들어진 모델을 GPU에 로드하지도 못할만큼 큰 모델이 등장하고 있습니다...
2021. 11. 21.
