본문 바로가기

Deep Learning10

[논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Pre-training, Fine-tuning, Language Model, BERT, GPT, Sequence-to-Sequence(Seq2Seq), BART, Bidirectional Auto-Regressive Transformer 안녕하세요~ NLP 맨입니다. 이번에 들고온 논문은 BART입니다. 바트.. 어디서 들어본 이름 아닌가요? 바트 심슨이 떠오르시죠? 그러나 오늘 소개할 것은 애니메이션 캐릭터가 아니라 Bidirectional Auto-Regressive Transformer입니다. 각 단어의 앞글자를 따서 .. 2022. 1. 6.
[논문리뷰] On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines Background Key features : NLP(Natural Language Processing), BERT, Fine-tuning, ADAM Optimizer, Catastrophic Forgetting, Machine learning Engineering, Fine-tuning instability, Bias Correction 자연어 처리를 연구하다보면 BERT 모델과 접할 기회가 많습니다. 많은 논문들이 더 크고 더 많은 데이터로 학습시킨 모델이 더 좋은 성능을 낼 수 있다고 말하고 있고, 이는 자연어 처리 뿐만아니라 이미지 처리, 아니 모든 인공지능 모델에 적용되는 공통 사항입니다. (요새는 일반 사람들의 컴퓨터에 만들어진 모델을 GPU에 로드하지도 못할만큼 큰 모델이 등장하고 있습니다... 2021. 11. 21.
[논문리뷰] Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification 안녕하세요. 오늘은 논문 리뷰를 이렇게 그림도 넣어서 해보려고 해요. 이게 더 가독성이 좋지 않을까 해서요. 그럼 시작해볼게요!! 본 논문은 2016년에 SIGGRAPH라는 곳에서 발표된 논문입니다. 제 기억이 맞다면 본 논문이 각종 커뮤니티에서 그 당시 많은 이슈가 되었던 것으로 기억합니다. 논문의 제목은 ‘그곳에 색이 있으라’ 라는 의미의 ‘let there be color’ 라는 멋진 제목을 가지고 있습니다. 인용수는 현재까지 659회입니다. 본 논문의 설명으로 본격적으로 들어가기 전에 한 가지만 짚고 넘어가겠습니다. 컴퓨터에서 컬러 이미지를 나타낼 때는 크게 RGB, CMYK 그리고 Lab 칼라 이렇게 세 가지 방식이 있습니다. RGB는 빛의 삼원색인 red, green, blue에 의한 색 표시.. 2021. 11. 12.
[논문리뷰] Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks 안녕하세요. 이번 논문은 지난번에 소개했던 ‘Attention is all you need in speech separation’에서 사용되었던 loss에 대해서 소개하는 논문입니다. 사실 저번 논문 소개에서 loss에 대해서는 말을 하지 않기는 했었죠. 무튼 이번에는 저번에 소개했던 논문에서 사용된 loss에 대해서 알아보기 위해 본 논문을 소개해 드릴게요! 또한 본 논문은 저번에 리뷰 한 논문인 PIT논문의 후속작 입니다. PIT는 speaker tracing problem과 같은 문제가 있었는데 본 논문에서 소개하는 uPIT는 이러한 단점을 보완한 방법입니다. 그럼 이제부터 알아보겠습니다. 먼저 이 논문은 2017년 10월에 IEEE/ACM Transactions on Audio, Speech an.. 2021. 10. 27.
반응형

티스토리툴바