본문 바로가기

딥러닝7

[논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Pre-training, Fine-tuning, Language Model, BERT, GPT, Sequence-to-Sequence(Seq2Seq), BART, Bidirectional Auto-Regressive Transformer 안녕하세요~ NLP 맨입니다. 이번에 들고온 논문은 BART입니다. 바트.. 어디서 들어본 이름 아닌가요? 바트 심슨이 떠오르시죠? 그러나 오늘 소개할 것은 애니메이션 캐릭터가 아니라 Bidirectional Auto-Regressive Transformer입니다. 각 단어의 앞글자를 따서 .. 2022. 1. 6.
[논문리뷰] On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines Background Key features : NLP(Natural Language Processing), BERT, Fine-tuning, ADAM Optimizer, Catastrophic Forgetting, Machine learning Engineering, Fine-tuning instability, Bias Correction 자연어 처리를 연구하다보면 BERT 모델과 접할 기회가 많습니다. 많은 논문들이 더 크고 더 많은 데이터로 학습시킨 모델이 더 좋은 성능을 낼 수 있다고 말하고 있고, 이는 자연어 처리 뿐만아니라 이미지 처리, 아니 모든 인공지능 모델에 적용되는 공통 사항입니다. (요새는 일반 사람들의 컴퓨터에 만들어진 모델을 GPU에 로드하지도 못할만큼 큰 모델이 등장하고 있습니다... 2021. 11. 21.
[논문리뷰] Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification 안녕하세요. 오늘은 논문 리뷰를 이렇게 그림도 넣어서 해보려고 해요. 이게 더 가독성이 좋지 않을까 해서요. 그럼 시작해볼게요!! 본 논문은 2016년에 SIGGRAPH라는 곳에서 발표된 논문입니다. 제 기억이 맞다면 본 논문이 각종 커뮤니티에서 그 당시 많은 이슈가 되었던 것으로 기억합니다. 논문의 제목은 ‘그곳에 색이 있으라’ 라는 의미의 ‘let there be color’ 라는 멋진 제목을 가지고 있습니다. 인용수는 현재까지 659회입니다. 본 논문의 설명으로 본격적으로 들어가기 전에 한 가지만 짚고 넘어가겠습니다. 컴퓨터에서 컬러 이미지를 나타낼 때는 크게 RGB, CMYK 그리고 Lab 칼라 이렇게 세 가지 방식이 있습니다. RGB는 빛의 삼원색인 red, green, blue에 의한 색 표시.. 2021. 11. 12.
[논문리뷰] BioBERT : a pre-trained biomedical language representation model for biomedical text mining 오늘은 BERT의 친구인 BioBERT논문을 보려고 합니다. 이 논문은 2019년에 Bioinformatics라는 저널에 올라온 자랑스러운 한국인이 작성한 논문입니다. 실제로 인용 수도 966회로 나름 많습니다. 그럼 이제 살펴볼까요? Biomedical document의 수가 점점 많이 증가함으로 인해서 biomedical text mining이 점점 중요해지고 있습니다. NLP기술의 진보로 인해 biomedical문헌에서 중요한 정보를 추출하는 것이 연구자들 사이에서 인기를 얻었고, 딥러닝은 효과적인 biomedical text mining 모델의 개발을 촉진시켰습니다. 그러나 NLP의 발전과는 다르게 이러한 기술을 biomedical text mining에 직접 적용하면 제대로 된 결과물을 얻기 힘.. 2021. 9. 23.
반응형