본문 바로가기

Deep learning4

[논문리뷰] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension Background Key features : NLP(Natural Language Processing), Language modeling objective, Transformer, Pre-training, Fine-tuning, Language Model, BERT, GPT, Sequence-to-Sequence(Seq2Seq), BART, Bidirectional Auto-Regressive Transformer 안녕하세요~ NLP 맨입니다. 이번에 들고온 논문은 BART입니다. 바트.. 어디서 들어본 이름 아닌가요? 바트 심슨이 떠오르시죠? 그러나 오늘 소개할 것은 애니메이션 캐릭터가 아니라 Bidirectional Auto-Regressive Transformer입니다. 각 단어의 앞글자를 따서 .. 2022. 1. 6.
[논문리뷰] Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification 안녕하세요. 오늘은 논문 리뷰를 이렇게 그림도 넣어서 해보려고 해요. 이게 더 가독성이 좋지 않을까 해서요. 그럼 시작해볼게요!! 본 논문은 2016년에 SIGGRAPH라는 곳에서 발표된 논문입니다. 제 기억이 맞다면 본 논문이 각종 커뮤니티에서 그 당시 많은 이슈가 되었던 것으로 기억합니다. 논문의 제목은 ‘그곳에 색이 있으라’ 라는 의미의 ‘let there be color’ 라는 멋진 제목을 가지고 있습니다. 인용수는 현재까지 659회입니다. 본 논문의 설명으로 본격적으로 들어가기 전에 한 가지만 짚고 넘어가겠습니다. 컴퓨터에서 컬러 이미지를 나타낼 때는 크게 RGB, CMYK 그리고 Lab 칼라 이렇게 세 가지 방식이 있습니다. RGB는 빛의 삼원색인 red, green, blue에 의한 색 표시.. 2021. 11. 12.
[논문리뷰] Attention is all you need in speech separation 논문 제목부터 어그로가 엄청납니다. 근데 speech separation 관련해서 나온 논문 중 RNN없이 transformer를 사용해서 SOTA를 만든 최초의 논문(아마?)이라서 어느 정도 까방권이 있는 느낌입니다. 본 논문은 2020년8월25일에 submit된 논문이고, ICASSP 2021에 accept 된 논문입니다. Transformer 기법을 사용하여 음성 분리(speech separation)를 이뤄냈으며 이 분야의 SOTA 논문입니다(적어도 이 논문에서는 그렇다고 합니다). 먼저 간략하게 본 논문에 대해서 말씀드리겠습니다. 먼저 이 논문에서는 RNN이 Seq2Seq 학습에서 좋았었지만, 병렬화에서 성능이 떨어지는 모델이었기 때문에 transformer가 그 대안으로 나왔다는 말부터 시작합.. 2021. 4. 1.
[논문리뷰] No-search focus prediction at the single cell level in digital holographic imaging with deep convolutional neural network 본 논문은 딥러닝보다는 광학이(제 전공이 아닙니다 ㅠㅠ) 주 목적이기 때문에 알지 못하는 용어들이 존재합니다. 그래서 정확한 내용의 논문 요약이 어려우니 참고해주시길 바랍니다. 딥러닝을 응용한 연구에는 무엇이있나 찾아보다 발견한 논문이므로 딥러닝 응용관점에서 봐주시길 바랍니다. Abstract Off-axis hologram의 digital propagation은 sensor plane(CCD)과 reconstruction plane사이의 거리가 정확할 때 quantitative phase-contrast를 얻는다. 그래서 CCD와 reconstruction plane사이의 거리인 reconstruction distance를 딥러닝을 사용하여 빠르게 잘 구하는게 본 논문의 목표이다. 실제 필터링된 적혈구.. 2019. 6. 28.
반응형

티스토리툴바