어텐션1 [논문리뷰]Attention Is All You Need 이번 포스트는 이제는 NLP뿐만 아니라 딥러닝 전반에 유용하게 사용되고 있는 attention에 대해 다뤄보고자 한다. Abstract 주요한 sequence transduction 모델들은 인코더와 디코더를 포함하는 복잡한 RNN이나 CNN에 기반한다. 최고의 성능을 자랑하는 모델들은 attention mechanism을 이용해 인코더와 디코더를 연결한다. 이 논문에서는 recurrnece와 convolutions를 사용하지 않고 attention mechanism에 기반한 새롭고 간단한 모델인 Transformer를 소개한다. 이 모델은 2개의 기계번역 실험에서 더 parallelizable 하고 학습을 위한 시간도 크게 단축하면서 번역의 질은 더 좋은 것을 보인다. 1. Introduction RN.. 2022. 9. 20. 이전 1 다음
