ML3 [논문리뷰]Attention Is All You Need 이번 포스트는 이제는 NLP뿐만 아니라 딥러닝 전반에 유용하게 사용되고 있는 attention에 대해 다뤄보고자 한다. Abstract 주요한 sequence transduction 모델들은 인코더와 디코더를 포함하는 복잡한 RNN이나 CNN에 기반한다. 최고의 성능을 자랑하는 모델들은 attention mechanism을 이용해 인코더와 디코더를 연결한다. 이 논문에서는 recurrnece와 convolutions를 사용하지 않고 attention mechanism에 기반한 새롭고 간단한 모델인 Transformer를 소개한다. 이 모델은 2개의 기계번역 실험에서 더 parallelizable 하고 학습을 위한 시간도 크게 단축하면서 번역의 질은 더 좋은 것을 보인다. 1. Introduction RN.. 2022. 9. 20. [논문리뷰]Generative Adversarial Nets Abstract 이 논문에서는 적대적 과정을 통해 생성 모델을 예측하는 새로운 프레임워크를 소개한다. 이 적대적 과정은 데이터의 분포를 저장하는 생성 모델 $G$와 $G$의 데이터가 아닌 학습 데이터 샘플의 확률을 추정하는 판별 모델 $D$로 구성되어 있다. $G$의 학습 과정은 $D$가 잘못 판별하는 확률을 최대화하는 방향으로 진행한다. 저자는 이 프레임워크가 minimax two-player game 게임이라고 설명한다. 자세한 내용은 본문에서 다시 나온다. 임의의 $G$와 $D$의 공간에서, unique solution이 존재한다. $G$가 학습 데이터를 모방하고 $D$의 판별 확률은 50%가 된다. $G$와 $D$가 MLP로 정의하면, 전체 시스템이 backpropagation(역전파)로 학습할 .. 2022. 9. 13. [논문리뷰]Playing Atari with Deep Reinforcement Learning Abstract 이 논문은 강화 학습을 이용해서 고차원 sensory를 입력으로 받아 성공적으로 control policy를 학습하는 최초의 딥러닝 모델을 소개한다. 모델은 Q-learning으로 학습한 CNN이고 input은 raw pixel이고 output은 미래의 reward를 추정하는 value function이다. 저자는 해당 논문의 방법을 7개의 Atari 2600게임을 Arcade Learning environment에서 적용했다. 결과적으로 6개의 게임에서 이전의 모든 접근법의 결과를 상회하는 성능을 보여주었고 3개의 게임에서는 게임 전문가의 결과 보다 더 나은 결과를 보였다. 1. Introduction vision과 speech와 같은 고차원의 sensory input으로부터 agent.. 2022. 9. 5. 이전 1 다음
