📌 Attention is All You Need 기존 방식에서 인코딩 방식은 근본적으로 RNN 방식이었으며, 디코딩 방식도 RNN 방식에 Attention Value를 추가해서 장기의존성 문제를 해결하는 방향으로 진행되었다. → 트랜스포머에서는 더이상 RNN 방식을 활용하지 않으며 기존 RNN 방식도 Attention Value를 구하는 방식으로 인코딩과 디코딩 과정을 거치게 되며 그렇기 때문에 “우리가 필요한 것은 어텐션 뿐이다.” 라는 논문 제목을 갖는 것이다. 📌 기존 어텐션 매커니즘과의 차이 단어 각각이 아닌 문장을 통째로 input한다. → 이를 통해 한 문장 내에서 각 단어가 다른 단어들과의 관계를 이해할 수 있도록 유도한다.(문맥을 고려한다.) Encoder Self-attention 한 ..