목록transformer (1)

처음부터 시작하는 개발자

[CS] Transformer 개요

개요 딥러닝 분야에서 큰 변화를 이끈 Transformer에 대해 정리해보고자 한다. Stable Diffusion이 딥러닝 모델의 출력을 크게 향상시킨 것처럼, Transformer는 딥러닝 모델이 입력의 특징을 더욱 정확하게 파악하는 데 기여함으로써 입력 처리를 비약적으로 향상시켰다고 할 수 있다. "Attention Is All You Need"이라는 논문이 2017년에 발표되었고, 이때 Transformer라는 모델이 처음 등장하였다. 그 이전에는 그 당시 널리 쓰이고 있던 Seq2Seq 모델을 개선하기 위해 Attention이라는 기법이 알려져 있었지만, RNN이나 CNN 등을 전혀 사용하지 않고 오직 Attention 기법만으로 모델을 구성한 것은 Transformer가 최초였다. Seq2Se..
CS 2023. 11. 5. 17:09
이전 Prev 1 Next 다음