NLP/AI/Statistics

앞에서 기본적인 순환신경망인 RNN(Recurrent Neural Network)에 대하여 설명하였다. RNN이 가지는 장기의존성 문제를 해결하기 위해 LSTM (Long Short-Term Memory) 모델이 소개되었으며, 이번 글에서는 LSTM의 특징과 내부 구조에 대하여 설명한다. LSTM은 간단히 설명하자면, RNN의 변형 구조로써 게이트 메커니즘을 추가한 모델이라고 할 수 있다. RNN의 내부 구조에 입력 게이트, 망각 게이트, 출력 게이트를 추가하여 장기 의존성 문제를 해결하고자 한다. 이러한 LSTM의 구조는 다음의 그림과 같다. 기본적으로 입력층, 은닉층, 출력층이 연속된 시퀀스의 형태인 것은 RNN과 동일하다. 다만, 은닉층에서의 내부구조가 더 복잡하게 설계되어 있는 것을 알 수 있다...