RNN, Recurrent Neural Network과 LSTM

현재 딥러닝 분야에서 CNN과 함께 큰 영역으로 자리매김하고 있는 RNN, Recurrent Neural Network은 그 이름이 의미하는 바와 같이 과거의 값이 이후로 영향을 계속해서 미친다는 구조로 신경망을 설계하는 것이다. 응용 분야로는 시계열 데이터를 처리하는 언어 모델이나 시간에 따른 데이터의 변화가 존재하는 주식 시장 데이터와 같은 곳에 적용해 볼 수 있다.

단순한 RNN 구조는 Weight update시 gradient의 vanishing 문제와 exploding 문제가 발생하는데, 이를 구조적으로 개선한 것이 최근 널리 쓰이고 있는 LSTM, Long-Short Term Memory 구조가 있다. 

Simple Recurrent Network 구조와 LSTM의 구조 비교

구글링을 해보면 RNN이나 LSTM에 대한 많은 자료를 찾을 수 있기 때문에 여기서는 몇 개의 추천할만한 링크를 정리하려고 한다.

ratsgo's blog (한글)

- Recursive Neural Networks

- RNN과 LSTM을 이해해보자!

- 효과적인 RNN 학습

Team AI Korea (한글)

- Recurrent Neural Network (RNN) Tutorial - Part 1

- RNN Tutorial Part 2 - Python, NumPy와 Theano로 RNN 구현하기

- RNN Tutorial Part 3 - BPTT와 Vanishing Gradient 문제

- RNN Tutorial Part 4 - GRU/LSTM RNN 구조를 Python과 Theano를 이용하여 구현하기

해외의 많은 전문가들이 추천하는 LSTM에 대해 굉장히 쉽게 설명된 블로그 포스팅

- colah's blog : Understanding LSTM Networks (영문)

추천할만한 LSTM 관련 논문들

- LSTM: A Search Space Odyssey : 1503.04069.pdf