728x90
09-1 순차 데이터와 순환 신경망
Sequential Data (순차 데이터)
텍스트나 시계열 데이터(Time series data)와 같이 순서에 의미가 있는 데이터
Feedforward Neural Network (FFNN, 피드포워드 신경망)
- 완전 연결 신경망
- 합성곱 신경망
Recurrent Neural Network (RNN, 순환 신경망)
- Timestep (타임스탭)
순환 신경망에서 샘플을 처리하는 단계
- cell
순환 신경망의 layer
cell의 출력 : hidden state (은닉 상태) - activation function
일반적으로 'tanh' 사용
09-2 순환 신경망으로 IMDB 리뷰 분류하기
자연어 처리 (Natural Language Processing, NLP)
컴퓨터를 사용해 인간의 언어를 처리하는 분야
- Corpus (말뭉치)
자연어 처리 분야에서 사용하는 텍스트 데이터의 모음
- Token (토큰)
텍스트에서 공백으로 구분되는 문자열
한국어는 형태소를 기준으로 분리- 0 : padding
- 1 : 문장의 시작
- 2 : 어휘 사전에 없는 단어
- Word Embedding (단어 임베딩)
정수로 변환된 토큰을 비교적 작은 크기의 실수 밀집 벡터로 변환
09-3 LSTM과 GRU 셀
LSTM (Long Short-Term Memory)
타임스탭이 긴 데이터를 효과적으로 학습하기 위해 고안된 순환층
- hidden state 외에 cell state를 출력
cell state는 다음 층으로 전달되지 않으며 현재 셀에서만 순환
GRU (Gated Recurrent Unit)
LSTM 셀의 간소화 버전
728x90
반응형