728x90 728x90 딥러닝9 [혼공머신] Chapter 09 텍스트를 위한 인공 신경망 09-1 순차 데이터와 순환 신경망 Sequential Data (순차 데이터) 텍스트나 시계열 데이터(Time series data)와 같이 순서에 의미가 있는 데이터 Feedforward Neural Network (FFNN, 피드포워드 신경망) 완전 연결 신경망 합성곱 신경망 Recurrent Neural Network (RNN, 순환 신경망) Timestep (타임스탭) 순환 신경망에서 샘플을 처리하는 단계 cell 순환 신경망의 layer cell의 출력 : hidden state (은닉 상태) activation function 일반적으로 'tanh' 사용 09-2 순환 신경망으로 IMDB 리뷰 분류하기 자연어 처리 (Natural Language Processing, NLP) .. 2022. 3. 14. [혼공머신] Chapter 08 이미지를 위한 인공 신경망 08-1 합성곱 신경망의 구성 요소 Convolution (합성곱) dense layer와 비슷하게 input과 weight를 곱하고 intercept을 더하는 선형 계산 dense layer와 달리 input의 일부만 사용하여 선형 계산을 수행 Convolutional Neural Network (CNN, 합성곱 신경망) convolution layer을 1개 이상 사용한 인공 신경망 Filter (= Kernel) dense layer의 neuron에 해당 kernel의 깊이는 input의 깊이와 같음 Feature map (특성 맵) convolution layer이나 pooling layer의 출력 배열 filter 하나 당 feature map 하나를 만듦 Padding (패딩) 입력 배열의 주.. 2022. 3. 11. [혼공머신] Chapter 07 딥러닝을 시작합니다 07-1 인공 신경망 Tensorflow 구글이 2015년 11월 오픈소스로 공개한 딥러닝 라이브러리 Keras tensorflow의 고수준 API Artificial Neural Network (ANN, 인공 신경망) 생물학적 뉴런에서 영감을 받아 만들어진 머신러닝 알고리즘 매컬러-피츠 뉴런1943년 워런 매컬러와 월터 피츠가 제안한 뉴런 모델 Neuron (= Unit) 선형 방정식을 계산하는 단위 Activation Function (활성화 함수) 뉴런의 선형 방정식 계산 결과에 적용되는 함수 Input layer (입력층) Dense layer (밀집층) 가장 간단한 ANN의 layer 뉴런들이 모두 연결되어 있기 때문에 fully connected layer(완전 연결 층)라고도 부름 Outpu.. 2022. 3. 8. [혼공머신] Chapter 06 비지도 학습 06-1 군집 알고리즘 Unsupervised Learning train set에 target이 없는 학습 방법 외부의 도움 없이 스스로 유용한 무엇인가를 학습하는 방법 Clustering (군집) 비슷한 sample끼리 하나의 그룹으로 모으는 대표적인 unsupervised learning Clusterclustering으로 모은 sample 그룹 Dimensionality Reduction (차원 축소) 원본 data의 feature를 적은 수의 새로운 feature로 변환하는 unsupervised learning 06-2 k-평균 k-means 알고리즘 작동 방식 무작위로 k개의 cluster center(= centroid) 설정 각 sample에서 가장 가까운 cluster center를 찾아.. 2022. 3. 7. [혼공머신] Chapter 05 트리 알고리즘 05-1 결정 트리 Decision Tree 예/아니오 에 대한 질문을 이어나가면서 정답을 찾아 학습하는 algorithm 비교적 예측 과정을 이해하기 쉽고 성능도 뛰어남 Root node Leaf node Impurity (불순도) decision tree가 최적의 질문을 찾기 위한 기준 Gini impurity (지니 불순도)$지니불순도 = 1 - ({음성 클래스 비율}^2 + {양성 클래스 비율}^2)$ Entropy impurity (엔트로피 불순도)$음성클래스비율 \times log_2 (음성클래스비율) - 양성클래스비율 \times log_2 (양성클래스비율)$ Information Gain (정보 이득) 부모와 자식 노드 사이의 impurity 차이 decision tree algorithm.. 2022. 3. 6. [혼공머신] Chapter 04 다양한 분류 알고리즘 04-1 로지스틱 회귀 Multi-class Classification (다중 분류) target data에 2개 이상의 class가 포함된 문제 Logistic Regression (로지스틱 회귀) 이름은 regression이지만 classification model linear regression과 동일하게 linear equation을 학습 이진 분류 sigmoid function 사용 $\phi = \frac{1}{1+e^{-z}}$ z값이 음의 무한대로 갈수록 0에 수렴 z값이 양의 무한대로 갈수록 1에 수렴 다중 분류 softmax function 사용 $s_n = \frac{e^{z_n}}{\sum e^{z_i}}$ 여러 개의 선형 방정식의 출력값을 0~1 사이로 압축하고 전체 합을 1로 만.. 2022. 3. 5. [혼공머신] Chapter 03 회귀 알고리즘과 모델 규제 03-1 k-최근접 이웃 회귀 Regression (회귀) data를 class로 분류하는 Classification(분류)과는 달리 임의의 숫자를 예측하는 방법 k-Neighbor Regression (k-최근접 이웃 회귀) 예측하려는 sample에 가장 가까운 sample k개를 선택하여 그 수치들의 평균으로 예측하는 알고리즘 Coefficient of determination (결정계수, $R^2$) $$R^2 = 1 - \frac{\sum(Target - Prediction)^2}{\sum(Target - Average)^2}$$ 과대적합 (Overfitting) train set에서는 높은 점수(정확도)인데 test set에서는 낮은 점수(정확도)인 경우 (= train set을 지나치게 학습한.. 2022. 3. 4. 이전 1 2 다음 728x90 반응형