[2022] NVIDIA DEEP LEARNING INSTITUTE 2부

[ 2부 : 뉴럴 네트워크의 트레이닝 방식 ]
1) 손실 곡선 (THE LOSS CURVE)
- 그래디언트 (Gradient) : 어떤 방향으로 손실이 가장 많이 감소하는가
- 학습률 (Learning rate) : 이동 거리
- 에포크 (Epoch) : 전체 데이터세트로 모델 업데이트
- 배치 (Batch) : 전체 데이터세트 중 특정 샘플
- 단계 (Step) : 가중치 매개변수에 대한 업데이트

2) 옵티마이저 (OPTIMIZERS)
- Adam
- Adagrad
- RMSprop
- SGD
※ 손실 - 모멘텀 옵티마이저 (Loss - Momentum Optimizer)

3) 네트워크 구축
- 더 많은 변수로의 확장
- 뉴런들간의 연결
- 모든 회귀가 선형이면 출력 결과도 선형 회귀

4) 활성화 함수 (ACTIVATION FUNCTIONS)
- Linear (선형)
- ReLU
- Sigmoid (시그모이드)

5) 트레이닝 데이터와 검증 데이터 비교 
- 트레이닝 데이터 (Training data) : 학습해야 하는 모델의 핵심 데이터세트
- 검증 데이터 (Validation data) : 정말로 이해하는지(일반화 가능한지)를 확인하기 위한 모델의 새 데이터
- 과적합 (Overfitting) : 모델이 트레이닝 데이터에 대한 좋은 성능을 보이지만 검증 데이터는 그렇지 못함 (암기의 증거)
                                             정확도 및 손실이 두 데이터세트 간에 유사해야 이상적임