• “CNN을 훈련시킬 때, 많은 데이터가 필요하다.”
  • 속설일 수 있다.
    • finetuning! : 아무것도 학습하지 않은 모델을 학습시키는 것이 아니다.

1. 먼저, ImageNet data로 훈련시킨다.
2. 우리의 데이터로 모델 네트워크를 Finetune 한다.

1. 우리의 모델을 ImageNet data에 대해서 학습시킨다.
   1. 직접 할 필요가 없다. : 이미 학습시켜놓은 가중치를 공유하면된다.
2. 우리의 데이터셋이 엄청 작다.
   1. 기존의 모든 가중치를 고정
   2. 제일 마지막 classifier만 교체
3. 우리의 데이터셋이 엄청 작지도 크지도 않다.
   1. finetune
      1. 기존의 가중치들을 우리의 모델의 초기값으로 사용, 이를 기반으로 네트워크를 학습시킴
      2. 위에는 고정 아래만 새로 학습시킴

• caffe에서 시작했지만 현재는 tensorflow, pytorch 등 여러 프레임워크 내에서도 존재한다.

• 많은 데이터를 터미널에서 무리하게 돌리지 말라.

• 1957, Mark 1 Perceptron 서킷 기반의 하드웨어
• 미분 불가능한 함수, backpropagation 불가, 가중치를 임의로 조절하면서 네트워크 최적화 시도