하이퍼 파라미터는 머신러닝 과정에서 직접 선택해줘야 하는 값을 의미한다. 여기서 그냥 파라미터와 헷깔릴 여지가 있기 때문에 미리 짚고 넘어가자. 머신러닝에서의 파라미터는 목적함수 $h_{\theta}(x)$의 해($\theta$)를 의미하며, 하이퍼 파라미터는 모델링에서 우리가 직접 선택해야 하는 옵션값들을 의미한다. 어떤 모델을 선택하느냐에 차이가 발생하지만 LGBM 모델의 경우 max_depth, num_leaves, n_estimators 등이 해당하고, SVM의 경우 cost, gamma가 해당하며, DNN의 경우 epoch, batch_size, dropout 등이 해당할 것이다. 각 모델을 깊게 살펴본다면 우리가 손수 설정해야할 하이퍼 파라미터값들이 생각보다 훨씬 많다는 것을 알 수 있을 것이..