본 연구는 머신러닝 모델의 하이퍼파라미터 탐색에서 베이지안 최적화(Bayesian Optimization, BO)가 갖는 샘플 효율성과 실용적 한계를 규명하기 위해 수행된 AutoML 기반 심화 탐구이다. 연구에서는 가우시안 프로세스(Gaussian Process, GP)를 대리모델로 사용하는 BO를 적용하여 RandomForest와 XGBoost의 주요 하이퍼파라미터를 최적화하였으며, 초기 샘플 수, 커널 종류(RBF, Matern, RBF+WhiteKernel), length scale, 탐색 예산 등 핵심 설계 요소가 최적화 성능과 수렴 속도에 미치는 영향을 체계적으로 분석하였다. 비교 실험은 동일 예산에서 Random Search, Grid Search, Hyperband와 수행하여 BO의 샘플 효율성과 계산 효율을 평가하였으며, 불확실성 기반 탐색(exploration)이 실제 학습곡선에서 어떻게 반영되는지를 신뢰구간의 변화로 검증하였다. 연구 결과, BO는 적은 평가 횟수에서도 높은 성능의 하이퍼파라미터 조합을 빠르게 탐색하는 장점을 보였으나, 고차원 공간에서의 GP 계산 복잡도 증가, 범주형 변수 처리의 제약, 특정 커널 설정에 대한 민감성 등이 명확한 한계로 나타났다. 결론적으로, BO는 평가 비용이 큰 모델의 효율적 최적화에 매우 유용하지만, 대규모, 고차원, 혼합형 하이퍼파라미터 공간에서는 멀티피델리티 기법 또는 대체 서로게이트 모델의 도입이 필수적임을 확인하였다. 본 연구는 AutoML에서의 BO 활용을 보다 실증적 관점에서 정량적으로 평가함으로써, 효율성과 한계가 공존하는 BO의 실제 적용 가능성을 명확히 제시한다.