METODOLOGIA DE UTILIZAÇÃO DO FRAMEWORK OPTUNA PARA OTIMIZAÇÃO DE HIPERPARÂMETROS DE MODELO DE APRENDIZADO DE MÁQUINA DE REGRESSÃO

Resumo

Este estudo apresenta uma metodologia de utilização do framework Optuna para otimizar hiperparâmetros de modelos de aprendizado de máquina de regressão, ilustrada por sua aplicação ao XGBoost. O objetivo foi organizar a análise dos registros de otimização para apoiar a definição de novos intervalos de busca. Foram utilizadas onze bases públicas do UC Irvine Machine Learning Repository, desdobradas em quinze tarefas, com preparação dos dados, codificação de variáveis categóricas e normalização. O procedimento, denominado MOHOC, combina os registros das tentativas do Optuna com visualizações em Microsoft Excel, permitindo ao analista examinar concentrações de resultados e redefinir os intervalos dos hiperparâmetros. Foram realizados quatro ciclos de otimização por tarefa, com 1500 tentativas no primeiro ciclo. Ao final, a raiz do erro quadrático médio (RMSE) apresentou redução média de 15,91% em relação às configurações padrão e de 4,24% em relação ao primeiro ciclo. Os resultados descrevem a evolução observada durante a busca, sem constituir uma avaliação independente de generalização ou isolar o efeito do refinamento manual do aumento do orçamento de otimização. A contribuição consiste na organização de um procedimento prático de análise e condução dos ciclos de busca.

Biografia do(a) Autor(a)

Fabricio Ribeiro Seppe, Escola Superior de Propaganda e Marketing

Mestrando em Comportamento do Consumidor na Escola Superior de Propaganda e Marketing (ESPM). Especialista em Gestão da Indústria Inteligente (UEA), com MBAs em Gestão de Negócios e Ciência de Dados (USP/Esalq). Graduado em Engenharia Civil (UEA).

Referências

AKIBA, T.; SANO, S.; YANASE, T.; OHTA, T.; KOYAMA, M. Optuna: a next-generation hyperparameter optimization framework. In: ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, 25., 2019. Proceedings [...]. ACM, 2019. p. 2623–2631. DOI: https://doi.org/10.1145/3292500.3330701 DOI: https://doi.org/10.1145/3292500.3330701

ALQUTHAMI, T.; ZULFIQAR, M.; KAMRAN, M.; MILYANI, A. H.; RASHEED, M. B. A performance comparison of machine learning algorithms for load forecasting in smart grid. IEEE Access, v. 10, p. 48419–48433, 2022. DOI: https://doi.org/10.1109/access.2022.3171270 DOI: https://doi.org/10.1109/ACCESS.2022.3171270

AL-RAKHAMI, M.; GUMAEI, A.; ALSANAD, A.; ALAMRI, A.; HASSAN, M. M. An ensemble learning approach for accurate energy load prediction in residential buildings. IEEE Access, v. 7, p. 48328–48338, 2019. DOI: https://doi.org/10.1109/access.2019.2909470 DOI: https://doi.org/10.1109/ACCESS.2019.2909470

ARDEN, F.; SAFITRI, C. Hyperparameter tuning algorithm comparison with machine learning algorithms. In: INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY, INFORMATION SYSTEMS AND ELECTRICAL ENGINEERING (ICITISEE), 6., 2022. Proceedings [...]. IEEE, 2022. p. 183–188. DOI: https://doi.org/10.1109/icitisee57756.2022.10057630 DOI: https://doi.org/10.1109/ICITISEE57756.2022.10057630

BOEHMKE, B. C. Data Wrangling with R. Cham: Springer, 2016. DOI: https://doi.org/10.1007/978-3-319-45599-0 DOI: https://doi.org/10.1007/978-3-319-45599-0_1

CHEN, T.; GUESTRIN, C. XGBoost: a scalable tree boosting system. In: ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, 22., 2016. Proceedings [...]. ACM, 2016. p. 785–794. DOI: https://doi.org/10.1145/2939672.2939785 DOI: https://doi.org/10.1145/2939672.2939785

DEMIDOVA, L. A.; FILATOV, A. V. Optimization of hyperparameters with constraints on time and memory for the classification model of the hard drives states. In: INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGIES (InfoTech), 2022. Proceedings [...]. IEEE, 2022. p. 1–4. DOI: https://doi.org/10.1109/infotech55606.2022.9897074 DOI: https://doi.org/10.1109/InfoTech55606.2022.9897074

PRASAD, S. S.; DEO, R. C.; DOWNS, N.; IGOE, D.; PARISI, A. V.; SOAR, J. Cloud affected solar UV prediction with three-phase wavelet hybrid convolutional long short-term memory network multi-step forecast system. IEEE Access, v. 10, p. 24704–24720, 2022. DOI: https://doi.org/10.1109/ACCESS.2022.3153475 DOI: https://doi.org/10.1109/ACCESS.2022.3153475

SEPPE, F. R. MOHOC: Manual Optuna Hyperparameter Optimization Cycle. Versão 1.0.0. Zenodo, 2026. Software. DOI: https://doi.org/10.5281/zenodo.24096106

TAN, M.; YUAN, S.; LI, S.; SU, Y.; LI, H.; HE, F. Ultra-short-term industrial power demand forecasting using LSTM based hybrid ensemble learning. IEEE Transactions on Power Systems, v. 35, n. 4, p. 2937–2948, 2020. DOI: https://doi.org/10.1109/tpwrs.2019.2963109 DOI: https://doi.org/10.1109/TPWRS.2019.2963109

YANG, L.; SHAMI, A. On hyperparameter optimization of machine learning algorithms: theory and practice. Neurocomputing, v. 415, p. 295–316, 2020. DOI: https://doi.org/10.1016/j.neucom.2020.07.061 DOI: https://doi.org/10.1016/j.neucom.2020.07.061

ZHANG, D.; GONG, Y. The comparison of LightGBM and XGBoost coupling factor analysis and prediagnosis of acute liver failure. IEEE Access, v. 8, p. 220990–221003, 2020. DOI: https://doi.org/10.1109/access.2020.3042848 DOI: https://doi.org/10.1109/ACCESS.2020.3042848

Como Citar

Seppe, F. R. (2026). METODOLOGIA DE UTILIZAÇÃO DO FRAMEWORK OPTUNA PARA OTIMIZAÇÃO DE HIPERPARÂMETROS DE MODELO DE APRENDIZADO DE MÁQUINA DE REGRESSÃO. RECIMA21 - Revista Científica Multidisciplinar, 7(12), e7129477. https://doi.org/10.47820/recima21.v7i12.9477
Logotipo do Crossmark

Artigos Semelhantes

Você também pode iniciar uma pesquisa avançada por similaridade para este artigo.