Apresentar técnicas atuais de aprendizagem estatística, no caso clássico e no caso de altas dimensões, isto é, quando o número de parâmetros a serem estimados é muito maior que o número de observações. Fornecer ferramentas teóricas de análise e exemplos práticos de aplicação.
Programa Resumido 1. Introdução à aprendizagem estatística 2. Modelos lineares para regressão e classificação 3. Seleção e avaliação de modelos 4. Modelos não lineares 5. Métodos baseados em árvores 6. Redes neurais e aprendizagem profunda 7. Tópicos especiais
Programa Detalhado 1. Introdução à aprendizagem estatística: problemas supervisionados e não supervisionados, regressão e classificação, exemplos. Medidas de avaliação do desempenho. Função de custo, erro empírico e erro esperado. Estimação do erro esperado de predição numa amostra: divisão da amostra em treino, validação e teste. 2. Modelos lineares para regressão e classificação: modelo linear para regressão. Estimadores de mínimos quadrados e regularização em alta dimensão: Ridge, LASSO, BIC e algoritmos gulosos (forward, backward). Regressão logística para classificação, algoritmo do gradiente descendente. 3. Seleção e avaliação de modelos: estimação do erro esperado por validação e validação cruzada. Comparação de modelos. Decomposição do erro esperado em viés e variância. Navalha de Occam. Problema de bisbilhotagem. 4. Modelos não lineares: regressão polinomial, splines e modelos aditivos generalizados. 5. Métodos baseados em árvores: bagging, florestas aleatórias e boosting. Gradiente boosting. 6. Redes neurais e aprendizagem profunda: redes com uma camada e com múltiplas camadas. Redes convolucionais. Ajuste dos parâmetros: retropropagação, regularização e descendente do gradiente estocástico. 7. Tópicos especiais: aprendizagem não supervisionada, modelos gráficos, modelos para redes aleatórias, redes neurais recursivas, XGBoost.
Bibliografia básica 1. G. James, D. Witten, T. Hastie & R. Tibshirani. An Introduction to Statistical Learning with Applications in R, Springer, 2013. 2. T. Hastie, R. Tibshirani & J. Friedman. The Elements of Statistical Learning. 2nd edition. Springer, 2009. Bibliografia complementar 1. Izbicki, R. e Santos, T. M. dos. Aprendizado de máquina: uma abordagem estatística. 1ᵃ edição, 2020. 2. Y. Abu-Mostafa, M. Magdon-Ismail & H.T Lin. Learning from Data. AMLBook, 2012. 3. B. Efron & J. Friedman. Computer Age Statistical Inference. Cambridge University Press, 2016. 4. T. Hastie, R. Tibshirani & M. Wainwright. Statistical Learning with Sparsity. The Lasso and Generalizations. CRC Press, 2015. 5. Goodfellow, I. Bengio, Y. and Courville, A. Deep Learning. MIT Press. 2016