Disciplina Discipline PCS5024
Aprendizado Estatístico
Statistical Learning

Área de Concentração: 3141

Concentration area: 3141

Criação: 17/11/2023

Creation: 17/11/2023

Ativação: 17/11/2023

Activation: 17/11/2023

Nr. de Créditos: 8

Credits: 8

Carga Horária:

Workload:

Docentes Responsáveis:

Professors:

Fabio Gagliardi Cozman

Anna Helena Reali Costa

Objetivos:

Este curso fornece teoria e técnicas básicas de aprendizado de máquina estatística. São apresentadas noções de dados de treinamento / teste, overfitting, classificação e regressão; conceitos básicos de teoria das probabilidades e estimativas, algoritmo para o aprendizado de redes bayesianas (parâmetros e estrutura); classificadores e regressores baseados em árvores, em máquinas de vetores de suporte, em redes neurais, em regressão linear, logística e não linear; e, finalmente, noções básicas de algoritmos de agrupamento, Deep Learning e Aprendizado por Reforço.

Objectives:

This course provides basic statistical machine learning theory and techniques. Notions of training/testing, overfitting, classification and regression data are presented; basic concepts of theory of probability and estimates, algorithm for learning Bayesian networks (parameters and structure); classifiers and regressors based on trees, on support vector machines, on neural networks, on linear, logistic and non-linear regression; and, finally, basics of clustering algorithms, Deep Learning and Reinforcement Learning.

Justificativa:

Técnicas de aprendizado de máquina têm sido amplamente utilizadas em processamento de imagens, processamento de linguagem natural, sistemas de controle e de recomendação, classificação e compreensão de texto, recuperação de informações e diversas outras aplicações. Entre as técnicas existentes, aquelas com base estatística têm sido particularmente bem-sucedidas. Essa disciplina dá aos alunos uma base sólida em aprendizado estatístico, passando por uma revisão da teoria de probabilidades, teoria de estimação (frequentista e bayesiana) e focando em modelos importantes como redes bayesianas, árvores de decisão, regressão linear e logística, redes neurais, aprendizado por reforço. Além disso, a disciplina oferece noções sobre os pacotes de ferramentas essenciais para aprendizado estatístico, além de ter um viés de estímulo à pesquisa na área.

Rationale:

Machine learning techniques have been widely used in image processing, natural language processing, control and recommendation systems, text classification and comprehension, information retrieval and many other applications. Among the existing techniques, those based on statistics have been particularly successful. This course gives students a solid foundation in statistical learning, going through a review of probability theory, estimation theory (frequentist and Bayesian) and focusing on important models such as Bayesian networks, decision trees, linear and logistic regression, neural networks, reinforcement learning. In addition, the discipline offers notions about essential toolkits for statistical learning, in addition to encouraging research in the area.

Conteúdo:

Os seguintes tópicos são abordados nas aulas da disciplina; na última aula será realizada uma prova e/ou serão apresentados resultados de trabalhos dos alunos. 1. Introdução à disciplina e conceitos básicos 2. Elementos da teoria de probabilidades: espaços, variáveis, eventos, axiomas. 3. Teoria de estimação (frequentista e bayesiana). 4. Redes bayesianas e campos de Markov. 5. Estimação de redes bayesianas e campos de Markov. 6. Classificação e regressão, supervisão e agrupamento, acurácia e interpretabilidade, viés e variância, avaliação, validação cruzada. 7. Discriminantes lineares, árvores de decisão, classificação por vizinhança. 8. Processos de decisão markovianos e aprendizado por reforço. 9. Regressão linear. 10. Regressão não-linear e logística. 11. Agrupamento. 12. Árvores e florestas de classificadores.

Content:

The following topics are covered in the course classes; in the last class, an exam will be held and/or results of students' work will be presented. 1. Introduction to the discipline and basic concepts 2. Elements of probability theory: spaces, variables, events, axioms. 3. Estimation theory (frequentist and Bayesian). 4. Bayesian networks and Markov fields. 5. Estimation of Bayesian networks and Markov fields. 6. Classification and regression, supervision and clustering, accuracy and interpretability, bias and variance, evaluation, cross-validation. 7. Linear discriminants, decision trees, neighborhood classification. 8. Markov decision processes and reinforcement learning. 9. Linear regression. 10. Nonlinear and logistic regression. 11. Grouping. 12. Classifier trees and forests.

Forma de Avaliação:

Listas de exercícios, trabalho sobre aprendizado estatístico, provas. Nota final é a média das notas.

Type of Assessment:

Lists of exercises, work on statistical learning, tests. Final grade is the average of the grades.

Observação:

Não há

Notes/Remarks:

no remarks

Bibliografia:

Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning with Applications in R. Second Edition, Springer 2021 (https://www.statlearning.com/). S. Russel, P. Norvig. Artificial Intelligence – A Modern Approach, Pearson, 2018. L. Wasserman. All of Statistics, Springer, 2004. T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition, Springer 2009.

Bibliography:

Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning with Applications in R. Second Edition, Springer 2021 (https://www.statlearning.com/). S. Russel, P. Norvig. Artificial Intelligence – A Modern Approach, Pearson, 2018. L. Wasserman. All of Statistics, Springer, 2004. T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition, Springer 2009.

Tipo de oferecimento da disciplina:

Presencial

Class type:

Presencial