Introduzir fundamentos de Teoria de Informação, Inferência Bayesiana e Machine Learning de maneira integrada.
1. Introdução à Teoria de Informação; 2. Compressão de dados e codificação de canal ruidoso; 3. Problemas de inferência; 4. Redes neurais.
1. Probabilidade, Entropia e Inferência; 2. Teorema de codificação de fonte; 3. Teorema de codificação de canais ruidosos; 4. Métodos de agrupamento; 5. Inferência e marginalização exatas; 6. Comparação de modelos ; 7. Método de Monte Carlo; 8. Modelo de Ising; 9. Métodos variacionais; 10. Análise de componentes independentes (ICA); 11. Introdução às Redes Neurais; 12. Classificação; 13. Aprendizagem de máquina e inferência; 14. Redes de Hopfield; 15. Máquinas de Boltzmann; 16. Aprendizagem supervisionada em Redes Multicamada; 17. Processos Gaussianos.
D. J. C. MacKay, Information Theory, Inference and Learning Algorithms, 1 ed, Cambridge University Press, 2003. E. T. Jaynes, Probability Theory: The Logic of Science,1 ed, Cambridge University Press, 2003. D. Sivia e J. Skilling, Data Analysis: A Bayesian Tutorial, 2 ed, Oxford University Press, 2006. T. M. Cover e J.A. Thomas, Elements of Information Theory,2 ed, Wiley Interscience, 2006.
