Disciplina Discipline SEL5901
Controle Ótimo

Optimal Control

Área de Concentração: 18153

Concentration area: 18153

Criação: 18/12/2023

Creation: 18/12/2023

Ativação: 18/12/2023

Activation: 18/12/2023

Nr. de Créditos: 12

Credits: 12

Carga Horária:

Workload:

Teórica

(por semana)

Theory

(weekly)

Prática

(por semana)

Practice

(weekly)

Estudos

(por semana)

Study

(weekly)

Duração Duration Total Total
3 0 9 15 semanas 15 weeks 180 horas 180 hours

Docente Responsável:

Professor:

Marco Henrique Terra

Objetivos:

O objetivo da teoria de controle ótimo é determinar os sinais de controle para um sistema dinâmico que resulte em um processo que satisfaça restrições físicas e ao mesmo tempo otimize um determinado critério de desempenho. Serão apresentadas diferentes abordagens de controle ótimo voltadas para uma audiência ampla (alunos de engenharia, matemática, economia). A história do controle ótimo teve início em 1696 com Johann Bernoulli, professor de matemática na Universidade de Groningen, Netherlands, e continua sendo desenvolvida nos dias de hoje através da teoria moderna de controle ótimo com várias abordagens. Nesta disciplina serão utilizados dois enfoques algébricos para deduzir controladores ótimos. O primeiro é baseado em cálculo variacional. Será utilizado em particular para sistemas cujos parâmetros não estejam sujeitos a incertezas. O segundo é baseado em mínimos quadrados regularizados robustos. Para tratar de sistemas sujeitos a incertezas nos parâmetros. Conceitos de aprendizagem por reforço e controle ótimo também serão apresentados. Essa disciplina fornece ao aluno ferramentas suficientes para que ele interprete os resultados recentes nesta área, bem como desenvolva pesquisa no assunto.

Objectives:

The optimal control theory aims to design control signals for a dynamic system to produce a process that satisfies physical constraints and optimizes a specific cost function. It will present some approaches to solving this problem in a way that reaches a broad audience, including engineers, mathematicians, and economists. The history of optimal control was initiated in 1696 by Johann Bernoulli, a mathematician professor at Groningen University (Netherlands). It continues to be developed through modern theories, where different approaches based on models and data are considered. In this course, two algebraic methods are used to deduce optimal regulators. The first is based on variational calculus. It is utilized for systems whose parameters are not subject to uncertainties. The second is based on the robust regularized least mean square. It is used to deal with systems subjected to parametric uncertainties. Concepts related to reinforcement learning and optimal control are introduced. This course provides the students with tools to comprehend recent developments in this area and conditions to develop research in this subject.

Justificativa:

A disciplina de controle ótimo faz parte de um conjunto de disciplinas que estão sendo implementadas no departamento de Engenharia Elétrica e de Computação da USP-São Carlos, na área de controle. Esta disciplina tem um amplo espectro de interesse, serve para Engenharia, Pesquisa Operacional, Economia e Matemática Aplicada. É orientada tanto para modelagem como para análise matemática e computação. É um tema de bastante interesse na comunidade internacional, como indicam as referências aqui citadas.

Rationale:

Justification: This optimal control course belongs to a set of practices in the control area of the electrical and computation department of the USP-SC. It is designed to be applied to engineering, operational research, computation, economics, and applied mathematics. It deals with modeling, analysis, and computation. According to the references used in this course, it is of interest to the scientific community of Brazil and abroad.

Conteúdo:

- Origens do cálculo variacional e controle ótimo - Cálculo variacional - controle ótimo e problemas do regulador linear - Controle ótimo em tempo contínuo - Equação de Hamilton-Jacobi-Belman - O princípio do mínimo de Pontryagin - Extensões do princípio do mínimo - estados terminais livres e fixos - Problemas com informações perfeitas e imperfeitas dos estados - A relação entre programação dinâmica e princípio do mínimo - Sistemas variantes no tempo - Mínimos quadrados regularizados robustos - Introdução ao controle ótimo robusto

Content:

• Variational calculus and optimal control: origins • Variational calculus • Linear quadratic regulator • Optimal control: continuous and discrete time • Hamilton-Jacobi-Bellman equation • Pontryagin minimum principle • Minimum principle: final states fixed and free • Problems with states partially known • Robust regularized least mean square • Optimal robust control: introduction • Reinforcement learning and optimal control

Forma de Avaliação:

Provas e listas de exercícios.

Type of Assessment:

Tests and exercise lists.

Observação:

A referência [8] pode ser encontrada no seguinte endereço: ( http://www.sel.eesc.usp.br/lasi/Publicacoes/TesesDissertacoes )

Notes/Remarks:

Reference [8] can be found at the following address: ( http://www.sel.eesc.usp.br/lasi/Publicacoes/TesesDissertacoes )

Bibliografia:

[1] Bertsekas, D. P. – “Dynamic Programming and Optimal Control”, vols. I e II. Athena Scientific, 2012. [2] Green, M; Limebeer, D.J. N., “Linear Robust Control”, Prentice Hall, 1995. [3] Grimble, M.J. and Johnson, M. A. – “Optimal Control and Stochastic Estimation - Theory and Aplications”, John Wiley & Sons (vol. I and II), 1988. [4] Kirk, D. E. - "Optimal Control Theory - an Introduction", Prentice Hall, 1970. [5] Lewis, F. L. - "Optimal Control", John Wiley & Sons, Inc., 1986. [6] Willems, J. C.; Sussmann, H. J.; Doyle, J. C.; Bittanti, S. (1996) “Origin of the Calculus of Variations and Optimal Control (Invited Session)” - Proceedings of the 35 th IEEE Conference on Decision and Control. Kobe, Japan - Dezembro 1996. [7] Cerri, J. P. and Terra, M. H. and Ishihara, J. Y. (2009) “Recursive robust regulator for discrete-time state-space systems” - Proceedings of the American Control Conference - ACC, St. Louis, Missouri, USA. [8] Cerri, J. P. (2008) “ Regulador Robusto Recursivo para Sistemas Lineares de Tempo Discreto no Espaço de Estado” – Dissertação de mestrado – Departamento de Engenharia Elétrica da Universidade de São Paulo. [9] Terra, M. H. ; Cerri, J. P. ; Ishihara, J. Y. “Optimal Robust Linear Quadratic Regulator for Systems Subject to Uncertainties”. IEEE Transactions on Automatic Control, vol. 59, n. 9, september, 2014. [10] Bertsekas D. (2019) “ Reinforcement Learning and Optimal Control”. Athena Scientific.

Bibliography:

[1] Bertsekas, D. P. – “Dynamic Programming and Optimal Control”, vols. I e II. Athena Scientific, 2012. [2] Green, M; Limebeer, D.J. N., “Linear Robust Control”, Prentice Hall, 1995. [3] Grimble, M.J. and Johnson, M. A. – “Optimal Control and Stochastic Estimation - Theory and Aplications”, John Wiley & Sons (vol. I and II), 1988. [4] Kirk, D. E. - "Optimal Control Theory - an Introduction", Prentice Hall, 1970. [5] Lewis, F. L. - "Optimal Control", John Wiley & Sons, Inc., 1986. [6] Willems, J. C.; Sussmann, H. J.; Doyle, J. C.; Bittanti, S. (1996) “Origin of the Calculus of Variations and Optimal Control (Invited Session)” - Proceedings of the 35 th IEEE Conference on Decision and Control. Kobe, Japan - Dezembro 1996. [7] Cerri, J. P. and Terra, M. H. and Ishihara, J. Y. (2009) “Recursive robust regulator for discrete-time state-space systems” - Proceedings of the American Control Conference - ACC, St. Louis, Missouri, USA. [8] Cerri, J. P. (2008) “ Regulador Robusto Recursivo para Sistemas Lineares de Tempo Discreto no Espaço de Estado” – Dissertação de mestrado – Departamento de Engenharia Elétrica da Universidade de São Paulo. [9] Terra, M. H. ; Cerri, J. P. ; Ishihara, J. Y. “Optimal Robust Linear Quadratic Regulator for Systems Subject to Uncertainties”. IEEE Transactions on Automatic Control, vol. 59, n. 9, september, 2014. [10] Bertsekas D. (2019) “ Reinforcement Learning and Optimal Control”. Athena Scientific.

Tipo de oferecimento da disciplina:

Presencial

Class type:

Presencial