Disciplina Discipline SEL5724
Visão Computacional em Robótica
Robotic Computer Vision

Área de Concentração: 18153

Concentration area: 18153

Criação: 21/06/2022

Creation: 21/06/2022

Ativação: 21/06/2022

Activation: 21/06/2022

Nr. de Créditos: 12

Credits: 12

Carga Horária:

Workload:

Docente Responsável:

Professor:

Valdir Grassi Junior

Objetivos:

Introduzir ao aluno os fundamentos e métodos de visão computacional para estimação da geometria tridimensional do ambiente a partir do processamento de imagens, e aplicações desses métodos em robótica, tais como, mapeamento, localização, controle servo visual, rastreamento. O enfoque do curso está na estimação da posição e movimento de objetos de interesse no ambiente a partir de imagens de câmeras fixas; ou de forma semelhante, a posição e movimento de câmeras a partir de pontos de referência fixos no ambiente. Para esse propósito, serão apresentados métodos frequentemente utilizados em aplicações robóticas para segmentação de imagem, extração de características, calibração de câmeras e visão estereoscópica.

Objectives:

Presenting fundamentals and methods of computer vision used for tridimensional geometry estimation of the environment from camera images, and applications of these methods in robotics, such as, mapping, location, visual servo control, tracking. The focus of the course is on the estimation of the position and motion of objects of interest in the environment from fixed camera images; or similarly, the position and movement of cameras from fixed reference points observed in the environment. For this purpose, methods often used in robotic applications will be presented for image segmentation, feature extraction, calibration of cameras and stereoscopic vision.

Justificativa:

Imagens são fontes ricas de informações do ambiente, o que motiva sua utilização em aplicações de controle de sistemas dinâmicos e robóticos, monitoramento de ambientes, inspeção e medição, etc. Além disso, o custo cada vez mais baixo de câmeras e a disponibilidade de computadores com velocidade e poder de processamento maior, viabiliza o uso de imagens em aplicações que requerem extração de informações em tempo real do ambiente observado. Esse curso vem complementar a formação do aluno na área de robótica e visão computacional, apresentando ferramentas e métodos para estimativa da posição e movimento de objetos no ambiente a partir do processamento computacional de imagens. Dentro do público alvo da disciplina, também se enquadram alunos que têm interesse em usar visão computacional no controle de sistemas dinâmicos ou para sensoriamento desses sistemas.

Rationale:

Images are rich sources of information on the environment, which motivates their use in applications of dynamic systems and robotic control, monitoring, inspection and measurement, etc. Moreover, the increasingly lower cost of cameras, and the availability of computers with increased speed and processing power enables the use of images in applications that require real-time information extraction of the observed environment. This course complements the student's training in the area of robotics and computer vision, presenting tools and methods for estimating the position and motion of objects in the environment from the computational processing of images. Within the target audience of the discipline, there are students who have an interest in using computer vision, in the control of dynamical systems, or in perception systems.

Conteúdo:

Introdução à visão computacional aplicada em robótica. Formação de imagens e modelos de câmera: imagens digitais, ótica básica, formação de imagens, modelos de câmera, parâmetros intrínsecos e extrínsecos de uma câmera, imagens de profundidade. Extração de características visuais e segmentação de imagem: características visuais, detecção de bordas e cantos, linhas e curvas, Transformada de Hough, SIFT, segmentação de regiões por cor e intensidade. Rastreamento visual. Calibração de câmeras: matriz de projeção. Visão estéreo: introdução, correspondência, geometria epipolar, retificação de imagem, estimativa de profundidade. Mosaico de imagens. Fluxo ótico, estimativa de velocidade. Odometria visual.

Content:

Introduction to computer vision applied to robotics. Image formation and camera models: digital images, basic optics, image formation, camera models, intrinsic and extrinsic camera parameters, depth images. Visual feature extraction and image segmentation: visual features, detection of edges and corners, lines and curves, Hough transformation, color and intensity segmentation. Visual tracking. Camera calibration: projection matrix. Stereo Vision: introduction, correspondence, epipolar geometry, depth estimation. Image mosaicing. Optical flow, velocity estimation. Visual odometry.

Forma de Avaliação:

A avaliação será feita através de listas de exercícios, provas teóricas e/ou práticas, e apresentação de seminário. O aluno deverá obter Nota Final (NF) maior ou igual a 5,0 para ser aprovado: A Nota Final (NF) é calculada da seguinte forma: NF = 0,6*[(P+S) / 2] + 0,4*L onde: P = Média das Provas Teóricas e Práticas; S = Nota do Seminário; L = Média das Listas de Exercícios; O aproveitamento do aluno na disciplina será expresso por um dos seguintes conceitos: A: Excelente, com direito a crédito; B: Bom, com direito a crédito; C: Regular, com direito a crédito; R: Reprovado, sem dir

Type of Assessment:

The evaluation will be done via exercise lists, theory and/or practical tests, and presentation of a seminar. The student must obtain Final Grade (G) greater or equal to 5,0 to be approved: Final Grade (G) is computed by: G = 0,6[(T+S) / 2] + 0,4*L where: T = Average of Theorical and Practical Tests; S = Seminary; L = Average of Exercise Lists. The letter grades correspond to the following meaning: A: Excellent, the student receives course credits; B: Good, the student receives course credits; C: Satisfactory, the student receives course credits; D: Unsatisfactory, the student does

Bibliografia:

[1] Emanuele Trucco; Alessandro Verri. "Introductory Techniques for 3-D Computer Vision", Prentice Hall, New Jersey, 1998. [2] Richard Hartley; Andrew Zisserman. “Multiple View Geometry in Computer Vision”, Second Edition, Cambridge University Press, 2004. [3] David A. Forsyth; Jean Ponce. "Computer Vision - A Modern Approach", 2o edition, Pearson, New Jersey, 201. [4] Peter Corke. “Robotics, Vision and Control: Fundamental Algorithms in MATLAB”, Springer, 2011. [5] Rafael C. Gonzalez; Richard E., Woods. "Digital lmage Processing", 3a edição, Pearson, 2007. [6] Gary Bradski, Adrian Kaehler. “Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library”, O’Reilly Media, 2016.

Bibliography:

[1] Emanuele Trucco; Alessandro Verri. "Introductory Techniques for 3-D Computer Vision", Prentice Hall, New Jersey, 1998. [2] Richard Hartley; Andrew Zisserman. “Multiple View Geometry in Computer Vision”, Second Edition, Cambridge University Press, 2004. [3] David A. Forsyth; Jean Ponce. "Computer Vision - A Modern Approach", 2o edition, Pearson, New Jersey, 201. [4] Peter Corke. “Robotics, Vision and Control: Fundamental Algorithms in MATLAB”, Springer, 2011. [5] Rafael C. Gonzalez; Richard E., Woods. "Digital lmage Processing", 3a edição, Pearson, 2007. [6] Gary Bradski, Adrian Kaehler. “Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library”, O’Reilly Media, 2016.

Tipo de oferecimento da disciplina:

Presencial

Class type:

Presencial