Disciplina Discipline PCS5112

Realidade Virtual, Realidade Aumentada e Metaversos aplicados a Saúde, Educação e Entretenimento
Virtual Reality, Augmented Reality and Metaverses applied to Health, Education and Entertainment

Proporcionar a compreensão, a discussão e o aprofundamento de conceitos envolvidos no design, construção e utilização de ambientes virtuais tridimensionais interativos e imersivos, tais como realidade virtual, realidade aumentada e metaversos tridimensionais, direcionados para o desenvolvimento de aplicações nas áreas de saúde, educação e entretenimento. Propiciar que sejam dominados os conceitos básicos e as tecnologias existentes para design e construção de ambientes virtuais tridimensionais interativos, mono e multiusuários. Analisar e discutir aspectos humanos envolvidos na interação, navegação e imersão em ambientes virtuais tridimensionais. Proporcionar reflexões sobre desafios e oportunidades de pesquisa e produtos relacionados às áreas envolvidas.

Provide the understanding, discussion and deepening of concepts involved in the design, construction and use of interactive and immersive three-dimensional virtual environments, such as virtual reality, augmented reality and three-dimensional metaverses, aimed at the development of applications in the areas of health, education and training. Provide mastery of basic concepts and existing technologies for the design and construction of interactive three-dimensional virtual environments, both single and multi-user modalities. Analyze and discuss human aspects involved in interaction, navigation and immersion in three-dimensional virtual environments. Provide reflections on challenges and opportunities for research and products related to the areas involved.

Os ambientes virtuais tridimensionais interativos e imersivos propiciam navegação, interação e imersão em tempo real, podendo ser mono ou multiusuários, quando passam a ser identificados como metaversos. Fatores como a evolução e a popularização das tecnologias de realidade virtual e aumentada, o interesse crescente na criação e na participação em metaversos, a mudança nos paradigmas educacionais, as novas exigências na área de saúde, a popularização dos jogos de computador, das placas gráficas e da Internet, contribuem para o surgimento de novas possibilidades de pesquisa e aplicação de ambientes virtuais tridimensionais. As áreas de saúde, educação e entretenimento constituem interessantes campos potenciais para pesquisa e desenvolvimento de sistemas baseados nesses ambientes, ao mesmo tempo em que apresentam desafios próprios de pesquisa científica. Essa disciplina visa fornecer aos alunos subsídios para conhecer, discutir, analisar, conceber e implementar aplicações de ambientes virtuais, imersivos ou semi-imersivos, nas áreas de saúde, educação e entretenimento. A escolha de tais áreas se justifica pelo fato de que nesses domínios de aplicação o ser humano é protagonista ou diretamente impactado pelo ambiente virtual, além de as mesmas compartilharem particularidades que podem levar ao sucesso ou ao fracasso de aplicações.

The interactive and immersive three-dimensional virtual environments provide navigation, interaction and immersion in real time, and can be single or multi-user, when they start to be identified as metaverses. Factors such as the evolution and popularization of virtual and augmented reality technologies, the growing interest in creating and participating in metaverses, the change in educational paradigms, the new demands in the health area, the popularization of computer games, graphic cards and the Internet, contribute to the emergence of new possibilities for research and application of three-dimensional virtual environments. The areas of health, education and entertainment constitute interesting potential fields for research and development of systems based on these environments, at the same time that they present their own scientific research challenges. This course aims to provide students with subsidies to know, discuss, analyze, design and implement applications of virtual environments, immersive or semi-immersive, in the areas of health, education and entertainment. The choice of such areas is justified by the fact that in these application domains the human being is the protagonist or directly impacted by the virtual environment, in addition to the addition to the fact that they share particularities that can lead to the success or failure of applications.

Conceitos básicos sobre realidade virtual e aumentada: origens, conceitos, definições, imersão, interação e navegação. Revisão sistemática de literatura. Tecnologias de software para Ambientes Virtuais tridimensionais: pacotes, bibliotecas, frameworks. Tecnologias de hardware para Ambientes Virtuais tridimensionais: dispositivos convencionais e dispositivos específicos. Ambientes Virtuais Multiusuários (Metaversos). Tecnologia de Jogos. Aplicações na área de saúde: pré-requisitos, funcionalidades, software, hardware, tipos de aplicações. Aplicações na área educacional: conceito de educação imersiva; quando e porque usar ambientes imersivos, levantamento de requisitos, design de aplicações educacionais imersivas, exemplos de aplicações, tendências e desafios. Aplicações na área de entretenimento: pré-requisitos, funcionalidades, software, hardware, tipos de aplicações. Desenvolvimento de projeto (teórico e/ou prático e/ou de pesquisa) considerando pelo menos uma das áreas de aplicação (saúde, educação ou entretenimento).

Basic concepts of virtual and augmented reality: origins, concepts, definitions, immersion, interaction and navigation. Systematic literature review. Software technologies for three-dimensional Virtual Environments: packages, libraries, frameworks. Hardware technologies for three-dimensional Virtual Environments: conventional devices and specific devices. Multiuser Virtual Environments (Metaverses). Gaming Technology. Healthcare applications: prerequisites, functionalities, software, hardware, types of applications. Applications in the educational area: concept of immersive education; when and why to use immersive environments, requirements gathering, design of immersive educational applications, application examples, trends and challenges. Applications in the entertainment area: prerequisites, functionalities, software, hardware, types of applications. Project development (theoretical and/or practical and/or research) considering at least one of the application areas (health, education or entertainment).

( máximo 160 caracteres): 1. Resenhas (R) – atividade assíncrona – Peso 30%: resenhas de artigos científicos, escolhidos pelo aluno a partir de uma lista fornecida pelo docente e/ou de bases bibliográficas, de acordo com temática e critérios estabelecidos pelo docente. Deverão ser entregues em datas divulgadas pelos docentes no primeiro dia de aula. 2. Desenvolvimento de projeto prático ou revisão bibliográfica sistemática – atividade assíncrona – Peso 15%. 3. Apresentação de seminário sobre o projeto prático ou revisão bibliográfica sistemática conduzida – atividade síncrona – Peso 15

( máximo 160 caracteres) The learning assessment will be carried out remotely according to the activities and criteria specified below: 1. Reviews (R) – asynchronous activity – Weight 30% (reviews of scientific articles, chosen by the student from a list provided by the teacher and/or from bibliographic databases, according to the theme and criteria established by the teacher). They must be delivered on dates announced by the teachers on the first day of class. 2. Development of a practical project or systematic literature review – asynchronous activity – Weight 15%. 3. Presentation o

Máximo de 20 alunos. Se necessário, os seguintes critérios serão usados para priorizar alunos interessados: aluno regular do programa; aluno da área 3141, doutorando; mais créditos já cumpridos; aderência da disciplina ao tema da tese/dissertação; melhor média nas disciplinas já cursadas no programa; avaliação escrita; entrevista. Esta disciplina será ministrada 100% não presencial. Considerando que o conteúdo da disciplina envolve as questões da virtualidade, presença e distância, a sua oferta não presencial possibilitará estudar, analisar e aplicar ambientes virtuais ao mesmo tempo em que serão utilizados para a interação entre os participantes, entre eles e o professor, e entre esses e os conteúdos estudados. Os detalhes das atividades são os seguintes: (1) A porcentagem da disciplina que ocorrerá no sistema não presencial (1- 100%): 100%; (2) Todas as atividades serão remotas; (3) 3 horas por semana de atividades on-line “síncronas”; 7 horas por semana de atividades remotas assíncronas; (4) tipo de material e/ou conteúdo que será disponibilizado para o aluno: videoaulas, gravações de visitas técnicas; tutoriais em vídeo; artigos e livros em formato digital; ambientes virtuais imersivos de acesso livre e aberto; aplicativos de acesso aberto; (5) plataformas que serão utilizadas: e-disciplinas e e-aulas da USP, Google Meet e outras plataformas de ambiente imersivo, de acesso livre e gratuito, a serem escolhidas em comum acordo com os alunos; (6) não haverá necessidade de presença física na Universidade, apenas presença virtual nas aulas on-line síncronas; (7) tipos e frequência de interação entre aluna/aluno e professora/professor (somente durante as aulas; fora do período das aulas; horários; por chat/e-mail/fóruns ou outro): on-line e síncrono semanalmente (3 horas), por e-mail, fórum e aplicativos de troca de mensagens (a serem combinados com os alunos) de forma assíncrona (tempo indeterminado, conforme demanda); (8) serão utilizadas metodologias ativas de ensino e atividades de cooperação e colaboração entre os alunos; (9) controle da frequência nas aulas: por meio de gravação das aulas síncronas e registro de entrada e saída na sala virtual; (10) é obrigatório o uso de câmera e microfone para os momentos de interação, apresentação e discussões; (11) as plataformas necessárias para participação nas aulas síncronas e nas atividades assíncronas podem ser acessadas por computadores com configurações básicas ou por smartphones. Além disso, será possível utilizar a sala pró-aluno e/ou laboratórios de pesquisa, desde que sejam seguidos os protocolos de agendamento prévio exigidos pela Unidade. É responsabilidade do aluno o agendamento de salas ou equipamentos em suas respectivas sedes. No início da disciplina o(s) responsável(is) dialogará(ão) com a turma sobre a eventual necessidade de haver estrutura disponível na(s) unidade(s) para acesso dos alunos ao sistema remoto de ensino.

Maximum of 20 students. If necessary, the following criteria will be used to priorize interested students: regular student of the program; student in area 3141, PhD student; more credits already completed; adherence of the discipline to the theme of the thesis/dissertation; best average in subjects already taken in the program; written assessment; interview. This course will be 100% remote. Considering that the content of the discipline involves the issues of virtuality, presence and distance, its remote offer will make it possible to study and apply virtual environments at the same time that these environments will be used for interaction among the participants, as well as between students and the teacher, and among students and the course content. The details of the activities are as follows: (1) The presence of the discipline that is not in person: 100%; (2) All activities will be remote; (3) 3 hours per week of “synchronous” online activities; 7 hours per week of asynchronous remote activities; (4) content of the material and/or that will be made available for the video classes, here or presented) the type of material and/or that will be made available: video tutorials; articles and books in digital format; free and open access immersive virtual environments; open access applications; (5) platforms that will be used: e-disciplines and e-classes from USP, Google Meet and other platforms with an immersive environment, with free and open access, to be chosen in agreement with the students; (6) physical presence at the University is not necessary, but only virtual presence in synchronous online classes; (7) types and frequency of interaction between student/student and teacher/teacher (only during classes; outside class hours; schedules; by chat/email/forums or other): online and synchronous weekly (3 hours), via email, forum and messaging applications (to be presented with students) asynchronously (indefinitely, as required); (8) teaching active methodologies, as well as cooperation and collaboration activities among students will be used; (9) control of class attendance: through recording of synchronous classes, entry and exit registration in the virtual room; (10) the use of camera and microphone is mandatory for moments of interaction, presentation and discussions; (11) as basic activities presented for access in timed classes and asynchronous activities, they can be accessed by computers with settings or by smartphones. In addition, it will be possible to use a pro- student room and/or research laboratories, as long as the previous scheduling protocols required by the University are followed. It is the student's responsibility to schedule rooms or equipment at their headquarters. At the beginning of the course, the person in charge will talk to the class about the possible need to have structure available in the unit(s) for students' access to the remote teaching system. Type of course offering: Remote

Livros: BAILENSON, J. Experience on Demand: What Virtual Reality Is, How It Works, and What It Can Do. New York: W. W. Norton & Company. 2018. 296 p. BOWMAN, D. A., et al. 3D User interfaces: Theory and Practice. Boston:Addison-Wesley, 2005. 478p. FILATRO, A.; CAVALCANTI, C. C. Metodologias inovativas na educação presencial, a distância e corporativa. Saraiva Educação SA, 2018 JERALD, J. The VR book: Human-centered Design for Virtual Reality. Morgan & Claypool, 2015. LEE, M. J. W.; GEORGIEVA, M.; ALEXANDER, B.; CRAIG, E.; RICHTER, J. State of XR & Immersive Learning 2021 Outlook Report. Immersive Learning Research Network, Walnut, 2021. MURRAY, J. H. Hamlet on the Holodeck: The Future of Narrative in Cyberspace. MIT Press, 1997. 326p. PACKER, R.; JORDAN, K. Multimedia: From Wagner to Virtual Reality. W. W. Norton and Company. 2001. 400p. SCHLEMMER, E.; BACKES, L. Learning in Metaverses: Co-Existing in Real Virtuality. 1. ed. Hershey, PA: IGI Global, v. 1. 356 p. 2015. TAROUCO, L. M. R.; SILVA, P. F.; HERPICH, F. Cognição e aprendizagem em mundo virtual imersivo. Porto Alegre: Editora da UFRGS, 2020. TORI, R. Educação sem Distância: mídias e tecnologias na educação a distância, no ensino híbrido e na sala de aula. 3a ed. São Paulo: Artesanato Educacional, 2022. TORI, R.; HOUNSEL, M. S. (Org.). Introdução à realidade virtual e aumentada. Porto Alegre: SBC, 2020. Disponível em: < https://doi.org/10.5753/sbc.6654.2>. Artigos e outros: AZUMA, R. et al. Recent advances in augmented reality. IEEE Computer Graphics and Applications, v. 21, n. 6, 2001. BERNARDES JR., J. L., NAKAMURA, R., TORI, R. Using a didactic game engine to teach computer science. Tutorial apresentado no SBGAMES 2007. Porto Alegre:SBC-Sociedade Brasileira de Computação, 2007. CARDOSO, A.; KIRNER, C.; FRANGO, I.; TORI, R. O desafio de projetar recursos educacionais com uso de realidade virtual e aumentada. In: Anais do VI Workshop de Desafios da Computação Aplicada à Educação. SBC, 2017. CASARI, F. A.; NAVAB, N.; HRUBY, L.A.; KRIECHLING, P.; NAKAMURA, R.; TORI, R.; NUNES, F.L.S; QUEIROZ, M.C.; FÜRNSTAHL, P.; FARSHAD, M. Augmented Reality in Orthopedic Surgery Is Emerging from Proof of Concept Towards Clinical Studies: a Literature Review Explaining the Technology and Current State of the Art. CURRENT REVIEWS IN MUSCULOSKELETAL MEDICINE, v. 1, p. 1, 2021. CORRÊA, C. G. ; MACHADO, M. A. A. M.; RANZINI, E. ; TORI, R. ; NUNES, F.L.S. Virtual Reality simulator for dental anesthesia training in the inferior alveolar nerve block. Journal of Applied Oral Science, v. 25, p. 357-366, 2017. CORRÊA, C. G. ; NUNES, F.L.S; RANZINI, E. ; NAKAMURA, R. ; TORI, R. Haptic interaction for needle insertion training in medical applications: The state-of-the-art. MEDICAL ENGINEERING & PHYSICS, v. 63, p. 6-25, 2019. CUMMINGS, J. J., BAILENSON, J. N. How immersive is enough? A meta-analysis of the effect of immersive technology on user presence. Media Psychology, v. 19, n. 2, p. 272-309, 2016.LAARNI, Jari et al. Ways to measure spatial presence: Review and future directions. Immersed in Media, p. 139-185, 2015. FUNABASHI, A. M. M.; ARANHA, R. V.; SILVA, T. D.; MONTEIRO, C. B. M.; SILVA, W. S.; NUNES, F.L.S. A serious game for virtual rehabilitation: evaluation with patients and physiotherapists. SBC JOURNAL ON 3D INTERACTIVE SYSTEMS, v. 9, p. 14-25, 2018. KELTON, A. J. Second Life: Reaching into the Virtual World for Real-World Learning. Educause Research Bulletin. Volume 2007, Issue 17. 2007. MORGADO, L. C. Características e desafios tecnológicos dos mundos virtuais no ensino. Tese. Universidade de Trás-os-Montes e Alto Douro, Escola de Ciências e Tecnologia, Departamento de Engenharias, 2011. 82p. NUNES, E. P. S.; ROQUE, L. G.; NUNES, F.L.S. Measuring Knowledge Acquisition in 3D Virtual Learning Environments. IEEE Computer Graphics and Applications, v. 36, p. 58-67, 2016. NUNES, F.F.L.S. O virtual atingiu o real? Perspectiva conceitual e tecnológica da Realidade Virtual na sociedade brasileira. In: André Ramos Tavares. (Org.). Vestígios do Futuro: 100 Anos de Isaac Asimov. 1ed.São Paulo: Etheria Editora, 2020, v. 1, p. 125-133. RIBEIRO, M. L. ; LEDERMAN, H. M.; ELIAS, S ; NUNES, F.L.S. Techniques and Devices Used in Palpation Simulation with Haptic Feedback. ACM COMPUTING SURVEYS, v. 49, p. 1-28, 2016. SEPPI, I. C.. O sentimento de presença em mundos virtuais= a saga de Janjii Rugani, a jornada de um avatar no metaverso. Tese de Doutorado. Unicamp, 2017. SILVA, L. S.; NUNES, F.L.S. ; NAKAMURA, R. Visualização 3D interativa de dados médicos temporais baseada em modelo de atenção visual. Comunicações em Informática, v. 3, p. 9-12, 2019. IEEE Transactions on Computers IEEE Transactions on Industry Applications IEEE Transactions on Information Technology in Biomedicine IEEE Transactions on Medical Imaging IEEE Transactions on Systems, Man and Cybernetics IEEE Transactions on Visualization and Computer Graphics IEEE Transactions on Education Presence: Teleoperators & Virtual Environments (MIT Press)