Disciplina Discipline SIN5031

Tópicos em análise computacional de som e música
Topics in computational analysis of sound and music

Área de Concentração: 100131

Concentration area: 100131

Criação: 27/06/2023

Creation: 27/06/2023

Ativação: 27/06/2023

Activation: 27/06/2023

Nr. de Créditos: 4

Credits: 4

Carga Horária:

Workload:

Teórica (por semana)	Theory (weekly)	Prática (por semana)	Practice (weekly)	Estudos (por semana)	Study (weekly)	Duração	Duration	Total	Total
2	1	1	15 semanas	15 weeks	60 horas	60 hours

Teórica

(por semana)

Theory

(weekly)

Prática

(por semana)

Practice

(weekly)

Estudos

(por semana)

Study

(weekly)

Duração

Duration

Total

15 semanas

15 weeks

60 horas

60 hours

Docentes Responsáveis:

Professors:

Regis Rossi Alves Faria

Roberto Piassi Passos Bodo

Objetivos:

Este curso é voltado à apresentação dos principais fundamentos, parâmetros e métodos clássicos em análise computacional de som e música, com uma abordagem prática voltada ao uso de plataformas e bibliotecas computacionais acessíveis. O curso é desenhado para habilitar o estudante a realizar tarefas essenciais de análise computacional de sinais acústicos, musicais, de eventos e cenas sonoras, consistindo-se de nível intermediário no tema, preparando o aluno para abordagens mais avançadas no contexto de pesquisa e desenvolvimento em MIR (Music Information Retrieval) e análise de significação. Para seu maior aproveitamento é indicado que o aluno tenha cursado disciplina básica em computação sônica, computação sonora e/ou musical.

Objectives:

This course aims at presenting the main fundamentals, parameters and classical methods in computational analysis of sound and music, with a practical approach focused on the use of accessible computational platforms and libraries. The course is designed to enable the student to carry out essential computational analysis tasks of acoustic signals, music, sound events and sound scenes, consisting of an intermediate level in the subject, preparing the student for more advanced approaches in the context of research and development in MIR (Musical Information Retrieval) and significance analysis. For a better performance, it is recommended that the student has taken a basic course in sound and/or music computing.

Justificativa:

Sistemas de informação sonora abrangem uma série de problemas em análise de contexto sonoro, análise musicológica, identificação de sons e sua avaliação quantitativa e qualitativa, com aplicações na música, em acústica, medicina e saúde, em comunicação, psicologia e estudos sociais, em ecologia, e nas indústrias criativa, de software, e de instrumentos musicais e sonoros, que requerem um conhecimento sobre análise tempo-frequência, estimação de parâmetros, a compreensão de métodos e representações sonoras para extrair características, identificar e classificar sons. Métodos para análise de informação sonora e musical e visualização paramétrica são essenciais para o design e o desenvolvimento de sistemas sonoros para análise, medição, síntese, reconhecimento e descrição de conteúdo sonoro ou musical. A disciplina se insere na área da computação sonora e musical, compreendendo técnicas para o reconhecimento de padrões, processamento de sinais de áudio, e o desenvolvimento de sistemas computacionais para tarefas de caracterização sonora.

Rationale:

Sound information systems cover a range of problems in sound context analysis, musicological analysis, sound identification and their quantitative and qualitative evaluation, with applications in music, in acoustics, medicine and health, in communication, psychology and social studies, in ecology, and in the creative, software, and musical and sound instrument industries, which require knowledge of time-frequency analysis, parameter estimation, understanding methods and sound representations to extract features, identify and classify sounds. Methods for analysis of sound and music information and parametric visualization are essential for the design and development of sound systems for analysis, measurement, synthesis, recognition and description of sound or music content. The discipline falls within the area of sound and music computing, comprising techniques for pattern recognition, audio signal processing, and the development of computational systems for sound characterization tasks.

Conteúdo:

1. Introdução ao tema, problemas típicos em reconhecimento de padrões sonoros, exemplos de aplicações e de desenvolvimento de sistemas computacionais para caracterização sonora, níveis e tipos de análise musical e sonora em geral. 2. Representações e modelos para processamento e caracterização de sinais sonoros e música. Modelos para representar informação sonora e musical, como espectrogramas, MFCC (mel-frequency cepstrum), cromagramas e modelo fonte-filtro. 3. Parâmetros e métodos básicos para análise de sinais de som e música: métodos para análise temporal, espectral, de intensidade, e para estimação paramétrica. 4. Exemplos de tarefas de análise e caracterização de sons e música, envolvendo representações simbólicas (notações) e sinais de áudio, através do uso de ferramentas computacionais acessíveis. Análise de ataques (onset), de tempo ou andamento (beat-tracking), de intensidade (nível de pressão sonora, SPL), volume (LUFS) e energia (potência). Análise espectral e harmônica, de tonalidade, MFCCs (Mel-Frequency Cepstral Coefficients), cromagramas. Descrição de conteúdo (timbre, deteção de eventos sonoros e características). Análise paramétrica e estatística de distribuição de características. 5. As plataformas computacionais podem incluir o uso de MATLAB/Octave, librosa (python), notebooks (python), music21, Essentia, R, Pure Data (Pd), ou outras bibliotecas e software pertinentes e acessíveis.

Content:

1. Introduction to the theme, typical problems in sound pattern recognition, examples of applications and development of computational systems for sound characterization, levels and types of musical and sound analysis in general. 2. Representations and models for processing and characterization of sound signals and music. Models to represent sound and musical information, such as spectrograms, MFCC (mel-frequency cepstrum), chromagrams and source-filter model. 3. Parameters and basic methods for analysis of sound and music signals: methods for temporal, spectral, intensity analysis, and for parametric estimation. 4. Examples of analysis tasks and characterization of sounds and music, involving symbolic representations (notations) and audio signals, through the use of accessible computational tools. Analysis of attacks (onset), tempo (beat-tracking), intensity (SPL), loudness (LUFS) and energy (power). Spectral and harmonic analysis, tonality, MFCCs (Mel-Frequency Cepstral Coefficients), chromagrams. Content description (timbre, detection of sound events and characteristics). Parametric analysis and statistics of distribution of characteristics. 5. Computing platforms may include the use of MATLAB/Octave, librosa (python), notebooks (python), music21, Essentia, R, Pure Data (Pd), or other relevant and accessible libraries and software.

Forma de Avaliação:

Composição da nota: Exercícios em plataformas computacionais, executados em classe ou como atividades extraclasse (60%), e um trabalho final (40%) em que os alunos propõem um problema de análise e abordam uma solução, usando a teoria e as ferramentas aprendidas no curso. Mapeamento de notas a conceitos: A = 8,5 a 10,0; B = 7,0 a 8,4; C = 5,0 a 6,9; R = 0,0 a 4,9 (Reprovado).

Type of Assessment:

Grade calculation: Assignment of exercises on computational platforms, performed in class or as extracurricular activities (60%), and a final work (40%) in which students propose an analysis problem and approach a solution, using the theory and tools learned in the course. Grades mapping: A = 8.5 to 10.0; B = 7.0 to 8.4; C=5.0 to 6.9; R = 0.0 to 4.9 (Failed).

Observação:

Pré-requisitos sugeridos: MAC0337 (Computação Musical), ACH2167 (Computação Sônica) ou ACH2207 (Computação Sonora e Musical). O aluno deverá ter computador pessoal ou demonstrar ter acesso a computador para a realização do curso, haja vista a natureza das atividades práticas a serem realizadas em plataformas computacionais. Formato: Híbrido: presencial (20%) e não-presencial (80%). Atendendo ao disposto na Circular CoPGr_96_2020 sobre Critérios de credenciamento de disciplinas não presenciais, em atendimento ao disposto no parágrafo 5o do Artigo 62 do Regimento de Pós-Graduação que trata das propostas de criação de disciplinas não presenciais, informa-se que: • As atividades presenciais (20%) incluem aulas em classe com apresentação de fundamentos teóricos e apresentação de trabalhos finais, utilizando sala reservada para tal na unidade. As atividades desenvolvidas remotamente (80%) incluem aulas online e síncronas, com 2 horas de duração, compreendendo abordagem teórica-prática, com a realização de exercícios e tarefas de análises previstas no computador individual do aluno. • Todo o material didático será disponibilizado na plataforma online e-disciplinas que será utilizada como ambiente para comunicação entre alunos, entre professor-alunos, arquivamento de dados e informações da disciplina, entrega de trabalhos, aferição de frequência (inclusive para as aulas presenciais) e correções das avaliações. • A transmissão e interação nas aulas online poderá utilizar as plataformas Google Meet ou Discord. As aulas online poderão ser transmitidas a partir de salas e/ou laboratórios da universidade reservados para tal, ou a partir de outro ambiente adequado com computador/plataforma que tenha instalado o material e meios necessários. • Requer-se que cada aluno em sua plataforma pessoal tenha capacidade de áudio (microfone) e vídeo (câmera) caso seja necessário e requisitado para as interações previstas. • A forma de avaliação será conforme descrita por meio da entrega de exercícios e trabalhos através da plataforma e-disciplinas. • Para este curso o aluno deverá ter computador pessoal ou demonstrar ter acesso a um computador disponível em uma sala de informática ou laboratório didático da EACH, ECA, ou da unidade a que se vincule, haja vista a natureza das atividades práticas realizadas exigirem o uso de plataformas computacionais. • Para aulas online que forem transmitidas a partir de uma sala ou laboratório didático com computadores, reservada para o curso na unidade, será comunicado aos alunos a disponibilidade de assistirem e acompanharem estas aulas presencialmente na sala ou laboratório reservado para tal na unidade.

Notes/Remarks:

Suggested prerequisites: MAC0337 (Computer Music), ACH2167 (Sonic Computing), or ACH2207 (Sound and Music Computing). The student must have a personal computer or demonstrate access to a computer to take the course, given the nature of the practical activities to be carried out on computer platforms. Format: Hybrid: in-class (classroom) (20%) and online class (remote) (80%). In compliance with the provisions of Circular CoPGr_96_2020 on Accreditation Criteria for online/remote courses, in compliance with the provisions of paragraph 5 of Article 62 of the Graduate Regulations, which deals with proposals for the creation of online/remote courses, it is hereby informed that: • On-site activities (20%) include in-class classes with presentation of theoretical fundamentals and presentation of final works, using a room reserved for this in the unit. The activities developed remotely (80%) include online and synchronous classes, lasting 2 hours, comprising a theoretical-practical approach, with exercises and analysis tasks accomplished on the student's individual computer. • All didactic material will be made available on the e-disciplinas online platform, which will be used as an environment for communication between students, between professors and students, archiving data and information on the subject, delivering assignments, checking attendance (including at in-classroom classes) and assessment corrections. • Transmission and interaction in online classes may use the Google Meet or Discord platforms. Online classes may be transmitted from university rooms and/or laboratories reserved for this purpose, or from another suitable environment with a computer/platform that has installed the necessary material and means. • For this course, the student must have a personal computer or demonstrate access to a computer available in a computer room or didactic laboratory at EACH, ECA, or at the unit to which he/she is linked, given the nature of the practical activities carried out that require the use computing platforms. • For online classes that are transmitted from a room or didactic laboratory with computers, reserved for the course in the unit, students will be informed of their availability to attend and follow these classes in person in the room or laboratory reserved for this in the unit.

Bibliografia:

[1] VIRTANEN, Tuomas; PLUMBLEY, Mark D.; ELLIS, Dan (Ed.). Computational analysis of sound scenes and events. Berlin, Germany: Springer International Publishing, 2018. [2] LERCH, Alexander. An introduction to audio content analysis: Applications in signal processing and music informatics. Wiley-IEEE Press, 2012. doi: 10.1002/9781118393550. [3] MEREDITH, David (Ed.). Computational music analysis. Heidelberg: Springer, 2016. [4] KNEES, Peter; SCHEDL, Markus. Music similarity and retrieval: an introduction to audio-and web-based strategies. Heidelberg: Springer, 2016. [5] MCFEE, Brian; RAFFEL, Colin; LIANG, Dawen et al. librosa: Audio and Music Signal Analysis in Python. In: Proceeding of the 14th Python in Science Conference, Austin, p. 18-25, 2015. Disponível em: http://conference.scipy.org/proceedings/scipy2015/. Acesso em 28 de abril de 2023. [6] BOGDANOV, Dmitry et al. Essentia: An audio analysis library for music information retrieval. In: Britto A, Gouyon F, Dixon S, editors. In: 14th Conference of the International Society for Music Information Retrieval (ISMIR), 2013, Nov 4-8, Curitiba, Brazil. p. 493-8. http://hdl.handle.net/10230/32252. [7] CUTHBERT, Michael; ARIZA, Cristopher T. music21: A Toolkit for Computer-Aided Musicology and Symbolic Music Data. In: Proceedings of the International Symposium on Music Information Retrieval (ISMIR), 2010. p. 637-42. http://hdl.handle.net/1721.1/84963. [8] SUEUR, Jérôme et al. Sound analysis and synthesis with R. Cham: Springer, 2018. doi: https://doi.org/10.1007/978-3-319-77647-7. Bibliografia adicional (complementar): [9] MÜLLER, Meinard; ZALKOW, Frank. FMP Notebooks: Educational Material for Teaching and Learning Fundamentals of Music Processing. In: Proceedings of the International Symposium on Music Information Retrieval (ISMIR), 2019, Delft, Holanda. p. 573-580. [10] GIANNAKOPOULOS, Theodoros; PIKRAKIS, Aggelos. Introduction to audio analysis: a MATLAB® approach. Academic Press, 2014. doi: https://doi.org/10.1016/C2012-0-03524-7. [11] CUTHBERT, M. music21 — A Toolkit for Computer-Aided Musical Analysis and Computational Musicology. https://github.com/cuthbertLab/music21, 2023.

Bibliography:

Tipo de oferecimento da disciplina:

Não-Presencial

Class type:

Não-Presencial