Recuperação de
música baseada em
conteúdo
{ jabca, mpl, mta } @cin.ufpe.br
Agenda
Introdução
 Técnicas de Busca
 Exemplos
 O que vem por aí...
 Referências

Introdução

O que?

Sistemas capazes de procurar música através
do seu conteúdo, além dos tradicionais metadados

QBSH: Query by Singing or Humming
 Usuário
canta / assobia / solfeja um trecho de música
para busca
Introdução

Como?

É necessário criar e indexar uma representação
simplificada da música, uma “impressão digital”

Levando em consideração os aspectos mais
marcantes, como contorno melódico, ritmo,
andamento, letras e instrumentação
Introdução

Onde?

Query by singing / humming
 Vendedores

não são perfeitos
Auxílio a musicólogos
 Encontrar
semelhanças e influências entre
composições

Mecanismos de copyright
 Detectar
plágio
Técnicas de Busca

Busca sobre símbolos
 Strings
(para melodias monofônicas)
 Conjuntos
 Probabilidade

Busca sobre sinal de áudio (waveform)
 Audio
Fingerprinting
 Conjuntos
 Mapas auto-organizáveis
Técnicas de Busca - Strings

Algorítmos de string matching
 Exato
 Aproximado

Indexação
Busca sobre sinal de áudio
Divide gravação em frames de curta
duração (de 25 a 40ms)
 Características mais comuns:

 Loudness
 Pitch
 Tone
(brightness and bandwidth)
 Mel-filtered Cepstral Coefficients
 Derivatives
Técnicas de Busca – Audio
Fingerprinting
Bom para identificar gravações
 Extrator de características robusto a
ruídos
 Características não necessariamente
reconhecíveis por humanos
 Poucos bytes por segmento de gravação

Comparativo
Musipedia / Tuneserver /
Melodyhound



Grande banco de melodias
Múltiplos métodos de entrada
Possui busca por rítmo
C-Brahms



Aceita vários parâmetros
Também considera ritmo na busca
Permite polifonia
Sloud


Faz busca por fragmento MIDI
Interface mais amigável
Shazam



Mistérios sobre a implementação
Base de 3,5 milhões de músicas
Utiliza capacidades do celular
Outros

SongTapper


FindSounds


http://www.nzdl.org/fast-cgi-bin/music/musiclibrary
Meldex


http://querybyhum.cs.nyu.edu/index.php?p=webdemo
GreenStone


http://www.musicline.de/de/melodiesuche/input
NYU QBH


http://www.findsounds.com
Fraunhofer Institut


http://www.songtapper.com
http://www.nzdl.org/fast-cgi-bin/music/musiclibrary
Oi Estúdio

http://www.oiloja.com.br/wb/POi/POi_baacb83133be6010VgnVCM100000d2021
8acRCRD
O que vem por aí...
Extra

Search Inside the Music
(http://research.sun.com/spotlight/2006/2006-0628_search_inside_music.html)

Google Music Trends
(http://www.google.com/trends/music?where=BRA)
Referências













A Survey of Music Information Retrieval Systems - Rainer Typke, Frans
Wiering, Remco C. Veltkamp
Multimedia Information Retrieval: MIDI as a format for Content Based
Retrieval of Audio, John McDonagh and Alan F. Smeaton
http://www.cs.helsinki.fi/group/cbrahms/demoengine/
http://www.musipedia.com
http://www.melodyhound.com
http://www.sloud.com
http://www.shazam.com
http://www.music-ir.org/mirex2006/index.php/Main_Page
http://research.sun.com/spotlight/2006/2006-0628_search_inside_music.html
http://blogs.sun.com/plamere
http://www.foosic.org/libfooid.php
http://mirsystems.info/
http://en.wikipedia.org/wiki/Acoustic_fingerprint