Query By Humming
05/11/2015
1/
Query by Humming (QBH)
Ana Alves (apba)
Bruno Ribeiro (brcr)
Francisco Neto (ffsn)
Garsielle Valença (gval)
QBH | Motivação
• “Futuras” gerações de Banco de Dados
•Rádios
•Emissoras de TV
•Lojas de Música
•Uso pessoal
Roteiro
• O que é?
• Conceitos fundamentais
• Algoritmos
• Dificuldades
• Aplicações Existentes
QBH | Definição
É a realização de consultas por conteúdo à um
conjunto de músicas, tomando como entrada um
trecho de melodia cantarolado pelo usuário
QBH | Conceitos
• Query
“A query is a monophonic melody sung by a single
person.”
• String
“A sequence of notes in a written musical score,
or notes transcribed from a sung query.”
05/11/2015
6/
QBH | Conceitos
• String matchers
“Find the best alignment between string Q and string T by
finding the lowest cost (or, equivalently, highest reward)
transformation of Q into T in terms of operations (matching
or skipping characters). The score of the best alignment can
be used as a measure of the similarity of two strings.”
• Pitch
“The property of a sound or musical tone measured by its
perceived frequency”
05/11/2015
7/
QBH | Introdução
• Crescimento da área de recuperação de
informação multimídia baseada em conteúdo
• Pontos Críticos
• Tipo de interação com informações multimídia
• Atender às habilidades e preferências dos usuários
• Metas
• Organização
• Facilidade
• Eficiência
QBH| Dificuldades
• Determinação da freqüência fundamental em
um fragmento de áudio
– Heurísitco
– Maior ou menor grau de acerto
• Determinar similaridade da melodia
– Pitch Incorreto
– Transposição
– Ritmo
QBH| Dificuldades
• Robustez
– Algoritmo mais preciso
• Performance
– Algoritmo eficiente
QBH| Técnicas
• Melodic Contour Matching
– Seqüência das diferenças relativas no pitch entre
notas successivas.
– Três relações possíveis de altura em relação a
nota anterior(U, D, S)
• Acima (U)
• Abaixo (D)
• Igual (S)
05/11/2015
11 /
QBH| Pitch Tracking
• Auto-Correlação
• Probabilidade Máxima
• Análise do Espectro
05/11/2015
12 /
QBH| Dynamic Time Warping
• Usado para medir similaridades entre
seqüências de notas musicais
– Não importa se variam em tempo e velocidade;
• DTW pode ser aplicado em diversas áreas
– Vídeo, áudio, reconhecimento de voz, etc.;
QBH| Dynamic Time Warping
QBH |Algoritmos de Busca
•String Matching
•Global alignment algorithm
•Local alignment algorithm
•Melodic Contour Matching
•Hidden Markov Model
•Forward algorithm
QBH |Experimento
•3
Sistemas que utilizam
algoritmos de consulta
-Local alignment algorithm
-Global alignment algorithm
-Forward algorithm
diferentes
QBH |Experimento
QBH |Experimento
Aplicações Existentes
• Melody Recognition System
– Desenvolvido pelo IDMT, Alemanha;
– Identifica som de duas formas:
• Através da voz,
• Ou tocando algum instrumento.
– A aplicação realiza a consulta na base de dados a
partir de dois parâmetros:
• Pela melodia e ritmo da música tocada pelo usuário;
– Como resultado, um ranking dos 10 mais similares:
• Título da música,
• E nome do artista são devolvidos;
Aplicações Existentes
• Melody Recognition System
– O processo de reconhecimento é dividido em 3
partes:
• O sinal de áudio é armazenado;
– Eliminação do ruído do som;
• As freqüências fundamentais são analisadas;
– É determinado um “pitch contour”;
– Este é dividido em diversas notas, onde cada uma:
» É caracterizada pela sua duração e pitch;
• A consulta retorna a lista das canções.
05/11/2015
20 /
Aplicações Existentes
• Melody Recognition System
– Características:
• A aplicação contém uma base de dados com milhares de
músicas:
– Desde música clássica até pop;
• O sistema é tolerante com relação à imprecisões:
– Na voz do usuário,
– E nos ruídos do ambiente;
• “Imprecisão na consulta afeta menos a performance do
usuário do que imprecisão no pitch”;
• Uma consulta com certo grau de imprecisão na voz do
usuário será retornada com um grau de precisão associado;
05/11/2015
21 /
Aplicações Existentes
• Melody Recognition System
– O sistema está implementado em 3 diferentes tipos
de aplicações:
• Sistema stand-alone:
– Todo processamento está localizado em um único
computador;
• Aplicação Web:
– A transmissão da consulta é feita por um Applet Java;
– O processamento ocorre em um servidor remoto;
– O resultado é mostrado no browser do usuário;
05/11/2015
22 /
Aplicações Existentes
• Melody Recognition System
– Tipos de aplicações:
• Aplicação Móvel;
– Usuário conecta a um servidor remoto pelo celular;
– Canta a música e realiza a consulta;
– Todo processamento é realizado no servidor;
05/11/2015
23 /
Referências
www.cs.cornell.edu/Info/Faculty/bsmith/ query-byhumming.html
http://sail.usc.edu/music/research.html#intro
http://www.idmt.fraunhofer.de/eng/press_media/download/p
roduct_information/qbh_eng_web.pdf
Query By Humming
05/11/2015
25 /