Pós-Graduação em Ciência da Computação
Avaliando Interfaces Gestuais Para a Prática de
Instrumentos virtuais de Percussão
Por
Aluno: Jaziel Vitalino Souza e Silva
Orientador: Geber Ramalho
Dissertação de Mestrado
Universidade Federal de Pernambuco
[email protected]
www.cin.ufpe.br/~posgraduacao
RECIFE, Agosto/2012
UNIVERSIDADE FEDERAL DE PERNAMBUCO
CENTRO DE INFORMÁTICA
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
JAZIEL VITALINO SOUZA E SILVA
Avaliando Interfaces Gestuais Para Prática de Instrumentos Virtuais
de Percussão
DISSERTAÇÃO APRESENTADA COMO REQUISITO PARCIAL
PARA A OBTENÇÃO DO TÍTULO DE MESTRE, PELO PROGRAMA
DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO DO
CENTRO DE INFORMÁTICA DA UNIVERSIDADE FEDERAL DE
PERNAMBUCO.
ORIENTADOR: Geber Ramalho, PHD
CO-ORIENTADOR: Giordano Cabral, PHD
RECIFE, Agosto/2012
Catalogação na fonte
Bibliotecária Jane Souto Maior, CRB4-571
Souza e Silva, Jaziel Vitalino
Avaliando interfaces gestuais para a prática de
instrumentos virtuais de percussão. / Jaziel Vitalino Souza e
Silva. - Recife: O Autor, 2012.
xii, 76 f., il., fig., tab.
Orientador: Geber Lisboa Ramalho.
Dissertação (mestrado) - Universidade Federal de Pernambuco.
CIn, Ciência da Computação, 2012.
Inclui referências.
1. Computação musical. 2. Interação Humano - Computador.
Ramalho, Geber Lisboa (orientador). II. Título.
786.76
CDD (23. ed.)
MEI2014 – 008
I.
Dissertação de Mestrado apresentada por Jaziel Vitalino Souza e Silva à PósGraduação em Ciência da Computação do Centro de Informática da Universidade
Federal de Pernambuco, sob o título “Avaliando Interfaces Gestuais Para Prática
de Instrumentos Virtuais de percussão”, orientada pelo Prof. Geber Lisboa
Ramalho e aprovada pela Banca Examinadora formada pelos professores:
_____________________________________________
Prof. André Luís de Medeiros Santos
Centro de Informática / UFPE
_____________________________________________
Prof. Nelson Cavalcanti de Almeida
Departamento de Música / UFPE
_____________________________________________
Prof. Geber Lisboa Ramalho
Centro de Informática / UFPE
Visto e permitida a impressão
Recife, 31 de Agosto de 2012.
_______________________________________________________
Prof. Nelson Souto Rosa
Coordenador da Pós-Graduação em Ciência da Computação do
Centro de Informática da Universidade Federal de Pernambuco.
II
Dedico ao Meu Senhor
O Deus da música!
III
AGRADECIMENTOS
Primeiramente ao meu Deus, que pela sua misericórdia me permitiu chegar até onde
eu estou e nada me deixou faltar.
Aos meus pais que sempre me apoiaram em oração junto a meu irmão e demais
familiares.
Aos meus empresários, meu avô, minha tia e meu pai que me ajudaram na compra
de equipamentos.
A minha noiva por todo carinho. “Como foi importante!”
Aos amigos Paulo Henrique, Leonardo Cordeiro e Pedro Folha pela força no projeto.
Ao amigo Filipe Calegario, que foi uma mão na roda no meu experimento. Sou muito
grato.
Ao meu orientador prof. Geber Ramalho, um cara extraordinário! (foi um pai pra
mim).
Ao prof. Giordano Cabral, meu coorientador, homem de sabias palavras.
Ao pessoal do Departamento de música:
•
•
•
Prof. Nelson Almeida, por toda força e conselhos.
Prof. Manassés Bispo, por todas as orações e companheirismo.
Prof. Rodrigo Luna e prof. Antônio Barreto, por todo apoio.
Ao grupo de percussionistas da UFPE e convidados que participaram do
experimento contido neste trabalho de pesquisa.
Aos grupos de pesquisa da UFPE:
•
•
MUSTIC por todas as ideias e conversas.
GPMAC pelas trocas de informações.
IV
“A coragem cresce com a ocasião.”
William Shakespeare
V
Resumo
Música e tecnologia possuem um relacionamento antigo, constante e
indissociável. Desde o início da história da humanidade a música vem nos
acompanhando e o seu crescimento foi paralelo ao desenvolvimento do homem. À
medida que a tecnologia modificava a cultura social, novas formas de modelar
instrumentos e de compor músicas eram criadas, modificando também a interação e
a performance musical. A evolução dos computadores e o aumento da capacidade
de processamento de dados proporcionou maior interesse em pesquisas e no
desenvolvimento de dispositivos eletrônicos, mais conhecidos como “Digital Musical
Instruments” (DMIs).
Baseados em interfaces gestuais, os DMIs pretendem oferecer novas formas
de interagir com o instrumento, aumentando possibilidades e preservando a
qualidade sonora; porém, não é com frequência que vemos músicos profissionais se
utilizando dessa tecnologia. Este trabalho analisa e avalia a interação de algumas
interfaces gestuais, oferecida aos músicos, especificamente os percussionistas, em
busca de identificar limitações técnicas existentes e de que forma, estas, explicam a
baixa adoção destas tecnologias na prática. Os resultados foram alcançados através
de duas etapas: a primeira foi, uma pesquisa bibliográfica sobre anatomia, buscando
entender gestos comuns humanos e limitações de algumas interfaces; e a segunda,
foi um experimento onde percussionistas de perfis distintos avaliaram a interação
oferecida por duas interfaces: o Sensor Microsoft Kinect e o Nintendo Wii remote.
Palavras-chave: música, tecnologia, Interfaces gestuais, Interação, percussão,
computação musical
VI
ABSTRACT
Music and technology have an old relationship, constant and inseparable.
Since the beginning of human history, has been in the music and watching their
growth was parallel to the development of man. As technology changed the social
culture, new ways of modeling instruments and compose songs were created by
modifying also the interaction and musical performance. The evolution of computers
and the increased capacity of data processing provided greater interest in research
and development of technological devices, better known as "Digital Musical
Instruments" (DMIs).
Based on gestural interfaces, the DMIs want to offer new ways to interact with
the instrument, increasing opportunities and preserving the sound quality, but it is not
often that we see professional musicians are using this technology. This paper
analyzes and evaluates the interaction of some gestural interfaces with the musician,
percussionist specifically, in order to identify the limitations of existing techniques and
how these explain the low adoption of these technologies in practice. The results
were achieved through two stages: the first was a literature on human gestures and
limitations of some interfaces and the second, an experiment where percussionist’s
distinct profiles evaluated the interaction interfaces offered by the Microsoft Kinect
Sensor and Nintendo Wii remote.
Keywords: music, technology, gestural interfaces, Interaction, percussion, music
computer
VII
Lista de Figuras
Figura 1: Lev Theremin e sua criação que ganhou o seu próprio nome “Teremin ”..5
Figura 2: Interface do Pure Data......................................................................................8
Figura 3: Controladores MIDI...........................................................................................8
Figura 4: Eigenharp Alpha................................................................................................ 9
Figura 5: Misa Kitara........................................................................................................10
Figura 6: Interface do Reactable....................................................................................11
Figura 7: Tenori-on...........................................................................................................12
Figura 8: O violão da esquerda é um Folk e o da direita é um tradicional..............15
Figura 9: iPad (Tablet da Apple) ....................................................................................23
Figura 10: iPhone (Smartphone da Apple). ..................................................................24
Figura 11: Reactable........................................................................................................25
Figura 12: NumChuck à esquerda e Wii remote à direita com Wii MotionPlus
conectado em baixo..................................................................................................26
Figura 13: Alguns gestos que podem ser captados pelo Wii remote.......................27
Figura 14: Move controller e camera Eye.................................................................27
Figura 15: Dispositivo Kinect. .........................................................................................29
Figura 16: Tipos de articulações.....................................................................................32
Figura 17: Geometria das articulações..........................................................................34
Figura 18: Articulação do antebraço..............................................................................36
Figura 19: Articulações do punho..................................................................................37
Figura 20: Junta esternoclavicular.................................................................................38
Figura 21: Usuários participando do experimento...................................................49
Figura 22: Percussionista popular usando a Zabumba no Wii Remote...................50
Figura 23: Equipamentos (Tripé com Kinect e alguns computadores)....................50
Figura 24: Perspectiva do usuário..................................................................................50
VIII
Figura 25: Fluxograma do roteiro usado no experimento........................................54
Figura 26: Mapa-mental baseado no mundo do usuário.........................................65
Lista de Tabelas
Tabela 1: Tabela de articulações....................................................................................35
Tabela 2: Modelo articulado.............................................................................................39
Tabela 3: Limites e direção de propagação de cada DOFs.....................................39
Tabela 4: Tabela descritiva de instrumentos e gestos.............................................42
Tabela 5: Tabela de interfaces........................................................................................44
IX
SUMÁRIO
AGRADECIMENTOS..........................................................................................................IV
RESUMO................................................................................................................................VI
ABSTRACT ...........................................................................................................................VII
Lista de Figuras.................................................................................................................VIII
Lista de Tabelas..................................................................................................................IX
SUMÁRIO................................................................................................................................X
1. INTRODUÇÃO........................................................................................................................1
1.1. Objetivo...............................................................................................................,..............2
2. O PAPEL DA TECNOLOGIA NA MÚSICA.............................................................................3
2.1. Equipamentos Eletrônicos e Avanços no Cenário Musical................................................4
3. IMPORTÂNCIA DO GESTO MUSICAL DA LUTERIA CONVENCIONAL À DIGITAL........13
3.1. O gesto na luteria.............................................................................................................13
4. INTERFACES GESTUAIS EM COMPUTAÇÃO...................................................................18
4.1. Interfaces Multi-toque.......................................................................................................22
4.1.1. Tablet............................................................................................................................22
4.1.2. Smatphone....................................................................................................................23
4.1.3. Mesa Multi-toque...........................................................................................................24
4.2. Gamepad..........................................................................................................................25
4.2.1. Wii Remote....................................................................................................................26
4.2.2. PlayStation Move...........................................................................................................27
4.3.Cameras de Detecção de Profundidade............................................................................28
4.3.1. Microsoft Sensor Kinect.................................................................................................28
5. GESTOS PRIMITIVOS E LIMITAÇÕES TÉCNICAS.............................................................31
5.1. Anatomia Humana............................................................................................................31
5.1.1. Classificações das Articulações (Juntas) ......................................................................31
A. Articulações Sinartroses....................................................................................................32
B. Articulações Anfiartroses...................................................................................................32
C. Articulações Sinoviais ou Diartroses.................................................................................32
5.1.2. Cotovelo e antebraço.....................................................................................................35
X
5.1.3. Punho e mão................................................................................................................36
5.1.4. Ombro..........................................................................................................................37
5.1.5. Mapeamento de Gestos...............................................................................................40
5.2. Gestos Instrumentais.......................................................................................................41
5.2.1. Instrumentos de percussão...........................................................................................41
5.3. Análise de captação.........................................................................................................44
6. MÉTODO...............................................................................................................................45
6.1. Coleta de dados...............................................................................................................46
6.2. Análise de dados..............................................................................................................46
6.2.1. Análise do discurso.......................................................................................................46
7. EXPERIMENTO....................................................................................................................48
7.1. Design do experimento....................................................................................................48
7.1.1. Etapas do Experimento ................................................................................................48
7.1.2. Repertório de gestos.....................................................................................................48
7.1.3. Usuários........................................................................................................................49
7.1.4. Instrumentos de coleta de dados..................................................................................51
7.2. Descrição do Experimento (Coleta de Dados) ...............................................................51
7.2.1 Performance com DMI ..................................................................................................51
7.2.2. Entrevista semi-estruturada..........................................................................................52
7.3. Protocolo de experimento...............................................................................................53
7.3.1. Tópicos abordados na entrevista..................................................................................53
7.3.2 Fluxograma....................................................................................................................54
7.4. Análise de dados do experimento (Analise do discurso) ................................................55
7.4.1. Transcrição...................................................................................................................55
7.4.2. Discriminação...............................................................................................................55
7.4.3. Reconstrução do mundo do usuário.............................................................................56
7.4.4. Examinando o contexto................................................................................................63
7.4.5. Mapa mental.................................................................................................................65
7.5. Análise dos resultados....................................................................................................67
7.5.1. Variação timbrística......................................................................................................67
7.5.2. Variação de dinâmica...................................................................................................68
7.5.3. Controle Temporal.......................................................................................................68
XI
8.
DIAGNÓSTICOS E DIREÇÕES DE PESQUISAS.............................................................70
8.1. Diagnósticos.....................................................................................................................70
8.2. Direções de pesquisas......................................................................................................71
REFERÊNCIAS.......................................................................................................................73
XII
1. Introdução
Com a chegada do século XX, a relação entre música e tecnologia
aumentou, por causa de fatores como: o acréscimo de conhecimento sobre
aspectos físicos e cognitivos do som; a fácil aquisição à energia elétrica barata
e aplicação das tecnologias eletrônica e digital na geração sonora artificial
(Iazzetta, 1997). Os meios tecnológicos tem nos proporcionado, novas
maneiras de interagir com os meios sonoros, tornando-se bastante importante
para o músico.
Boulez (1997, apud TRALDI, 2007) nos fala:
A possibilidade de interagir com meios sonoros e
computacionais surge no final do século passado e,
rapidamente, torna-se uma das principais linhas de composição
e interpretação do início deste século. A interação de músicos
com a tecnologia foi preconizada por Boulez (1977) que aponta
que tais dispositivos não foram inventados para aplicações
musicais, mas que sua utilização levaria a mutações que
poderiam engendrar soluções inovadoras.
As pesquisas a cerca do desenvolvimento de interfaces digitais tem
crescido principalmente nas ultimas décadas. A luteria digital tem avançado e
pesquisas nesta área, têm surgido cada vez, com mais intensidade.
Instrumentos virtuais que possuem acelerômetros e câmeras com sensores de
profundidades, interagem com o usuário através de gestos e emitem som
através de síntese sonora.
Apesar
de
tanta
tecnologia
empregada
na
criação
de
novos
instrumentos, por que não é com frequência que vemos músicos profissionais
utilizando essas tecnologias em performances musicais? Porque a maioria dos
músicos não usam essas novas interfaces? Talvez os estudos e pesquisas
nessa área, não estejam desenvolvendo interfaces gestuais para música.
1
1.1. Objetivo
Cientes do crescente avanço em pesquisas, na área de Interfaces
gestuais, e do baixo índice de utilização de instrumentos virtuais por músicos
profissionais, este trabalho teve como objetivo analisar algumas interfaces
gestuais através de pesquisas e experimentos, em busca de reconhecer
limitações técnicas de captação de gestos, encontradas na interação das
interfaces, que proporcionem aos músicos uma experiência não agradável. As
interfaces utilizadas foram o Sensor Kinect da Microsoft e o Wii remote da
Nintendo, que simularam instrumentos virtuais de percussão.
2
2. O PAPEL DA TECNOLOGIA NA MÚSICA
Embora não haja documento comprobatório, acredita-se que os homens
pré-históricos tinham experiências musicais. As primeiras músicas foram os
gritos dos hominídeos do Paleolítico, como sugere Dearling (1996, apud
GOHN, 2001). Porém, Candé (2001) defende que os antropoides do terciário
utilizavam seus corpos ou construíam bastões para percutir os sons, e já
construíam objetos como instrumentos elementares de percussão. Segundo
este autor, somente por volta de 9.000 a.C. é que o homem do Neolítico cria
primeiros instrumentos de corda e alguns membranofones. Quatro mil anos
mais tarde, com o desenvolvimento da metalurgia, é que apareceriam os
primeiros instrumentos em bronze, para execuções musicais mais sofisticadas.
Mesmo sendo rudes em relação aos instrumentos que encontramos na
contemporaneidade, essas construções se imbuem de tecnologia. Para Sancho
(1998, p.17) tecnologia é o “conjunto de conhecimentos que permite a nossa
intervenção
no
mundo”.
Como
disposto
na
Wikipédia1,
“Tecnologia (do grego τεχνη — "técnica, arte, ofício" e λογια — "estudo") é um
termo que envolve o conhecimento técnico e científico e as ferramentas,
processos e materiais criados e/ou utilizados a partir de tal conhecimento”. Em
se tratando de música e tecnologia, ou melhor, do papel da tecnologia na
música,
referimo-nos
às
novas
possibilidades
de
produção
musical
provenientes do saber adquirido após a compreensão de mecânica, acústica,
eletricidade, eletrônica, etc. Neste contexto é natural que o advento do
computador tenha permitido novas experiências não só para a educação
musical, mas também para a atividade performática da música, sobre a qual
está focado o nosso trabalho.
Segundo Zuben (2004),
Durante o século XX, novas estéticas musicais foram
criadas como desenvolvimento das tecnologias de gravação
sonora, primeiramente analógicas e depois digitais. A música
eletroacústica, por exemplo, trabalha a composição
diretamente no computador, não mais usando partitura como
________________
1
Disponível em: <http://pt.wikipedia.org/wiki/Tecnologia>. Acesso em: 10 jan. 2012.
3
meio de escrita ou de fixação da música. O desenvolvimento
de novas tecnologias de gravação sonora também possibilitou
novos meios de armazenamento da música, como as fitas, CDs
e DVDs, que transformaram a maneira de se produzir, ouvir e
consumir a música no século XX (p. 8).
As tecnologias computacionais estão presentes no cotidiano das
pessoas: “a televisão, o celular, os recursos tecnológicos aplicados à Medicina,
tudo está ao nosso dispor e nos remete a um mundo de possibilidades, um
mundo virtual” (SILVA, 2011, p. 13). Enquanto até o século XIX os registros de
músicos eram restritos à partitura, atualmente é possível reproduzir e
compartilhar músicas pela internet. O século passado nos trouxe grandes
avanços nas áreas de computação e eletrônica, fazendo surgir o rádio, o
computador, os aparelhos de som (como mesas, amplificadores, etc.).
Consequentemente, novos instrumentos musicais surgiram, reafirmando o
impacto das tecnologias computacionais no campo da música. Daí, Silva (2010,
p. 6) vem afirmar que:
[…] a música traz avanços concorrentes com a ciência, desde
os séculos mais remotos, com a concepção pitagórica das
frequências que desabrocharam no diatonicismo barroco, até a
segunda metade do século XX, com os fenômenos sonoros de
Stockhausen, gerados eletronicamente. A estrada que liga
esses dois personagens se estende por pelo menos 25
séculos, justificando que a ciência e a música são parceiras
antigas.
2.1. Equipamentos Eletrônicos e Avanços no Cenário Musical
A música sofreu grande impacto com o advento da eletricidade. No
começo do século XX, surgiram o Dinamofone “Telharmonium” de Thaddeus
Cahill em 1906, que produzia som a partir de dínamos, e do oscilador a válvula
de Lee De Forest em 1915, que representa a base para a geração do som a
partir de sinais elétricos. O versátil engenheiro músico e inventor soviético Lev
Sergeivitch Termen (Léon Theremin, em francês) criou por volta de 1919, o
primeiro instrumento completamente eletrônico, o teremin, o qual foi projetado
para dispensar o contato físico para produção de sons. Como visto na fig.1,
consiste em uma caixa com duas antenas, uma para controlar a altura, e outra,
4
para controlar a intensidade. Ao redor das antenas, o músico movimenta suas
mãos para produzir música.
Figura 1 – Lev Theremin e sua criação que ganhou o seu próprio nome “Teremin”. O primeiro
instrumento eletrônico.
Araújo (2002) nos diz que naquela época já havia uma perspectiva de
que as fronteiras dos instrumentos seriam aumentadas pelo surgimento de
tecnologias com capacidade de manipular sons como atualmente é feito
através de computadores.
A chamada “música computacional” surgiu na década de 50 com os
trabalhos de Lejaren A. Hiller químico e compositor, que utilizava modelagem
estocástica no processo de composição. E para realizar seus trabalhos usava
um computador ILLIAC da Universidade de Illinois.
Pela primeira vez um computador foi utilizado como instrumento musical,
por Max Matheus, que desenvolveu o primeiro programa para sintetizar música
em 1957. Nos anos posteriores mais avanços foram alcançados com o
desenvolvimento de circuitos integrados, microprocessadores e sintetizadores.
Mais tarde na década de 80 o surgimento do MIDI (Musical Instrument Digital
Interface) padrão de interligação entre instrumentos eletrônicos tornou possível
a total integração entre computador e música (Araújo, 2002).
Apesar dessas invenções, Gohn (2001) considera que a invenção do
telefone, no final do século XIX, seria o marco revolucionário da tecnologia na
música:
5
Podemos considerar que a inovação tecnológica de maior
destaque para a evolução da eletrônica na música foi o
telefone, criado por Alexander Graham Bell, em 1876. Ela
comprovou que o som poderia ser transformado em sinais
elétricos e vice-versa, estreitando a relação entre tecnologia e
arte e abrindo caminhos para a gravação do som e para os
meios de comunicação de massa. (p. 3).
Ainda na mesma época, Gohn (2001) salienta que a invenção do
fonógrafo, por Thomas Edison, do grafofone, por Alexander Graham Bell, e
especialmente
do
gramofone,
por
Émile
Berliner,
teve
um
papel
importantíssimo para a gravação de sons. Mais tarde, Graham Bell apresentou
as gravações magnéticas, as quais foram utilizadas em grande escala até o
surgimento dos gravadores digitais (Jones, 1992).
O
fato
é
que
as
revoluções tecnológicas se unem à criatividade musical para conceber estilos
inovadores de música ou para ressignificar uma obra antiga. Segundo Gohn
(2001), os avanços tecnológicos continuam a interferir no campo da música,
inclusive no que concerne à aprendizagem musical e à nossa percepção. Para
ele, “o surgimento de novas formas de produzir, preservar e transmitir a música
condiciona a nossa percepção, nos deixando distantes das realidades
passadas, quando a manipulação do som era restrita e limitada” (p. 11).
O desenvolvimento da eletrônica e da informática possibilitou a geração
de sons não convencionais, que fogem do que as pessoas estão acostumadas
a ouvir. Os novos timbres procurados pelos compositores podem ser gerados a
partir de qualquer gesto, os quais transformados em sinais elétricos podem
também controlar sons pré-existentes. O autor acima preconiza que há várias
opções de interação musical, como subconjunto da interação homem-máquina
(IHM), dentre elas a manipulação instrumental, interação em sistemas
multimídia e a interação em jogos eletrônicos, sendo que não necessariamente
nesses dois últimos tipos de interação a produção de sons seria objetivada.
Porém, um dos papeis do som nesse contexto de interação é a expressão
artística, haja vista que a performance de alguns instrumentos musicais digitais
assemelha-se à execução de instrumentos acústicos. Este é o caso dos
instrumentos digitais de percussão prototipados nesta pesquisa.
6
Para Traldi (2007), o desenvolvimento de novos dispositivos e meios
eletrônicos nas décadas entre 60 e 80 do século passado, criou possibilidades
novas de comunicação entre interpretes musicais e equipamentos eletrônicos
trazendo mudanças timbrísticas, visuais (físicas) e performáticas. O uso de
softwares e simuladores de instrumentos na produção de composição musical,
cresceu muito durante os últimos anos e trouxe contribuições relevantes para o
desenvolvimento da musica. Ficheman (2002, apud CORRÊA, 2004, p. 2) nos
fala que:
A produção musical aliada à tecnologia vem favorecendo, ao
longo dos anos, uma abrangência musical cada vez maior. Isto
se deve à utilização de novos instrumentos e às novas formas
de geração e produção de sons. Na atividade composicional, o
computador apresenta-se como uma ferramenta que apoia o
compositor na viabilização e explicitação de suas ideias.
Através dos aplicativos computacionais o compositor tem
acesso a sistemas de representação diversificados, que
fornecem feedbacks sonoros e gráficos (partituras, desenhos e
diagramas). O uso do computador na atividade musical
apresenta
possibilidades
de
criações,
capturas
e
transformações de eventos sonoros (Ficheman, 2002).
Uma das ferramentas computacionais desenvolvidas na década de 1990
para a criação de música foi o Pure Data (PD). Um ambiente de programação
gráfica para áudio e vídeo usado como ambiente de composição interativo e
como estação de síntese e processamento de áudio. Uma das inovações mais
importantes do Pure data, foi à introdução de estrutura de dados gráficos, que
pode ser usado de diversas maneiras: Na composição de partitura,
sequenciamento de eventos, criação de efeitos visuais, etc. O projeto em
código aberto foi desenvolvido primeiramente por Miller Puckette (IRCAM) e
conta com grande base de desenvolvedores que trabalham em extensões do
programa.
7
Figura 2 – Interface do Pure Data
Atualmente na atividade musical, temos visto o uso de controladores que
simulam instrumentos acústicos existentes, como por exemplo: um dispositivo
que simula saxofone, sem a geração de som, usando apenas síntese aditiva;
ou uma bateria eletrônica, geralmente formada por um conjunto de pads,
montados sobre um rack, na mesma disposição de uma bateria convencional,
ambos encontram-se na figura 3. Chamamos a esses dispositivos, de
instrumentos musicais digitais (IMDs), Interfaces (hardware) que enviam sinais
de
controle
a
algoritmos
de
síntese
sonora.
Pesquisas
sobre
o
desenvolvimento de IMDs, tiveram um grande aumento nas ultimas décadas e
presente
em
diversos
centros
de
pesquisa
como:
STEIM (Studio
for Electro Instrumental Music), (CCRMA) em Stanford University, Sonic Art
Research Centre, Ircam, (IDMIL) McGill University, Universidade Católica do
Porto, Tufts University, etc.
Figura 3 – Controladores MIDI. À esquerda o sax e a direita a bateria eletrônica.
8
Outros IMDs têm surgido como, o Eigenharp alpha2, inventado por John
Lambert e lançado em 2009, um dos instrumentos eletrônicos feito pela
Eigenlabs. A primeira vista a criação pode confundir com a mistura de
instrumentos como bateria, saxofone e teclado, porém sua versatilidade pode
simular perfeitamente os mais diversos efeitos sonoros. Trata-se de um
controlador bastante flexível e portátil.
Possui 133 teclas totais (120 no painel principal, 12 para efeitos de
percussão e 1 para acionar a função mudo), o Eigenharp funciona a partir de
samples pré-programados e permite a utilização de até 2000 samples por
minuto, de forma simultânea. Todas as teclas são sensíveis à pressão e
possibilitam três ajustes diferentes, para controles de intensidade e timbre
sonoro.
Figura 4 - Eigenharp Alpha
Este instrumento também possui a capacidade de alterar a afinação ou a
intensidade de um sample, incorporando tecnologia tátil. O seu bocal, permite
que através de um assopro possa adicionar diversos efeitos às notas
reproduzidas.
________________
2
Disponível em: <http://www.eigenlabs.com/product/alpha/>. Acesso em: 17
ago. 2012.
9
Semelhantemente, a Misa Kitara3 é um controlador midi digital. Ela foi o
primeiro instrumento a utilizar uma tela multi-toque de 8 polegadas e botões de
toque para simular cordas e trastes. O controlador possui forma de guitarra
elétrica e 24 trastes e seu visor permite que o músico reproduza uma grande
variedade de efeitos baseando-se nos movimentos dos dedos sobre a tela.
A Kitara possui um sintetizador interno wavetable com efeitos para
geração de sons. A tela multi-toque traz bastante facilidade e simplicidade à
troca de efeitos simultâneos.
Figura 5 - Misa Kitara
Sem a pretensão de tomar o lugar da guitarra convencional, a Misa
Kitara tem como objetivo ampliar as possibilidades de efeitos sonoros.
________________
3
Disponível em: <http://en.wikipedia.org/wiki/Misa_Kitara>. Acesso em: 26 Set. 2012.
10
(MIRANDA e WANDERLEY, 2006, p. 19) Dentre os IMDs, existem modelos de
“dispositivos de entrada alternativos”. Esses não são criados, baseando-se em
instrumentos acústicos existentes, e por tanto não possuem nenhuma
semelhança, nem seguem regras físicas ou sonoras.
Observamos como exemplo o Reactable4, criado e desenvolvido em
2003 pelo Grupo de Tecnologia Musical da Universidade Pompeu Fabra,
Espanha, o instrumento tem despertado interesse em músicos e leigos devido
ao seu poder de interação e criação. A interface também pode ser utilizado de
forma colaborativa. Possui formato de mesa redonda translúcida e sua
interface apresenta-se com uma superfície multi-toque, como demostrada na
figura 6. Uma câmera situada na parte de baixo da mesa, analisa
continuamente as posições dos objetos que controlam a síntese sonora.
Figura 6 – Interface do Reactable
O Reactable é considerado um tipo de interface tangível, ou seja, uma
interface em que a pessoa interage com a informação digital, através da física
ambiente. Os objetos são parte integrante da mesa e possuem diferentes
funções na sua execução musical.
Demostrado pela primeira vez em 2005, o Tenori-on5 é um instrumento
eletrônico que possui interface bastante diferente. Projetado e criado pelo
________________
4
Disponível em: <http://mtg.upf.edu/project/reactable>. Acesso em: 17 ago. 2012.
11
japonês Toshio Iwai, um artista da mídia japonesa, músico e inventor, que
colaborou com Yu Nishibori d a Yamaha Center for Advanced Sound
Technology no seu desenvolvimento. O instrumento trata-se de uma tela de
mão constituída de uma matriz 16x16 feita de LEDs sensores, mantidos dentro
de uma armação de magnésio de 8 polegadas. Os 256 botões luminosos, são
pontos de entrada de dados que determinam a altura e permitem de forma
intuitiva que o usuário crie batidas em loops, sincronizando-as segundo a sua
própria vontade.
Um ponto bastante positivo do Tenori-on, é que qualquer pessoa pode
conseguir um bom resultado sonoro no dispositivo, mesmo sem possuir
conhecimento musical teórico. O aparelho permite também a importação de
sons e batidas, oferecendo um enorme leque de combinação sonora e rítmica.
Figura 7 – Tenori-on
________________
5
Disponível em: <http://www.emusician.com/gear/0769/review-yamaha-tenorion/140649>. Acesso em: 15 Out. 2012.
12
3. Importância do gesto musical: da luteria convencional à
digital
O emprego de tecnologia na criação de instrumentos musicais (sejam
eles acústicos, elétricos ou digitais) sempre teve duas preocupações. A
primeira está relacionada a questões ergonômicas ou gestuais, percebendo a
facilidade ou dificuldade com que os músicos interagem com os instrumentos;
A segunda diz respeito à questão sonora, preocupando-se com a síntese do
som gerada, com a qualidade sonora obtida ao se tocar o instrumento. Nesta
seção, trataremos da primeira, para entendermos que a importância dada, a
captura dos gestos dos músicos sempre esteve no centro da tecnologia
musical.
3.1. O gesto na luteria
O gesto é um elemento essencial na execução musical, já que os
músicos “tocam” instrumentos por meio de gestos. Podem ser dinâmicos ou
estáticos, pois o gesto de segurar uma tecla de um piano com um dedo ou
pisar no seu pedal, mesmo parado, pode fazer soar uma nota por mais tempo.
De fato, são os dedos do violonista que excitam as cordas do violão,
provocando ondas sonoras que são amplificadas pelo corpo (caixa acústica) do
instrumento, para eventualmente serem depois captadas por microfones ou
outros sensores e amplificadas eletronicamente. O mesmo pode ser dito para o
piano, o violino, o trombone, o tambor, a flauta. É por meio de gestos de mãos,
dedos, braços, pernas, rostos, boca, que o músico interage com seu
instrumento.
Analisando algumas definições sobre gesto podemos dizer que é uma
maneira de comunicação não verbal, em que as ações corporais visíveis,
informam mensagens específicas. Podendo ser incluído o movimento das
mãos, rosto ou outras partes do corpo. Wanderley (2006) nos fala que, os
gestos podem ser executados não necessariamente com as mãos, como por
exemplo: o sopro de um flautista. Esse seria chamado de gesto corporal
instrumental; já Cadoz (1988) diz que ações físicas como a manipulação de
uma ferramenta com um objetivo de comunicação é um gesto instrumental; por
13
ultimo, um gesto que acompanha os instrumentos enquanto são executados, é
chamado de gesto acompanhador (Delalande, 1988).
Na luteria tradicional há diversos nomes de luthiers, mas o mais notável
da história foi o italiano Antonio Stradivari, responsável pela fabricação do
violino mais caro do mundo o “Stradivarius”. Considerado o expoente máximo
dessa arte, a produção de Stradivari, resultou em mais de mil instrumentos,
entre eles estão: violinos, violas e violoncelos. A importância que é dada a ele,
está além da sua enorme habilidade manual e de escolha de madeiras, mas
nas modificações realizadas por ele no design dos instrumentos, Unicef (1976,
apud GOHN, 2001).
Desde tempos antigos a tecnologia já era empregada no design de
instrumentos musicais, com a intenção de obter melhores resultados na
interação musical. Um bom exemplo dessa afirmação é o piano, que foi
inventado por um italiano chamado Bartolomeo Cristofori, no início do século
18, mas só veio firmar-se no final do mesmo século. Teve como precursor o
cravo, que possuía uma serie de limitações sonoras, dentre elas, não oferecia
controle de dinâmica e em contrapartida, o piano que tinha uma tecnologia
mais avançada, produzia suas notas através de martelos que percutiam as
cordas, inovando a forma de interagir dos músicos daquela época, permitindo
que as notas pudessem ter maior ou menor intensidade. O seu nome Piano ou
Pianoforte6 como foi conhecido em 1709, enfatiza o potencial do piano em
produzir fortes ou leves sonoridades, dependendo somente de como as suas
teclas são tocadas.
Na prática de um instrumento musical, existem diversas variáveis que
cooperam para que o músico extraia uma melhor sonoridade e a técnica
instrumental, está entre elas. Sabemos que toda a técnica instrumental é
realizada através da utilização de gestos que se baseiam na configuração do
instrumento tocado.
Iazzeta (1997) nos diz que:
Por um lado há o universo concreto, visível e mecânico dos
instrumentos tradicionais, onde os corpos (do instrumento e de
quem o toca) envolvidos e seus movimentos estão
________________
6
Disponível em: < http://www.kerstenpianos.com/historia.php>. Acesso em: 23 nov.
2012.
14
intrinsecamente relacionados ao resultado sonoro obtido: as
cordas tensas e curtas de um violino vibram mais rápido, porém
com menos energia que as cordas mais longas e flácidas de
um contrabaixo, que exigem a aplicação de mais força do
instrumentista.
Por tanto, dependendo do material envolvido na construção ou do design
do instrumento, os gestos usados na prática do mesmo, deverão exercer maior
desgaste físico, para se obter uma sonoridade mais agradável.
Também os luthiers de violão, pensando em proporcionar mais facilidade
aos gestos dos violonistas, mudaram o design do violão tradicional adicionando
um “cutaway”7 ao corpo do instrumento, com a pretensão de gerar maior
alcance a área inferior do braço mais próxima da boca. Essa área do braço no
violão tradicional, normalmente é fechada e fazer arranjos nela exige do músico
bastante técnica, pela dificuldade encontrada na localização das notas. O tipo
de violão que possui esse cutaway é chamado de “Folk” e normalmente possui
cordas de aço.
Figura 8 – O violão da esquerda é um Folk e o da direita é um tradicional.
O interesse por gestos na luteria está relacionado também a questões
ergonômicas, pois os mesmos são ações que controlam os instrumentos
musicais, com gestos naturais, trazendo mais facilidade e conforto para o
músico. Um instrumento que ofereça maior conforto vai proporcionar uma
experiência prática mais agradável, permitindo melhor interação e menor
cansaço físico.
Esta preocupação acontece não só na criação de instrumentos
acústicos, mas principalmente na luteria digital. Enquanto os instrumentos
acústicos tentam evoluir em qualidade física e timbrística, os instrumentos
digitais vêm ganhando espaço, evoluindo com a tecnologia e procurando
recriar instrumentos acústicos pré-existentes, aperfeiçoando a maneira de
________________
7
Cutaway – Abertura feita no corpo do instrumento, a partir do 12ª traste visando dar
maior acesso, às ultimas casas do braço. É geralmente encontrado em guitarras ou
violões folk.
15
interagir com eles ou criando modelos alternativos que busquem novas formas
de controle de sínteses.
Em se tratando de simuladores de instrumentos, na luteria digital, eles
recebem um tratamento diferente com relação aos gestos, pois herdam
características sonoras dos instrumentos convencionais e automaticamente os
gestos usados na sua manipulação. Por tanto, é necessário obter um grande
repertório de gestos instrumentais, que sejam utilizados pelos músicos na
prática dos instrumentos acústicos, a fim de ajuda-los a se adaptarem ao novo
paradigma desses IMDs. Como comentado anteriormente, existem também os
IMDs que não simulam instrumentos, mas manipulam síntese sonora e trazem
em si um símbolo de inovação futurista. A maneira como o mapeamento de
gesto é realizado, não possui regras pré-estabelecidas, já que é um
instrumento novo, mas geralmente procuram-se estabelecer a partir de muitos
experimentos, comandos intuitivos que possibilitem a fácil memorização.
Os IMDs não possuem padrão de tamanho físico ou forma, podendo ser
desenvolvido para funcionar
em iPads e
Smartphones,
softwares e
sintetizadores que simulam teclados virtuais, violões, guitarras, contrabaixos e
até mesmo bateria virtual. Eles utilizam sensores que interpretam comandos
dados, permitindo novos tipos de interações. Nos computadores as
possibilidades de criação de IMDs são inúmeras, visto a enorme capacidade de
desempenho hoje encontrada nas maquinas, que são mais potentes do que
muitos outros dispositivos. Com o uso dos computadores, os IMDs podem ser
mais flexivelmente modificados através de samples, filtros e controles que
geralmente possuem configurações ajustáveis. O seu uso no desenvolvimento
de IMDs tem sido cada vez maior, inclusive criando interfaces que dispensem o
uso do mouse ou teclado, visto não proporcionar uma interação tão agradável
em IMDs. Muitos desses softwares são configuráveis para usá-los em conexão
com sintetizadores ou controladores, tornando mais prático o acesso ao
conteúdo sonoro na performance musical.
A partir desta analise, pode-se concluir que há muita tecnologia sendo
empregada na criação de instrumentos digitais e essas tecnologias trazem
novidades e recursos diversos que propõe ultrapassar limites encontrados nos
16
instrumentos convencionais acústicos, criando novas possibilidades, tanto de
sonoridade, quanto de portabilidade do instrumento. Há instrumentos
convencionais que são complicados de se transportar, por serem delicados ou
de tamanho muito extenso, porém não necessariamente, um instrumento
virtual, tem que parecer com o modelo do corpo de um acústico. JORDÀ (2005,
apud WANDERLEY, 2010) nos fala que, com relação à interface de controle,
esta pode, mas não precisa ser semelhante a instrumentos acústicos
existentes.
17
4. Interfaces gestuais em computação
Baseando-se em interação humano-computador (IHC), Wanderley
(2006) preconiza que sistemas de geração sonora controlados por gestos
podem ser utilizados em vários contextos da interação musical; porém, o nosso
trabalho se contextualiza na “manipulação instrumental”, que usa uma interface
gestual para controlar parâmetros musicais em tempo real, similar ao que
acontece na prática do instrumento convencional acústico ou elétrico.
Desenvolvedores de sistemas computacionais tem dado cada vez mais
importância a estudos relacionados a gestos e movimentos do corpo (Corrêa et
al, 2005). A motivação para isto é poder “herdar” um grande repertório de
gestos que os seres humanos desenvolveram ao longo dos séculos fazendo
com que a interação deles com o computador seja mais natural.
Pensando em como utilizar geração sonora no computador e levando
em consideração que a performance de um músico é bastante relevante para a
execução musical, necessitou-se criar dispositivos a base de sensores, que
controlassem a geração sonora, conectados a computadores. Podemos
chama-lo de “gestural controlers” termo que traduzido chama-se interfaces ou
controladores gestuais. Zuffo (2001) nos diz que meios eletrônicos interativos
são “O acervo tecnológico orientado ao relacionamento sensitivo (audição,
visão e tato) entre o usuário e uma infraestrutura computacional”.
Conexões de interfaces gestuais, usadas em computadores viabilizando
controle de processos musicais tiveram seu desenvolvimento iniciado nos anos
60, porém o conceito de instrumentos musicais eletrônicos, baseados em
interfaces gestuais é bastante antigo (Wanderley, 2006). Tais conceitos
abrangem instrumentos virtuais, técnicas de captura gestual, estratégia de
mapeamento gestual, resposta sensitiva, etc.
Como já falado no capítulo 1, Leon Theremin criou um instrumento que
apenas com o mover das mãos em torno de uma antena controlava a emissão
sonora, exigindo muita técnica por parte do intérprete, no que se trata de
precisão gestual. Assim aproximou o instrumentista do conceito de gesto
sonoro e da nova relação com o instrumento.
18
A tecnologia que vem sendo empregada em interfaces gestuais tem nos
dado possibilidades de interagir de diversas formas, permitindo a criação de
cenários de uso cada vez mais sofisticados. Jordá (2005, apud PATRICIO,
2010) nos diz que:
Do ponto de vista da entrada, a cada vez mais ampla e
crescente disponibilidade de tecnologias de detecção permite
que virtualmente qualquer tipo de gesto físico ou parâmetro
externo possa ser monitorado e digitalizado em um
computador. [...] Nós ainda podemos golpear, atingir, pinçar,
esfregar ou tocar com um arco, embora o performer não seja
mais diretamente responsável pela transferência da energia
necessária para o instrumento soar. Nós também podemos,
obviamente, clicar, clicar duas vezes, digitar, apontar, arrastar,
girar ou arrastar e soltar, mas podemos tentar fazer outras
coisas também. (JORDÀ, 2005b, p. 25).
Os recursos disponíveis atualmente nos dão diversas possibilidades de
projetos de uso de interfaces gestuais, por tanto, em nossos planejamentos
devemos escolher objetivos funcionais e estéticos em cada projeto.
Em Wanderley (2010) vemos algumas interfaces manipuladas através
de gestos, que podem ser consideradas instrumentos musicais virtuais ou
podem servir para experimentos médicos. Como exemplo vemos a Hands,
desenvolvida por Michel Waisvisz, que assemelha-se a uma luva de madeira,
podendo manipular o som através de sintetizador ou modulador de frequência;
O Continuum, desenvolvido por Lippold Haken, é uma interface sensível ao
toque que controla processos musicais.
Além dessas interfaces, outros dispositivos foram desenvolvidos pelo
laboratório Input Devices and Music Interaction – IDMI da Universidade McGill
canadense: Gyrotyre baseado em uma roda de bicicleta é manipulado a partir
de um manete acoplado a ela; Rulers feito com varias réguas metálicas pode
ser tocado percutindo ou modulando as hastes para cima e para baixo; T-Stick
uma interface em forma de bastão sensível ao toque em toda sua superfície; TBox a interface utiliza sensores de ultrassom para medir a distância das mãos
do músico. Todas as interfaces citadas à cima utilizam sensores e mostram
algumas das muitas possibilidades em que interfaces gestuais podem ser
utilizadas.
19
Dentre os centros de pesquisas brasileiros, na criação de instrumentos
musicais digitais destacam-se o NICS (Núcleo Interdisciplinar de Comunicação
Sonora) da Unicamp, que através do LIGA (laboratório de interfaces gestuais)
estuda instrumentos eletrônicos e o desenvolvimento de interfaces que usam a
dinâmica do corpo no espaço para produzir eventos acústicos e visuais. Um
dos exemplos de interface gestual desenvolvida pelo LIGA é o tapete interativo,
que ao ser tocado com os pés gera uma sequência (Mialichi e Manzolli, 2002)
sonora; e o LSI (Laboratório de Sistemas Integráveis) da Escola Politécnica da
USP, estuda trabalhos colaborativos e educação apoiada por computador. Um
exemplo de interface desenvolvida por eles é o teclado virtual, que rastreia
movimentos que são feitos a partir das mãos em uma folha de papel sulfite
(Pansa, Augusto e Neto, 2004).
(Wanderley, 2010) Fatores ambientais podem afetar os instrumentos
acústicos, mas quando se trata de interfaces digitais a possibilidade de
interferências é maior, uma vez que a maioria dos sensores utilizados são
infravermelhos e dispositivos eletromagnéticos, além de câmeras para captura
de imagem.
De fato, um dos mais importantes passos na criação de um
IMD [instrumento musical digital] é a passagem de um protótipo
de laboratório a um instrumento que pode ser utilizado
profissionalmente em vários ambientes externos ao laboratório
onde este foi concebido. Esta questão é de vital importância
em laboratórios têm-se normalmente ambientes controlados
(luz, temperatura, ruído, etc.) O uso de um IMD fora do
laboratório vai expô-lo a propriedades de ambientes que
podem afetar seu funcionamento (WANDERLEY, 2010, p. 86).
A observação acima é fundamental para se evitar interferências nos
sensores. Luzes e flashes de câmeras podem prejudicar o trabalho que se
utilize de sensores de infravermelho, por exemplo; da mesma forma, interfaces
com sensores magnéticos podem ser prejudicadas pela presença imprevisível
de metais no ambiente. Entre esses detalhes, Wanderley (2010) conclui que os
desenvolvedores de interfaces gestuais devem atentar para a flexibilidade, a
ergonomia e as limitações de um instrumento virtual; ele ainda ressalta que:
[…] é necessário muito trabalho e dedicação para desenvolver
novos instrumentos e técnicas de interpretação que
20
possibilitem a músicos explorar de forma satisfatória as infinitas
possibilidades musicais oferecidas pela tecnologia digital
(Wanderley, 2010, p. 93).
Algumas interfaces são desenvolvidas para entretenimento em games
tentando criar um ambiente que cause maior imersão no contexto do jogo.
Atualmente os controles joysticks estão perdendo espaço no mercado para
interfaces que são controladas por gestos do usuário. Essas mesmas
interfaces, apesar de terem sido criadas com a finalidade de controlar jogos,
tem chamado a atenção de desenvolvedores que procuram utilizar os recursos
oferecidos pelos hardwares, das maneiras mais criativas para a criação de
Instrumentos musicais digitais (IMDs).
...osciladores, amplificadores e computadores não foram
inventados para criar música; entretanto, e particularmente no
caso dos computadores, suas funções são tão facilmente
generalizadas, tão eminentemente transformáveis, que tem
havido uma intenção de direcionar diferentes objetivos dos
preestabelecidos: uma conjunção acidental criará uma mutação
(Boulez, 1977).
Com as possibilidades que tais interfaces têm oferecido, o limite que se
podem alcançar na produção musical é a imaginação, pois se o controle de
uma interface é baseado em gestos humanos, serão enumeras as alternativas
de controle.
Na área da computação, temos visto surgir uma certa tendência em
pesquisas sobre interfaces gestuais e essas interfaces vêm sendo utilizadas
para desenvolver projetos em diversas áreas. Apesar de terem sido criadas
com outra finalidade, desenvolvedores têm feito uso delas em projetos de
criação de IMDs, com tudo, temos percebido que os projetos desenvolvidos
são utilizados apenas como amostras em sites de compartilhamento de vídeos,
tais como o youtube8 e o Vimeo9. Dentre estás interfaces gestuais citaremos
algumas das quais possuem maior relevância na área de desenvolvimento de
aplicativos musicais.
________________
8
9
<http://www.youtube.com/watch?v=uhr_0dm6Rp4> Acesso em: 20 Nov. 2012.
<http://vimeo.com/42852185> Acesso em: 20 Nov. 2012.
21
4.1. Interfaces Multi-toque
A tela multi-toque10 é uma tecnologia de interação que reconhece
múltiplos contatos simultaneamente e possibilita a manipulação de sistemas
através do toque de algum objeto ou dos dedos. Essa tecnologia iniciou-se no
ano de 1982 quando um grupo de pesquisa da Universidade de Toronto
desenvolveu o primeiro sistema multi-toque. Mas o primeiro produto lançado
com tal tecnologia foi um controlador MIDI de nome Lemur da JazzMutant.
Ao contrário de um teclado ou de um dispositivo de entrada de um único
ponto como um mouse ou um touchpad tradicional, a tecnologia multi-toque
permite aos usuários movimentos de pinças para zoom, rotações e outras
ações que permitem uma interação mais rica, mais imediata com o conteúdo
digital e dependendo da aplicação, também pode ser usada de forma
colaborativa. Alguns dispositivos também reconhecem diferenças de pressão e
temperatura.
A
tecnologia
anteriormente
encontrada
nos
touchpads
proporciona hoje ao usuário a manipulação de ícones e outros conteúdos de
forma direta.
Marinho (2010) afirma que interfaces “multi-toque”, (do inglês multitouch) têm ganhado bastante popularidade no mercado. Devido ao grande
crescimento dessa tecnologia é comum encontra-la em dispositivos moveis.
Seu crescimento também é atribuído aos aparelhos da Apple: iPhones e tablets
iPads. Porém atualmente ha muitos outros tablets e smartphones que utilizam
essa tecnologia. A aceitação do multi-toque no mercado de forma tão
acelerada, apresenta-se como um desafio para indústria de software, que
necessita adaptar-se a uma nova maneira de interagir, porém preservando
características de usabilidade.
Abaixo seguem alguns dos mais relevantes modelos de interfaces multitoque utilizados no desenvolvimento de aplicações musicais:
4.1.1. Tablet
Dispositivo em formato de prancheta, que possibilita visualização de
imagens, textos, vídeos, áudios, web e entretenimentos com jogos. Incialmente
apareceram no mercado com sistemas semelhantes aos de computadores
________________
10
Disponível em:<http://pt.wikipedia.org/wiki/Ecrã_multitáctil>. Acesso em: 15 Nov.
2012.
22
pessoais (PCs), eram usados com o toque de uma caneta especial, mas só
foram popularizados com o lançamento do Ipad da Apple.
Normalmente tem como dispositivo de entrada principal a tela sensível
ao toque e é muitas vezes comparado a um computador, mas possui
configuração inferior e as tarefas executadas são mais simples, apesar de
ambos possuírem as mesmas funções. Os mais conhecidos tablets trazem em
sua configuração sensores acelerômetros, conexões bluetooth, Wi-fi, GPS e
memoria flash. Exemplo na figura 9:
Figura 9 – iPad (Tablet da Apple)
4.1.2. Smartphone
É um telemóvel com funções avançadas e tem como principais
características: conexão com redes de dados para acessar a web,
sincronização de dados com um computador pessoal e agenda de contatos
ilimitada. O aparelho de ultima geração pode ter um espaço superior a 64 gigas
e entre suas aplicações encontramos: filmadora, câmera digital, editores de
texto, planilhas eletrônicas, acesso a redes sociais e centenas de outros
aplicativos. Assim como os tablets alguns smartphones também trazem em sua
configuração de hardware, sensores acelerômetros, conexões bluetooth, Wi-fi e
GPS que são integrados a aplicativos instalados no dispositivo.
Assemelha-se muito a um tablete, pois além de sua grande capacidade,
também possui como dispositivo principal de entrada uma tela touch. Seu uso
no dia-a-dia é bastante conveniente, pois se integra com rapidez as atividades,
profissionais e recreativas, tornando-o um acessório indispensável. O
23
smartphone é portátil e sua bateria pode ultrapassar a de um notebook ou até
mesmo de um tablet.
As
distribuições
de
sistemas
operacionais
smartphones são: Android (Google), iPhone (Apple)
mais
utilizadas
nos
e Windows Phone
(Microsoft). Exemplo na figura 10:
Figura 10 – iPhone (Smartphone da Apple)
4.1.3 Mesa Multi-toque
A mesa multi-toque é um computador em forma de mesa, capaz de
interagir com dispositivos colocados em sua superfície e com tela sensível ao
toque. Utiliza um sistema de detecção de gestos e movimentos através de
câmeras infravermelho. Algumas câmeras captam os comandos, que são
interpretados e a imagem é mostrada na tela através de um sistema de
projeção.
As mesas mais conhecidas são: a mesa Surface da Microsoft, que
oferece uma tela de 30 polegadas sob uma tampa de plástico resistente.
Permite que as pessoas toquem e movam objetos na tela para as mais
diversas tarefas, de desenho digital a montar quebra-cabeças virtuais,
passando por pedidos de comida no cardápio online de um restaurante ou um
grupo de pessoas sentadas em torno da mesa poderá olhar as fotos
armazenadas em uma câmera digital; e a Reactable, que como já citada
anteriormente, é uma mesa redonda translucida com interface tangível. Utiliza
vários blocos que combinam diferentes elementos como sintetizadores, efeitos
24
e loops, a fim de criar composições flexíveis. Vemos o exemplo de mesa multitoque na figura 11:
Figura 11 - Reactable
A Reactable diferentemente das outras mesas multi-toque, foi feita
exclusivamente para uso em atividades musicais.
4.2. Gamepad
É um tipo de controlador de jogos para videogames que é segurado com
as mãos e utiliza os polegares para pressionar os botões de comando.
Tradicionalmente possui do lado esquerdo um direcional de quatro posições
(D-pad) ou um direcional analógico, usado nos gamepads11 mais modernos, e
do lado direito ficam os botões de comando. Com o passar dos tempos os
controles foram ganhando mais botões de comando, botões superiores
(shoulder buttons), gatilhos (triggers) e outros mais, visto o aumento na
complexidade dos jogos.
Percebemos que os jogos têm chegado ao mercado com gráficos cada
vez mais sofisticados, trazendo novas possibilidades de interação para o
usuário, na pretensão de tornar os jogos ainda mais realisticos, e para isso, os
gamepads também vão sendo modificados e as a interfaces gestuais vão
transformando o modo tradicional de jogar, inserindo gestos naturais no
repertório de comandos dos jogos.
Dentre
os
gamepads
citamos
alguns
dos
mais
utilizados
no
desenvolvimeto de aplicações músicais.
________________
11
Disponível em:<http://pt.wikipedia.org/wiki/Gamepad>. Acesso em: 15 Nov. 2012.
25
4.2.1. Wii Remote
Lançado pela Nintendo no fim de 2006, seu formato diferente lembra um
controle remoto comum, principalmente pela maneira que é manejado na
posição vertical. O controle possui 8 botões dentre eles um power e um Trigger
button, além do directional pad. Não há opção de Wii Remote com fio, sua
conexão é feita através de bluetooth e é alimentado por duas pilhas comuns.
Outros acessórios podem ser conectados ao Wii remote, um deles é o
NumChuck, desenhado para caber perfeitamente na mão do usuário e possui
dois botões sendo um deles Trigger button, além de um direcional analógico.
Os dois controles possuem sensores acelerômetros que medem aceleração e
inclinação em uma ou mais dimensão, reconhecendo movimentos em três
eixos X, Y e Z. Traz a possibilidade de uso com IR (Infravermelho), caso o
usuário adquira um sensor bar. Um outro acessório é o Wii MotionPlus, que
garante maior desempenho ao hardware tornando os comandos em tempo
real. O dispositivo aumenta a precisão dos movimentos e o jogador pode
utilizar um giroscópio, além dos acelerômetros já existentes, tornando a
reprodução dos movimentos mais fieis.
O Wii Remote é o coração do Wii e é nele que se encontra todo o
discurso da Nintendo que fala sobre o jeito revolucionário de jogar. Possui um
sistema de vibração e um pequeno autofalante que ajuda na interação com
alguns movimentos que provocam ruídos, como o choque entre espadas.
Figura 12 - NumChuck à esquerda e Wii remote à direita com Wii MotionPlus conectado em
baixo.
26
Figura 13 - Alguns gestos que podem ser captados pelo Wii remote.
4.2.2. PlayStation Move
Fabricado pela Sony Computer Entertainment e lançado em 2010, é um
controle para PlayStation 3 baseado em gestos. Quando comparado ao wii,
que possui muito mais tempo no mercado, ele é mais preciso nos movimentos
e na orientação.
A grande novidade deste acessório está na esfera luminosa e sua
função principal é fornecer a posição do acessório num espaço tridimensional.
O controle possui um sistema que é capaz de mudar a esfera em uma grande
variedade de cores, de acordo com o ambiente utilizado, criando contraste para
melhor distinção. Seu funcionamento se da em conjunto com uma câmera
“Playstation Eye” (evolução da EyeToy) mostrada na figura abaixo, que
reconhece a esfera e determina a distância em que ela se encontra da câmera
em função de seu tamanho relativo.
Fig.14 Move controller e camera Eye.
27
O dispositivo possui em seu interior sensores inerciais do tipo
acelerômetro e de velocidade que são utilizados para controlar movimento
rotação e movimento global. Possui ainda um magnetômetro que serve para
calibrar a orientação contra o campo magnético da terra, ajudando a corrigir
erros dos sensores inerciais. Os sensores de inércia são utilizados também
para cálculo de posição, quando a câmera não for suficiente.
Assim como o Wii Remote, o Move possui um controle suplementar
chamado de “PlayStation Move Controlador de Navegação” e é usado para
auxiliar em alguns tipos de jogos.
4.3. Câmeras de Detecção de profundidade
Entre as tecnologias que vem sendo utilizadas no desenvolvimento de
interfaces gestuais, as câmeras de detecção de profundidade têm sido
utilizadas na criação de diversas aplicações, desde instrumentos musicais, até
salas de cirurgia, criando novas maneiras de executar tarefas dispensando a
necessidade de contato físico com o instrumento de trabalho.
Para a detecção de profundidade podem ser utilizadas algumas
combinações de equipamentos diferentes, como: câmera e sensores de
profundidade, câmera e sistema de captura de imagens digitais ou ainda
câmeras 3d. Entre as câmeras de detecção de profundidade citamos a
interface que mais vem sendo utilizada em aplicações musicais.
4.3.1. Microsoft Sensor Kinect
A mais diferente das interfaces de controle para jogos, desenvolvida
para console de videogame de 7ª geração, não possui características de um
gamepad tradicional e trouxe mudanças de paradigmas na interação, que faz o
usuário imergir literalmente no cenário do jogo.
Desenvolvida pela empresa de tecnologia Microsoft, a interface é um
dispositivo de entrada usado primeiramente no Xbox 36012. Um sensor de
movimento que permite ao usuário manipular parâmetros sem precisar de
controles. Foi anunciado pela primeira vez no fim do primeiro semestre de 2009
sob o codinome "Project Natal". Possui por volta de 23 centímetros de
________________
12
Disponível em: <http://pt.wikipedia.org/wiki/Kinect> - Acesso em: 07 jul. 2012.
28
comprimento e vem equipado com: câmera RGB (Red, Green e Blue) que
permite o reconhecimento da face; sensor de profundidade, que permite o
escaneamento do ambiente em 3 dimensões; microfone embutido, que
consegue captar vozes e diferenciar ruídos externos; processador e software
próprio; e pode detectar 48 pontos de articulação do nosso corpo. Suporta
aplicativos criados com C + +, C # ou Visual Basic
No ano de 2011 foi lançado o SDK (software development kit) para
Windows 7, que incluía em seus recursos: fluxos de sensores raw,
rastreamento esquelético, recursos avançados de áudio e exemplos de código
e documentação13.
Figura 15 - Dispositivo Kinect
No segundo semestre de 2012 foi lançado um novo SDK14 do Kinect
para Windows que trouxe ferramentas e varias melhorias, dentre elas estão: o
fluxo de infravermelho está agora exposto na API (Application Programming
Interface), o que fornece aos desenvolvedores um espectro mais amplo de
cenários de testes; aumento da distância necessária para leitura de dados para
além de 4 metros; as configurações de cor da câmera agora podem ser
otimizadas para o seu ambiente; os dados do acelerômetro do sensor também
estão expostos na API, isto permite a detecção da orientação do sensor; novo
pacote de idioma para reconhecimento de voz; e novas APIs para converter
dados entre espaços de coordenadas: cor, profundidade, esqueleto.
________________
13
Disponível em: <http://en.wikipedia.org/wiki/Kinect> - Acesso em: 05 ago. 2012.
14
Disponível em:<http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspx>
- Acesso em: 15 Nov. 2012.
29
Apesar de tanta tecnologia empregada no desenvolvimento de interfaces
gestuais e na criação de novos instrumentos musicais, por que não é com
frequência que vemos músicos profissionais utilizando essas tecnologias em
performances musicais? Por que a maioria dos músicos não usam essas novas
interfaces? Talvez a tecnologia de interfaces gestuais que vem sendo
desenvolvida, seja apenas supostamente ligada à música. Mas porque não é
ligada a música?
Há diversas questões que podem ser discutidas em relação às
limitações encontradas no uso de interfaces gestuais para IMDs, mas não
iremos tratar esse problema de forma muito ampla, pois esta pesquisa não é na
área de antropologia. Vamos analisar apenas os problemas técnicos. A análise
será feita identificando o que são limitações de hardwares e limitações de
algoritmos.
30
5. Gestos Primitivos e Limitações Técnicas
Para entendermos como e quais gestos são utilizados na prática dos
instrumentos musical, analisaremos cientificamente como se dá o processo de
articulação de movimentos baseando-se na anatomia humana.
5.1. Anatomia Humana
Podemos Definir o Corpo humano como uma composição de esqueletos,
músculos, gordura e pele. E o esqueleto possui cerca de 200 ossos conectados
por articulações, constituindo a base de toda forma da superfície do corpo
Korein (1982, apud MACIEL, 2001). Uma articulação é a união entre dois ou
mais ossos e permite sua movimentação, porém nem todas as articulações são
moveis. Nas que são moveis a movimentação acontece entre um ou mais eixos
ou ainda em um plano entre os ossos Sheepers (1996, apud MACIEL, 2001).
5.1.1. Classificações das Articulações (Juntas)
As articulações fazem conexões entre estruturas e os seus segmentos
movimentam-se conforme a articulação lhe permite. Silva (1998, apud JUNIOR,
2004) nos diz que:
Uma estrutura articulada consiste de um conjunto de
segmentos conectados por articulações (juntas) que irão formar
um vínculo geométrico entre segmentos consecutivos. Nestas
estruturas, cada segmento pode girar em torno de sua
respectiva articulação segundo uma direção de rotação ou
translação permitida pela mesma, sendo que a estes
movimentos denominamos graus de liberdade (DOFs –
Degrees of Freedom).
Conforme Maciel (2001) As articulações humanas podem ser divididas
de acordo com sua mobilidade em:
31
Figura 16 – Tipos de articulações
A. Articulações Sinartroses
Apesar de serem consideradas imóveis, são muito importantes porque
elas têm a capacidade de responder a forças aplicadas, dessa forma podendo
absolver choques.
B. Articulações Anfiartroses
Tem movimento bastante limitado, mas são excelentes para absorção de
choques, pois sua camada cartilaginosa fornece um bom amortecimento
separando ou aproximando os ossos.
C. Articulações Sinoviais ou Diartroses
Dentre os tipos de articulações, as Diartroses são as que interessam a
essa pesquisa, pois representam o tipo de articulação mais comum encontrado
nos estudos de movimentos humanos.
32
Elas podem ser classificadas em:

Simples – Possui duas superfícies articulantes. Exp.: Quadril,
Tornozelo

Composta – Com três ou mais superfícies articulantes. Exp.:
Pulso

Complexa – Com mais de duas superfícies articulantes e disco
cartilaginoso (joelho) ou fibrocartilagem (clavícula).
Além destas, podemos também classifica-las de acordo com forma e tipo
de movimento:
Deslizante, Planar ou Artródia – Esses tipos de Juntas permitem o uso de
movimentos de translação e rotação moderados de osso contra osso. As
superfícies articulares são geralmente planas e pequenas e deslizam umas
sobre as outras. São permitidos seis graus de liberdade de movimento, porém,
todos com muito pouca amplitude. Exemplos de articulações planares estão
entre os ossos do carpo (na mão), do tarso e do metatarso (no pé).
Uniaxial – As juntas deste tipo são caracterizadas pela presença de apenas
um eixo de rotação no movimento (um grau de liberdade). Dois subtipos podem
ser considerados:

Pivô – Apresenta movimento angular em torno do eixo dado pelo
comprimento de um, permitindo que um osso gire em relação ao outro
osso onde o eixo é paralelo aos ossos (antebraço).

Dobradiça ou Ginglímo – uma junta deste tipo permite rotação em
torno de um eixo perpendicular ao comprimento dos ossos envolvidos. É
limitada à flexão e extensão (cotovelo).
Biaxial – Permite movimentação em torno de dois eixos, o que caracteriza a
presença de dois graus de liberdade no movimento.
Conforme sua geometria de encaixe pode ser dividida em três
subgrupos:
33

Selar – Permite os mesmos tipos de movimentos das juntas elipsoidais,
a diferença está na forma da articulação. Exp.: Carpo-metacarpiana do
polegar (Permite o movimento de oposição do polegar aos outros
dedos).

Elipsoide – Uma cabeça ovalada em um dos ossos se articula com um
encaixe também ovalado no outro osso. Exp.: rádio-cárpica (punho).

Condilartrose – Apresentam duas superfícies paralelas e arredondadas
que se articulam com superfícies planas. Exp.: fêmur-tibial (joelho).
Poliaxial – Este tipo de articulação permite movimento em torno de três eixos,
definindo três graus de liberdade. As articulações poliaxiais humanas, também
chamadas de Esferóides, consistem de uma cabeça esférica em um dos
ossos e um encaixe côncavo no outro. É o tipo de junta mais versátil, e permite
flexão/extensão, abdução/adução, rotação e circundação.
Na figura a baixo vemos alguns exemplos de articulações citados:
Figura 17 – Geometria das articulações
Na abordagem proposta por Maciel (2001) cada junta pode ter vários
DOFs e cada DOF corresponde a um eixo. Ele serve para designar e descrever
cada um dos movimentos individuais presentes em uma articulação. Podem ser
movimentos para frente ou para trás (eixo X), para cima ou para baixo (eixo Y),
para esquerda ou direita (eixo Z) 15, além de translação e rotação.
________________
15
Disponível em: <http://reiag.vilabol.uol.com.br/graus.htm>. Acesso em: 10 Jul. 2012.
34
Listagem das articulações humanas (Arendi et al, 1996):
Tabela 1 – Tabela de articulações
5.1.2. Cotovelo e antebraço
O cotovelo é uma articulação uniaxial do tipo dobradiça, que permite a
flexão e a extensão pela combinação de deslizamento e rolamento,
configurando um grau de liberdade. Os resultados de pesquisas onde foi
retirada a medida do ângulo de transporte mostraram valores médios de 5 a 19
graus, com diferença media entre homem e mulher 0 a 6 graus em favor delas.
35
Figura 18 – Articulação do antebraço
Estão localizados no antebraço cotovelo e articulação radioulnar que é
uma junção do rádio com a ulna, o que permite o rádio rodar em relação à ulna.
5.1.3. Punho e mão
Há um grande número de articulações encontradas na mão, começando
pelo punho a + articulação radiocarpal é classificada como elipsoide, com dois
graus de liberdade de movimento. Os movimentos de abdução a adução
ocorrem na articulação radiocarpal ao redor de um, eixo que passa pelo
capitato, sendo que o desvio em direção à ulna (adução) é aproximadamente o
dobro do desvio em direção ao rádio.
36
Figura 19 – Articulações do punho
A maior parte do movimento de flexão acontece na articulação
radiocarpal (cerca de 50 graus) e o restante acontece na junta médio carpal
(cerca de 35 graus). Também estão na mão as articulações entre os ossos do
carpo e os metacarpianos. Os dedos indicador, médio, anular e mínimo
apresentam duas articulações interfalageanas, enquanto que o polegar apenas
uma. Estas articulações são do tipo dobradiça ou trocleartroses, permitindo
apenas flexão e extensão. As articulações metacarpofalangeanas (MCF) do
segundo ao quinto dedos são do tipo condiloide. Nestas articulações são
permitidos flexão/extensão e abdução/adução.
5.1.4. Ombro
Os ossos encontrados na região do ombro são mantidos juntos por três
articulações: A clavícula articula-se com o manúbrio esternal na articulação
esternoclavicular; a clavícula e a escápula juntam-se na articulação
acromioclavicular; por fim, o úmero se une a escápula na articulação
glenoumeral.
37

Esternoclavicular - Do tipo sela, os movimentos desta junta se dão em
três eixos: Um para elevação e depressão da cintura escapular, outro
para retração/protação da cintura escapular e o ultimo para rotação
transversa da clavícula.
Figura 20 – Junta esternoclavicular

Acromioclavicular – Apesar de possuir poucos graus de movimentos
são essenciais para o movimento e funções normais do ombro.
Permitem a rotação da escapula de modo que a cavidade glenoide
(onde se encaixa o úmero) possa voltar-se para cima e para frente ou
para baixo, enquanto sua superfície costal permanece próxima ao tórax.

Glenoumeral – é uma juntura esferoide, que possui três graus de
liberdade de movimento. A capsula articular é frouxa para permitir uma
ampla faixa de movimentos. Partindo da posição anatômica o
movimento
de
flexão
ocorre
no
plano
sagital,
permitindo
aproximadamente 90 graus de movimento limitado pela tensão nos
ligamentos coracoumerais. Com o braço sendo colocado para trás, a
hiperextensão ocorre em amplitude de 40 a 60 graus.
38
Faloutsos (2001) Utilizou o modelo de um esqueleto 3D articulado para
desenvolver uma estrutura humanoide para a representação de um dublê
virtual. Estão representados por ossos dimensionados anatomicamente 16
segmentos, conectados por 15 juntas rotacionais, como ilustra a Tabela 2.
Tabela 2 – Modelo articulado
Tabela 3 – Limites e direção de propagação de cada DOFs.
Os DOFs de cada articulação estão sujeitos aos limites físicos impostos
pelo próprio corpo humano. Na Tabela 3 estão descritos os graus possíveis em
cada eixo contido nas articulações referente ao modelo da figura 16.
39
5.1.5. Mapeamento de Gestos
Depois da analise de alguns tipos de articulações encontradas em nosso
corpo humano, foi possível entender como se dá o processo mecânico de
movimentação de nossos membros e quais articulações são mais usadas.
Estando ciente que gestos musicais são feitos em sua maioria com a
utilização de mãos e braços com algumas exceções, foi realizada uma analise,
visando obter maior compreensão de quais articulações possibilitam tais
gestos. A partir das informações obtidas foi feito um pequeno mapeamento de
gestos baseando-se nas articulações dos membros superiores. Ombro, braço,
antebraço, pulso e mão.
a. Flexão e extensão do antebraço – Úmero-unar (uniaxial) – 1 DOF –
Articulação do cotovelo (flexão/extensão)
b. Movimentos de rotação com o antebraço – Rádio-unar proximal e
distal (uniaxial) – 1DOF – articulação do antebraço (rotação)
c. Movimentos com ombro e antebraço – Escápulo-umeral (poliaxial) – 3
DOFs – Articulação do ombro (adução/abdução, deslizamento, e
rotação)
d. Movimentos com o punho – Rádio-cárpica (biaxial) – 2 DOFs –
Articulação do punho (translação, abdução e adução)
e. Movimentos com o polegar – Carpo-metacarpiana (biaxial) – 2 DOFs –
Articulação da mão (abdução e adução)
f. Movimentos com os demais dedos – Carpo-metacarpiana (artródia) –
6 Plana DOFs – Articulação da mão (translação, flexão/extensão)
Existem ainda, outros gestos que poderão ser descritos e são derivados
dos mesmos a cima. Fazendo a junção de um ou mais destes, poderão resultar
em muitos outros.
40
5.2. Gestos Instrumentais
Visto que os sensores das interfaces digitais ainda não estão
suficientemente refinados e não conseguem captar movimentos curtos com
precisão, como por exemplo, os dedos, para tal estudo foram escolhidos
instrumentos musicais que utilizassem gestos mais largos, particularmente os
de percussão.
No intuito de relacionar gestos humanos, gestos possivelmente
reconhecíveis pelas interfaces e gestos usados na prática instrumental, será
feita uma descrição dos gestos usados na prática dos instrumentos de
percussão, como antes proposto, visto que utilizam gestos mais largos. Os
instrumentos de percussão são bastante numerosos, por esta razão, iremos
utilizar nesta descrição, apenas alguns instrumentos mais conhecidos.
5.2.1. Instrumentos de percussão
A família de percussão é bastante numerosa e em sua classificação,
segundo
Brindle
(1975),
divide-se
em
Idiofonicos,
Membranofonicos,
Cordofonicos e Aerofônicos.

Idiofones são instrumentos que seu próprio corpo vibra para
reproduzir o som, sem a necessidade de nenhuma tensão.
Exemplo:
Agogô, Cajón, carrilhão, chocalho, ganzá, maraca, marimba,
matraca, pratos, reco-reco, sinos, triângulo.

Membranofones são instrumentos que produzem som através de
membranas distendidas. Podem ser divididos ainda em: tambores
percutidos, pinçados, friccionados ou membranas cantantes.
Exemplo:
Alfaia, atabaque, caixa (instrumento), pandeiro, repinique, rebolo,
surdo, tambor, tamborim, tímpano, zabumba.

Cordofones são instrumentos percussivos em que uma corda é
tencionada para produzir o som. Exemplo:
Berimbal.
41

Aerofones são instrumentos cujo som é produzido por uma
massa de ar em movimento. Exemplo:
Apitos, buzina, efeitos em geral.
Foram escolhidos diversos instrumentos musicais pertencentes à
família da percussão, para serem analisados, com a finalidade de descrever
quais gestos são usados na prática dos mesmos, baseando-se no
mapeamento de gestos da seção 5.1.5. Como ilustra a Tabela 4.
Instrumento Musical
Movimentos
com o polegar
Movimentos com Movimentos Flexão e extensão
os demais dedos com o punho
do antebraço
Agogô
X
X
Alfaia
X
X
Movimentos de
rotação com o
antebraço
Movimentos com
ombro e braço
X
X
X
Berimbau
X
X
X
X
Bongô
X
X
X
X
Caixa
X
X
X
X
Caxixi
x
X
X
X
Cajon
X
X
X
X
Castanholas
X
X
X
X
X
x
Cuíca
X
X
X
Derbake
X
X
X
Djembê
X
X
X
Ganzá
X
X
Maracá
X
X
Conga
x
X
x
42
X
X
X
X
X
X
Pratos
X
X
Reco-reco
X
X
X
X
Sinos
X
X
Surdo
X
X
X
X
X
Tamborim
X
X
X
Timpano
X
X
Moringa
Pandeiro
Repique
Tabla
Triângulo
X
X
X
X
X
X
X
Xilofone
Zabumba
X
X
X
X
X
X
X
X
X
X
X
Tabela 4 – Tabela descritiva de instrumentos e gestos
Esta tabela foi gerada a partir da análise de dados dos instrumentos e
gestos. Após ter sido feito essa relação entre instrumentos e gestos, é
analisada outra questão que diz respeito a gestos possíveis de serem
reconhecidos pelas interfaces. Os mesmos gestos são reapresentados, porem
em vez de instrumentos, utilizaremos duas interfaces gestuais.
43
5.3. Análise de captação
Visualizamos que existem gestos que não são captados pelas
interfaces, principalmente pelo Kinect. O “X” encontrado na tabela, serve para
indicar os gestos possíveis a cada instrumento.
Tabela 5 – Tabela de interfaces
Depois de ter realizado toda a pesquisa, conseguimos perceber que há
uma demanda de gestos que não são captados pelas interfaces gestuais.
Esses gestos são usados na prática de diversos instrumentos de percussão e
sem eles os instrumentos virtuais perdem características importantes,
intrínsecas ao instrumento convencional. Essa falta de refinamento pode criar
dificuldades na Interação do músico com o instrumento virtual, fazendo-o
sentir-se inseguro diante da interface.
O primeiro resultado deste trabalho é uma confrontação do repertório de
gestos dos músicos e aquilo que os desenvolvedores podem criar hoje.
Concluímos então nessa primeira etapa, que há uma necessidade de melhorias
no desenvolvimento das interfaces gestuais, pois os recursos oferecidos por
elas devem primeiramente se basear em gestos utilizados pelos usuários na
prática musical.
Com os resultados descritos, de quais gestos mapeáveis são
tecnicamente
úteis,
captáveis
pelas
interfaces,
iremos
descrever
um
experimento onde foi avaliado esse subconjunto de gestos possíveis, por duas
interfaces gestuais.
44
6. Método
Chagas (2000) nos diz que questionários são utilizados em muitos
projetos como coleta e avaliação de dados e são muito importante na pesquisa
cientifica, porém (Stowell et al, 2009) nos diz que simples questionários não
são suficientes para avaliar IMDs, devido à subjetividade de uma experiência
musical. Nosso objetivo em identificar limitações nas interfaces está
relacionado à prática musical, sendo assim o método utilizado nesse
experimento é baseado em (Barbosa et al, 2011) que propõe uma metodologia
de avaliação qualitativa estruturada, baseada na analise do discurso (DA).
Estudos sobre interfaces musicais muitas vezes usam comentários livres,
entrevistas e são produzidos em cenário relativamente informal e apenas citam
ou relatam resumos, em vez de uma análise estruturada, gerando pouca
confiabilidade analítica.
(Stowell et al, 2009) acrescenta que análise do discurso não é um
método único, mas uma tradição analítica baseada no construtivismo social.
Abordagens têm sido desenvolvidas com o objetivo de esclarecer as relações
sociais de poder ou detalhes do uso da linguagem. Por tanto o interesse está
em entender os recursos conceituais exercidos na construção social de um
novo artefato interativo. Usando a analise do discurso, como parte de um
método qualitativo e formal que podem analisar questões como expressividade
e affordances16 para usuários de sistemas interativos musicais. Segundo ele,
estudos longitudinais também são proveitosos, porém possuem elevados
custos de tempo e recursos. Por estes motivos, escolhemos adotar as técnicas
da análise do discurso.
Pretendendo avaliar a interação das interfaces do ponto de vista do
usuário, propomos, com base no método de Barbosa (et al, 2011), realizarmos
um experimento, onde vários participantes com perfis musicais distintos fossem
orientados a usar as interfaces pela primeira vez.
________________
16
Affordance – quanto potencial a forma de um objeto tem, pra que ele seja manipulado
da maneira como foi projetado para funcionar. <http://pt.wikipedia.org/wiki/Affordance>
45
6.1. Coleta de dados
O recolhimento dos dados foi concluído a partir de três fases:
 Exploração livre: O usuário é orientado a usar a interface por algum
tempo sem restrições, à sua própria vontade.
 Exploração guiada: O usuário escuta algumas amostras de áudio com
intuito de indicar possibilidades, inspirando-se na amostra.
 Entrevista semi-estruturada: Nesta fase o usuário é incentivado a discutir
sobre a sua experiência realizada com as interfaces gestuais nos
momentos de exploração livre e exploração guiada.
6.2. Análise de dados
Na análise de dados, as informações obtidas no experimento foram
examinadas em três eixos: Controle temporal, variação timbrística e controle de
dinâmica. Nesta análise, utilizamos o método conhecido como análise do
discurso (AD).
6.2.1. Análise do discurso
A análise do discurso possui 5 etapas:
1. Transcrição – Neste passo todo material falado é transformado em texto.
2. Livre associação – etapa em que as impressões são anotadas para
posterior análise.
3. Discriminação – Etapa em que todo texto é quebrado em vários pedaços
e os elementos mais comuns são reconhecidos, fazendo menção das
terminologias usadas na entrevista.
4. Reconstrução do mundo do usuário – Etapa em que o analisador
constrói uma representação de cada experiência, na perspectiva do
usuário com base na lista de elementos mais comuns utilizados e suas
relações.
46
5. Exame do contexto – Por final a representação é comparada e
analisada.
Apesar da analise do discurso baseado em (Barbosa et al, 2011) possuir 5
etapas, concluímos a análise deste trabalho com êxito, sem o usar a
segunda etapa de “Livre associação”, sendo assim, as etapas foram
resumidas em 4.
47
7. Experimento
7.1. Design do experimento
Com o objetivo de identificar limitações na interação de duas interfaces
gestuais, o Sensor Kinect e o Wii remote, foi realizado um experimento, a fim
de coletar dados que nos possibilitasse criar um diagnostico, partindo do ponto
de vista do usuário. O experimento realizou-se no departamento de música da
Universidade Federal de Pernambuco.
7.1.1. Etapas do Experimento
O experimento foi dividido em duas etapas consecutivas:
I - Na primeira etapa:
As duas interfaces simulam diversos instrumentos de percussão e os
percussionistas interagem com elas enviando comandos através de gestos em
situações musicais diferentes como ilustrado na figura 20. Durante o
experimento foram avaliados critérios relacionados a controle temporal,
controle de dinâmica e variação timbrística.
II - Na segunda etapa:
Os usuários foram conduzidos a responder perguntas relacionadas à
experimentação das interfaces através de uma entrevista semi-estruturada
como mostrado na figura 20.
7.1.2. Repertório de gestos
O repertório de gestos, utilizado nas interfaces, foi mapeado baseandose em movimentos comuns usados na prática de instrumentos convencionais
acústicos. Os gestos escolhidos são comuns também a outros instrumentos de
percussão, visto que há instrumentos que pertencem à mesma família e
possuem características semelhantes. Por tanto usam as mesmas técnicas ou
um subconjunto delas. Alguns dos Instrumentos que usam baquetas, por
exemplo, tendem a utilizar técnicas que usam as mesmas articulações, assim
como os membranofones que são tocados com as mãos livres, só que com um
48
pouco mais de variações. Os gestos abaixo podem ser utilizados em diversos
instrumentos.
a. Flexão e extensão do antebraço – Úmero-unar (uniaxial) – 1 DOF –
Articulação do cotovelo (flexão/extensão)
b. Movimentos de rotação com o antebraço – Rádio-unar proximal e
distal (uniaxial) – 1DOF – articulação do antebraço (rotação)
c. Movimentos com ombro e antebraço – Escápulo-umeral (poliaxial) – 3
DOFs – Articulação do ombro (adução/abdução, deslizamento, e
rotação).
d. Movimentos com o punho – Rádio-cárpica (biaxial) – 2 DOFs –
Articulação do punho (translação, abdução e adução).
7.1.3. Usuários
Para avaliar a interação oferecida pelas interfaces foram convidados
músicos percussionistas profissionais que atuassem na área e possuíssem
diferentes perfis artísticos, visando obter um resultado mais satisfatório. Os
perfis eram três: universitários da área erudita, universitários da área popular e
percussionistas autodidatas. Passando pela mesma série de tarefas, cada
experimento levou cerca de quarenta e cinco minutos até sua conclusão.
Abaixo seguem algumas figuras mostrando alguns momentos do
experimento:
Figura 21 – à esquerda e a cima, o usuário testando o agogô no Wii remote, á direita o usuário
testa a conga no Kinect e em baixo outro usuário na entrevista semi-estruturada.
49
Figura 22 – Percussionista popular usando a Zabumba no Wii Remote.
Figura 23 – Equipamentos (Tripé com Kinect e alguns computadores)
Figura 24 – Perspectiva do usuário
50
7.1.4. Instrumentos de coleta de dados
Os dados foram coletados através de análise etnográfica, gravados com
câmera digital, gravador digital de voz e software de gravação midi, utilizado
para análise de possíveis atrasos encontrados durante as execuções musicais
tocadas pelos percussionistas. O computador utilizado para manipular os
softwares no experimento, era um MacBook da Apple. Foi escolhido o sistema
da Apple, por possuir menor quantidade de delay, que os demais sistemas. Os
loops foram gravados por uma guitarra fazendo ritmos e acordes. A síntese
sonora utilizada na simulação dos instrumentos foi a do GarageBand uma
“Digital áudio workstation” (DAW) desenvolvida pela Apple.
7.2. Descrição do Experimento (Coleta de Dados)
Na primeira parte, o usuário ao entrar na sala é explicado sobre como
será realizado o experimento e como funcionam as interfaces. Sempre era
deixado claro para cada usuário, que ele em nenhum momento estava sendo
avaliado, mas dada a sua experiência musical, desejávamos conhecer sua
opinião a respeito da interação oferecida pelas interfaces.
7.2.1 Performance com DMI
É apresentada a primeira interface, o Kinect. Nele foram mapeados
gestos para dois instrumentos percussivos: Um da família dos Idiofones –
Ganzá (tipo de chocalho) e um membranofone – Congas (tipo de tambor). O
Percussionista recebeu a instrução de que teria um momento livre (Free
exploration) onde ele poderia testar ritmos e reconhecer que gestos poderiam
ser utilizados no instrumento virtual. O momento livre tinha duração media de
dois minutos.
Em seguida o percussionista testava o instrumento sendo acompanhado
por um metrônomo em três andamentos diferentes (bpm - batidas por minutos):
90 bpm, 120 bpm e 160 bpm. Cada andamento tinha duração de trinta
compassos
por
vez.
Seguia-se
o
experimento
novamente
com
acompanhamento, porém não mais com o metrônomo e sim com uma
harmonia servindo de base. Para tal foram gravados loops com uma guitarra
elétrica fazendo ritmos de Baião em 80, 100 e 120 bpm; Frevo em 100, 140 e
51
160 bpm; Maracatu em 80, 100 e 120 bpm; Sambinha em 80 bpm e um ritmo
latino americano 120 e 140 bpm. Após as performances com cada instrumento
virtual, era feita uma sessão de comentários pelo usuário, falando sua opinião
sobre a interação do instrumento musical usando a interface. O mesmo ciclo se
repetiu com todos os instrumentos experimentados no Kinect.
Em seguida foi apresentada a segunda interface, os controles Wii. Nele
foram mapeados três instrumentos que utilizam baquetas, aproveitando a
formato de bastão e os sensores usados na interface. Os instrumentos
virtualizados pelo Wiimote foram dois membranofones: uma Caixa e uma
Zabumba (Tambores) e um idiofone: Agogô (Espécie de sino duplo oco).
O experimento com o Wiimote segue o mesmo ciclo de tarefas usadas
no Kinect. O usuário tem um momento livre (Free exploration), para testar a
caixa com os controles Wii, reconhecendo os gestos que podem ser utilizados
na interação. O tempo de duração teve em media dois minutos. Logo após ele
testa com acompanhamento do metrônomo nos mesmos andamentos usados
no teste do Kinect. Depois ele passa a experimentar a interface com
acompanhamento dos mesmos ritmos pré-gravados com a guitarra. Assim
como na primeira interface, o usuário após passar pelo ciclo de tarefas com
cada instrumento virtual, fez comentários sobre a experiência com aquele
instrumento, dando sua opinião com relação ao controle das interfaces.
Na web é possível visualizar a gravação de alguns trechos do
experimento, mostrando os usuários usando os instrumentos virtuais nas
interfaces gestuais17.
7.2.2. Entrevista semi-estruturada
Após terminar o experimento com as duas interfaces o usuário passava
a segunda fase do experimento, que de acordo com o método, era a entrevista
semi-estruturada. O tempo de cada entrevista custava em média de quinze
minutos e as questões eram baseadas na experiência do usuário com as
interfaces utilizadas.
________________
17
Disponível em: zabumba virtual <https://www.youtube.com/watch?v=7PfWE-V8lmk>,
conga virtual <https://www.youtube.com/watch?v=pVkJ_5_OyW0>, caixa virtual
<https://www.youtube.com/watch?v=6IZRyFQ7q4M>, agogô virtual
<https://www.youtube.com/watch?v=tfNcfcmkXPA> - Acesso em: 29 Dez. 2012.
52
7.3. Protocolos de experimento
Abaixo apresentamos as questões utilizadas na entrevista e o roteiro do
experimento em forma de fluxograma.
7.3.1. Tópicos abordados na entrevista

Qual sensação sentiu ao tocar essas interfaces?

Você sentiu algum tipo de delay?

Havia alguma diferença ao fazer gestos mais lentos ou mais rápidos e
contínuos em relação a atrasos?

Como você percebeu as diferenças de dinâmica e mudanças
timbrísticas?

Você teria interesse em possuir uma dessas novas interfaces musicais?

Você usaria em uma apresentação?

Você se sente confiante usando essas interfaces?

Que vantagens esses tipos de interfaces podem trazer a um músico?

O que poderia melhorar na interface?

O que você acha que essas interfaces acrescentam?
53
7.3.2 Fluxograma
Figura 25 – Fluxograma do roteiro usado no experimento
54
7.4. Análise de dados do experimento (Analise do discurso)
7.4.1. Transcrição
O material de áudio capturado foi transcrito e encontra-se disponível na
web17.
7.4.2. Discriminação
Neste experimento podemos perceber que os participantes não se
sentiram a vontade diante das interfaces e mesmo tendo conhecimento
informatizado e experiência musical no seu instrumento, levaram um bom
tempo para se adaptar a ideia de tocar em um modelo virtual de percussão. Ao
experimentar pela primeira vez as interfaces, os movimentos comuns,
utilizados
na
prática
do
instrumento
acústico
eram
lembrados
e
automaticamente gesticulados, buscando atingir a mesma sonoridade no
instrumento virtual, porém quando não conseguiam o retorno esperado, era
notório, o modo como se sentiam perdidos. Ao passar por essa experiência o
usuário 2 comentou:
“Me senti como se nunca tivesse tocado na
minha vida, parece que nunca toquei e não sei nada
sobre música (...) É diferente do contato com o
instrumento material então, mas a sensação foi essa
assim, estou mais perdido do que tudo aqui num é?”.
Isso acontece também, pela importância que os músicos dão a presença
do corpo do instrumento, porque ao tocar um instrumento convencional, além
de ter um retorno auditivo, ele tem retorno táctil, o que provavelmente deixa o
usuário sem confiança diante de uma interface que se manipula apenas por
gestos no ar. O limite em que o gesto deve parar é o ponto de ataque onde o
músico espera atingir, com tudo, para ele este ponto precisa ser previsível, pois
enquanto o músico toca, ele calcula o tempo em que deve soar à próxima nota
e o gesto que será utilizado deve fazer um percurso que atinja no tempo
previsto, o ponto de ataque. O usuário 4 chama de instrumento imaginário e
ainda salienta:
________________
17
Disponível em:
<http://www.4shared.com/rar/0WDAkDV4/Experimento_Percusso_interativ.html?> Acesso em: 23 Ago. 2012.
55
“Por que é aquela questão, aqui tá a cadeira, eu
calculo, automaticamente minha vista calcula onde eu
vou atacar e no imaginário isso dificulta.”
Algo que é bastante relevante para o músico é a variação de
sonoridades. Em todos os experimentos os percussionistas procuraram
variações que segundo eles era importante para execução de algum ritmo,
como por exemplo: a caixa no frevo, que necessita de acentuações o tempo
inteiro e sem elas, o ritmo fica sem sentido ou a zabumba no baião, que precisa
da variação timbrística da pele superior para fazer o swing. A percepção que o
músico tem ao tocar o seu instrumento é a mesma que ele usa para tocar em
um instrumento digital, por tanto ele procura usar os mesmo gestos para obter
as variações sonoras de timbre, altura e intensidade.
“Precisa
melhorar
algumas
coisas,
tipo
a
sensibilidade dos toques, tipo como tocar, a altura onde
tocar, entendeu? Os timbres também e também a
maneira de tocar.”
Apesar de nunca haver tido contato com interfaces gestuais todos
acharam a experiência prazerosa e tiveram vontade de adquirir o material,
desde que fossem corrigidas as falhas encontradas na interação. Dentre os
problemas citados pelos usuários, os mais relevantes foram: a falta de variação
de intensidade das notas, dada a imprecisão encontrada em alguns
movimentos; variação de timbres no mesmo instrumento e atrasos em
movimentos rápidos.
7.4.3. Reconstrução do mundo do usuário
Abaixo,
encontra-se
uma
breve
descrição
da
entrevista
semi-
estruturada, onde cada usuário descreve a sua experiência com as interfaces
em sua própria perspectiva. Essa fase é uma representação do mundo do
usuário e pode nos ajudar a entender limitações na interação entre usuário e
interface.
56
A. Usuário 1
O usuário 1 foi um músico de perfil erudito. É estudante de percussão
erudita na universidade e participa de grupos de orquestra. É informatizado,
mas não teve contato com instrumentos virtuais.
O usuário encontrou problemas com atrasos e variação timbrística,
porém achou que as interfaces podem resolver problemas referentes a custo
beneficio e transporte. Comentou que não era como se ele estivesse tocando
um instrumento real, mas que a tecnologia tem crescido bastante. Falou que
havia a necessidade de melhorar a sensibilidade da interface de como tocar e
onde tocar e possibilitar maior quantidade de timbres. O sentimento em relação
ao atraso não foi bom. Tocar com gestos mais rápidos aumentavam os atrasos,
quando não, os gestos eram mal captados. O usuário 1 teve interesse em
possuir as interfaces, pois vê vantagens em relação à logística de
instrumentos, mas não acredita que equipamentos eletrônicos possam produzir
som com a mesma qualidade de instrumentos acústicos. De seu ponto de vista,
as interfaces também podem contribuir, adicionando uso de novas técnicas,
visto que um instrumento que interage através de uma nova interface, mesmo
que possua timbres semelhantes a um instrumento acústico, devera oferecer
novas formas de controle.
B. Usuário 2
O usuário 2 foi um músico de perfil autodidata. Não estudou percussão
nas escolas de música, mas aprendeu sozinho e toda sua experiência musical
se deu participando de grupos musicais que tocam na noite e percorrem o
Brasil. Não teve experiência com instrumentos virtuais, mas tem simpatia por
novidades, desde que traga contribuições ao seu trabalho.
Apesar de achar que não há condições de tocar com os atrasos
encontrados, gostou da experiência e viu nas interfaces pontos positivos
referentes à performance. O usuário achou a novidade muito interessante,
principalmente por causa do problema de logística (transporte) que sofre o
percussionista e acredita que no mercado, as interfaces iriam ajudar bastante.
57
Comentou que a música por se só já é uma diversão e usando essas
ferramentas, é mais ainda, pois parece que está em um vídeo game, deixando
o ambiente de trabalho e ensaio mais descontraídos. Pra ele os atrasos
atrapalharam a métrica da música e se não tiver métrica, não há organização.
Ele percebeu que havia diferença na captação entre gestos mais lentos e mais
rápidos na maioria dos instrumentos, menos na zabumba. Ele sentiu falta da
dinâmica, pois independente da força colocada nos gestos, o volume sonoro
era o mesmo. Teve bastante interesse em possuir as interfaces e falou que
iriam contribuir com a performance dele no palco, possibilitando melhoras na
questão visual e cênica.
No início teve dificuldades, mas salientou a necessidade de conhecer
primeiro o equipamento, pra assimilar os gestos e no dia a dia domina-lo. O
usuário falou que as interfaces podem trazer contribuições tornando mais
prática a vida do percussionista tanto na logística quanto na performance, pois
no palco são muitos instrumentos que ele toca a toda hora e o equipamento
possibilitaria mais recursos e possibilidades.
C. Usuário 3
O usuário 3 foi um músico de perfil erudito. Aprendeu em escola de
música e estuda percussão erudita na universidade. Possui muita experiência
na área de percussão e participa de orquestra. Ele foi o usuário que mais se
sentiu indiferente ao usar as interfaces, pois não acredita que instrumentos
virtuais possam ser comparados e ter as mesmas qualidades encontradas nos
instrumentos convencionais.
Apresentou bastantes queixas, mas achou interessante para o uso na
iniciação musical, como instrumento didático. Ele descreveu a sua experiência
como divertida, mas confessou que ficou muito preocupado se iria conseguir ou
não tocar, pois era sua primeira experiência com interfaces gestuais. Comentou
que quando acompanhou o frevo no agogô, tentou fazer semicolcheias em
140bpm, mas o Wii remote não conseguiu acompanhar a articulação. Segundo
ele, no instrumento acústico, quando é necessário fazer ritmos mais rápidos, os
gestos são mais curtos e na interface, gestos curtos não são bem captados,
sendo necessário usar movimentos mais longos, gerando atrasos no ritmo. O
58
Usuário não sentiu diferenças de dinâmica no ganzá dizendo, porque jogando o
instrumento mais forte ou mais fraco o som era o mesmo. Sentiu falta de som
legato, fazendo um movimento giratório no ganzá inclinando-o (assemelha-se
ao pau de chuva), quando fazia este gesto soava staccato. Falou também que
havia interesse em possuir as interfaces, mas depois que fossem corrigidos os
erros analisados no experimento. Achou que seriam interessantes para uso na
iniciação musical, visto a atração e o crescimento do uso de computadores e
novas tecnologias pelas crianças de hoje. Quando foi perguntado se utilizaria
em uma apresentação gaguejou um pouco, mas disse:
“utilizaria
como
instrumento
didático,
como
instrumento profissional pra minha área realmente não!
A não ser que o projeto tenha alguma coisa haver com
tecnologia”.
Comentou que em sua área, o corpo do instrumento é muito importante
e preferia usar as interfaces num contexto de iniciação musical, como forma de
brincadeira. Só poderia usar profissionalmente as interfaces se elas fizessem
todos os movimentos possíveis que um instrumento convencional faz, mas ele
ainda não se sente confiante diante das interfaces por causa de suas
limitações.
Afirmou que o uso dessas interfaces em orquestra sinfônica não seria
possível, apenas em grandes shows, boates e outros eventos modernos.
Depois falou que apesar de tudo, já ouviu falar que inseriram em alguma
apresentação com orquestra, um dj e não duvida que compositores já estejam
escrevendo pra usar interfaces na orquestra, o que faria ele ser obrigado a se
adaptar (sorrisos). Em seu ponto de vista, a vantagem em usar a interface é
impressionar
o
publico
com
a
tecnologia,
não
tecnicamente,
nem
musicalmente, mas visualmente. Para melhoria da interação ele indicou:
variação de sonoridades, captação de mais movimentos, dinâmica e correção
do gesto de preparação com as baquetas. O usuário afirmou firmemente que, o
que as interfaces acrescentam é apenas visual, mas em se tratando de
sonoridade do instrumento e técnicas, não acrescentam nada, pelo contrario,
deixam a desejar.
59
D. Usuário 4
O usuário 4 foi um músico de perfil popular. Estudou em conservatório
de música e estuda percussão erudita e popular. Trabalha profissionalmente
como professor de música e participa de grupos como: bigband, orquestra e
grupos instrumentais. Nunca teve experiência com instrumentos virtuais, mas
possui conhecimento informatizado e gosta de novidades.
O usuário nunca tinha experimentado um instrumento virtual e chamou-o
de instrumento imaginário. Teve dificuldade em aplicar algumas técnicas,
porque de acordo com sua descrição, no instrumento acústico ele percebe o
corpo e calcula o golpe, já no virtual é diferente. Segundo ele, tudo novo
provoca esse tipo de reação, por tanto se sentiu perdido no início do
experimento, mas depois se adaptou. Percebeu atrasos e apontou como um
dos motivos, a falta de visualização do corpo como feedback visual, pois
algumas vezes levou a mão para baixo e esperava o som do golpe na pele,
mas vinha um pouco depois e outras vezes o som vinha quando estava
voltando a mão. Isso o deixou confuso, porque achou que o problema do atraso
talvez não fosse da interface, mas dele que não via onde ia atacar. O usuário
falou que as interfaces apresentam dificuldades de precisão quando são
usadas subdivisões, por isso que funcionam melhor em andamentos lentos. Se
imaginarmos um compasso quatro por quatro e tocarmos em semicolcheias as
interfaces iram apresentar imprecisão.
Quanto à dinâmica ele disse que havia dinâmica, mas não a variação de
dinâmica, a parte mais acentuada ou menos acentuada. O instrumento que ele
mais sentiu falta de variação de dinâmica foi a caixa, por ser um instrumento
que usa muito esse tipo de técnica, para fazer rudimentos e nuances. Sentiu
falta também na zabumba, pois caracteriza o balanço nordestino. O usuário
sentiu o interesse em possuir apenas o Wii remote para simular instrumentos
mais individuais e falou que o agogô e a zabumba casaram muito bem e que
usaria em apresentações por ser uma novidade e pelo aspecto futurista, mas o
usuário ainda não se sente confiante diante das interfaces. Diz-se defensor dos
instrumentos acústicos, mas não é contra o digital, desde que seja interessante
e vá somar ao seu set.
60
A vantagem que encontra nas interfaces é a logística, pois a junção de
vários instrumentos em um, permite que o músico só precise dos controles e de
um computador. As melhorias sugeridas foram: a dinâmica e a precisão do
ataque, pois tanto os percussionistas, quanto os bateristas são responsáveis
pelo bit (andamento) da música. Ele acredita que as interfaces podem
acrescentar ao músico a questão do novo para a performance em publico e
diminui o trabalho na vida do percussionista.
E. Usuário 5
O usuário 5 foi um músico de perfil popular. Estudou no conservatório e
atualmente estuda Licenciatura em música na universidade. Participa de
grupos populares e apesar de ter conhecimento informatizado e simpatia por
tecnologia, não possui experiência em instrumentos virtuais.
O usuário reclamou os atrasos e a falta de controle da dinâmica, mas se
sentiu bem com a sensação de liberdade e a possibilidade da troca de timbres.
Gostou muito da ideia de colocar diversos timbres sem ter a presença física
dos instrumentos e vê como bastante importante para bateristas e
percussionistas. Dependendo do instrumento, sentiu que notas mais rápidas
eram mais fáceis de executar e em outros mais difíceis. Não percebeu
diferença de dinâmica ao tocar a caixa e nem ouviu variação timbrística. O
usuário sentiu interesse em possuir as interfaces e usaria em apresentações
em público, pois achou que a sensação de liberdade que a interface traz ao
músico é fantástica. Ele se sentiria mais confiante de usa-la, após o
aperfeiçoamento da interação da interface. Ele achou que pensando numa
questão mais performática as interfaces trazem vantagens na liberdade de
tocar, de explorar timbres e de possibilidades para o percussionista. As
melhorias indicadas por ele são: aumento da sensibilidade de dinâmica e
timbre.
61
F. Usuário 6
O usuário 6 foi um músico de perfil autodidata. Como percussionista
participa de grupos populares e atualmente estuda luteria em instrumentos de
percussão. Nunca teve experiência com instrumentos virtuais, mas possui
simpatia pela área de tecnologia.
O usuário achou as interfaces visivelmente estranhas e não se sentiu
confiante diante delas, mas vê vantagem em ter vários timbres em um só
instrumento. Falou que a ideia é boa e apesar de não ser tão perfeito quanto
um instrumento acústico, consegue-se extrair boa sonoridade de alguns
instrumentos. Percebeu atraso apenas em alguns instrumentos e disse que no
agogô e na zabumba não ocorreram atrasos. Não sentiu muita diferença na
sonoridade entre gestos mais lentos e mais rápidos, principalmente nas congas
o som gerado era diferente dos gestos usados, não foi percebida diferença de
dinâmica. O usuário teve interesse nas interfaces e falou que dá pra um
percussionista fazer muita coisa, juntar vários instrumentos. Como já falado
antes, apesar de ser visivelmente estranha, usaria em apresentações com
alguns instrumentos. Ele não confiou na interface, devido ao atraso e alguns
instrumentos não possuírem boa interação, mas ainda pode confiar em alguns
instrumentos virtuais. O usuário vê vantagens em usar as interfaces, por
oferecer a possibilidade de juntar vários timbres em uma ferramenta, não
havendo necessidade de andar com tantos instrumentos. As melhorias
indicadas pelo usuário foram: melhorar a sensibilidade e corrigir a questão do
atraso. O usuário acha que o que as interfaces acrescentam ao músico é a
possibilidade de ter vários instrumentos em um só equipamento, usando um
computador.
62
7.4.4. Examinando o contexto
Conforme o contexto visualizado, todos os usuários sentiram bastante
dificuldade com relação à latência, além da sensibilidade funcionar melhor
com gestos largos, era perceptível a dificuldade relacionada a controle de
fluxo, que acontece, quando certa quantidade de comandos é executada em
série e o fluxo de dados faz atrasar o programa. Para percussionistas essa
situação é intolerável, pois segundo eles, a métrica rítmica fica comprometida,
não havendo condições de compensar o atraso, e tanto a bateria quanto a
percussão são os principais responsáveis pelo andamento rítmico.
Nenhum dos usuários conseguiu sentir variação de dinâmica e a
variação timbrística foi muito resumida. Fazendo com que houvesse queixas
sobre acentuação na performance rítmica. Percebemos que a acentuação é
responsável pelos rudimentos e nuances nos instrumentos solistas do naipe
de percussão, como a Caixa, o Agogô e a Zabumba. Sem a acentuação a
música não tem o balanço (swing)18. A maioria dos usuário se sentiram como
alunos iniciantes em percussão. Um dos percussionistas que era professor de
percussão e possuía bastante experiência, ao estar diante da conga virtual,
ficou totalmente perdido, parecendo que nunca tinha estudado música antes.
Segundo ele a falta do corpo fez muita diferença, pois através dele o
instrumentista recebe feedback táctil, que dá a certeza de que a ação alcançou
o instrumento.
Mesmo com toda atratividade existente nas interfaces gestuais, as
limitações encontradas na interação, trazem para os músicos insegurança,
criando uma espécie de preconceito a dispositivos digitais. Se no
instrumento convencional, onde normalmente eles manipulam bem, já
encontram recursos suficientes para a extração do som desejado, porque
trocar por outro artefato que por si só já é problemático?
Os instrumentos convencionais possuem repertórios de gestos que com
o passar de tempo foram sendo adquiridos, baseando-se na forma física de
cada instrumento e os instrumentos virtuais que vem sendo criados para
interfaces gestuais reutilizam esses repertórios de gestos, simulando
instrumentos acústicos, porém esses novos instrumentos podem acrescentar
________________
18
Swing – Característica encontrada na música que faz com que ela tenha uma
dinâmica envolvente. Geralmente induz ao desejo da dança.
63
novas formas de controle ao repertório já conhecido. Isto implica em novas
possibilidades sonoras, novos gestos, novas técnicas e novas performances.
Essa nova forma de controle vem com uma vantagem que não se encontra em
instrumentos acústicos, que é a escolha infinita de sons gerados, pois o
acústico depende das propriedades físicas de seu corpo, já um instrumento
virtual depende apenas da síntese e do algoritmo. Sendo assim a partir de um
gesto podemos dar possibilidade a um instrumento virtual fazer o que o
instrumento acústico não faria por causa das suas limitações físicas. Por
exemplo: fazer um glissando19 no piano ou um bend20 em um xilofone.
________________
19
Glissando – Forma suave de passagem de notas musicais de uma altura a outra,
feita normalmente deslizando.
20
Bend – Técnica usada em que se levanta uma corda do instrumento para chegar à
outra nota.
64
7.4.5. Mapa mental
Mapa-mental que representa de maneira estruturada elementos contidos
no discurso dos usuários.
Figura 26 – Mapa-mental baseado no mundo do usuário.
65
Neste mapa-mental a palavra chave utilizada foi “instrumento virtual”
porque no contexto em que se encontra a nossa pesquisa, as interfaces
gestuais têm sido utilizadas, para a criação e o desenvolvimento desses
instrumentos. Também porque quando os músicos interagiam com as
interfaces, eles não pensavam na interface em si, mas no instrumento virtual
que era utilizado no momento.
Os instrumentos geraram nos percussionistas diversas expectativas,
pois nenhum deles havia usado um instrumento virtual e por tanto não
imaginavam como seria a experiência. Ao experimentar cada instrumento
puderam perceber problemáticas que não eram comuns no instrumento
acústico, como: atrasos, gestos que eram mal captados, imprecisões nas
batidas, falta de feedback táctil, visual e as vezes auditivo, falta de timbres
ligados a técnicas habitualmente usadas no instrumento convencional e outras,
mas também perceberam que haviam vantagens em seu uso como novos
recursos oferecidos.
Percebemos
que
as
interfaces
gestuais
podem
trazer
muitas
contribuições e vantagens para o cenário musical. Dentre elas o uso de
Instrumentos virtuais pode ajudar na educação musical proporcionando
mobilidade e custo-benefício. Através de seu uso estudantes podem
experimentar vários timbres em um só dispositivo e carregar mais facilmente o
equipamento dentro de uma mochila escolar. Ele também permite mudanças
de performance e maior liberdade de interpretação ao musico, tendo em vista
não possuir as mesmas características físicas de um instrumento comum.
66
7.5. Análise dos resultados
Na interação com a música é necessário que aquilo que se toca em um
instrumento tenha uma resposta imediata. Dillon (2003, apud CALEGARIO,
2010) afirma que:
(...) a resposta imediata do sistema ao gesto de entrada
aumenta bastante o significado que a música tem para o
usuário que está interagindo com o sistema, em outras
palavras, com a resposta em “tempo real” existe uma maior
atração natural e envolvimento com a música por parte do
usuário.
Como proposto anteriormente um dos resultados da analise do experimento foi
realizada a partir de três critérios de avaliação:
7.5.1. Variação timbrística
As interfaces Kinect e Wii remote ofereceram uma variação timbrística
mínima, onde cada instrumento possuía mais de uma amostra de som, menos
a caixa. Essas amostras eram vinculadas aos gestos usados no instrumento
virtual. Os usuários testaram, mas acharam limitados porque o instrumento
convencional, demostrava muito mais possibilidades timbrísticas.
Isso acontece também, porque o mapeamento de gestos, que é
necessário ser feito, vai de gestos musicais usados no instrumento, até as suas
localizações espaciais. Quer dizer, além de a interface nos dar condições de
tratarmos como uma variável, o gesto da batida de uma baqueta na pele da
caixa, deve também nos dar condições de mapearmos a posição em que o
gesto acontece, se no centro da pele da caixa ou na borda ou até mesmo no
aro da caixa, pois no instrumento convencional essa variação é comum de ser
utilizada na prática do instrumento.
Esse tipo de problema que encontramos, diz respeito às limitações de
algoritmo e de hardware. Primeiro porque os algoritmos criados não pretendem
67
tratar esse problema e segundo porque muitos dos gestos utilizados pelos
músicos na interpretação com o instrumento fazem movimentos curtos que a
própria interface não consegue captar.
O timbre de um instrumento é um elemento muito importante para o
ouvido de um músico, pois o ele é um dos fatores que demostra a qualidade de
um instrumento. Ao manipular um instrumento virtual, o músico espera que seja
oferecido no mínimo a mesma sonoridade e possibilidades de um instrumento
acústico ou que as ultrapassem com novos recursos.
7.5.2 Variação de dinâmica
Ela se refere à variação de intensidade de volumes dentro da música ou
de ostinatos21 rítmicos, de algum instrumento, arranjo ou fraseado. Também é
responsável pelas notas acentuadas e pela não linearidade em uma música.
De acordo com o experimento os usuários acharam à dinâmica, estática,
nenhuma das duas interfaces ofereceu variação de dinâmica. Sendo assim, os
algoritmos utilizados não resolveram problemas de mapeamento de gestos
fracos e fortes.
Para ter controle de dinâmica a interface tem que possuir uma boa
sensibilidade, e um mapeamento de gestos que contenha algoritmos que
tratem desse critério. Uma das razões pelo qual gostamos mais de músicas
interpretadas por seres humanos do que por programas de computador, está
nessas variações de dinâmica, que é natural da interpretação humana.
Usando a caixa no Wii remote a falta de dinâmica fazia com que os
ritmos feitos pelos usuários ficassem sem expressão.
7.5.3 Controle temporal
O tempo foi um dos requisitos que mais deixou a desejar e a sua
importância para este tipo de instrumento é essencial, porque a percussão é
um dos responsáveis pelo do andamento na música. Usando o Kinect o atraso
foi bem maior, pois os sensores usados por ele possuem dificuldade em captar
movimentos curtos. A pesar do instrumento de percussão ser um dos
________________
21
Ostinato – é um motivo ou frase musical que é persistentemente repetido num mesmo
padrão rítmico. <http://pt.wikipedia.org/wiki/Ostinato> Acesso em: 18 ago. 2012.
68
instrumentos que possuem gestos mais largos, existem detalhes como
rudimentos que são feitos com movimentos curtos e são muito importantes
para a expressão musical. Quando foi usado o ganzá também ocorriam sons
com atrasos, porém o tipo de atraso que apareceu no ganzá, é um problema
chamado de fluxo de dados, acontecia quando o usuário utilizava os gestos do
ganzá de maneira mais rápida, fazendo com que as informações ocorressem
com maior intensidade. O Wii remote teve melhor resposta aos atrasos, mas
ainda assim apresentou o mesmo problema, só que com menos intensidade.
69
8. Diagnósticos e Direções de pesquisas
8.1. Diagnósticos
Esta pesquisa foi satisfatória e deu-nos condições de visualizar pontos
relevantes que nos ajudaram a entender o porquê dos músicos usarem tão
pouco, essas novas tecnologias. Além dos problemas detectados, ainda
existem outros que não foram citados por não fazer parte do nosso escopo de
pesquisa, como: falta de informação, preconceito com tecnologia digital, falta
de recursos financeiros que possibilitem a aquisição de equipamentos,
problemas relacionados a cultura e outros.
Apesar das interfaces se proporem a uma determinada interação, muitos
dos gestos utilizados pelos instrumentos não são captados com facilidade em
tempo real. A princípio podemos dizer que a dois pontos chaves nessa
questão. O primeiro é que existem limitações nas interfaces, que comprometem
uma série de atividades na interação musical; e o segundo é que os
desenvolvedores precisam criar melhores algoritmos.
Um dos problemas que os algoritmos podem tratar é a questão de
variação timbrística. Podemos ter excelentes amostras de sons, e inúmeros
tipos de instrumentos, mas se o mapeamento não for feito, levando em
consideração a localização das sonoridades, nunca vamos ter uma variação
timbrística real. Além de mapearmos os gestos usados na técnica instrumental,
devemos mapear as áreas sonoras mais relevantes do instrumento. No caso
de uma caixa, podemos ter sons do centro da caixa, da posição entre o centro
e a borda, da borda da caixa e do aro da caixa. Um tipo de algoritmo como
esse, deve resolver os problemas de variação timbrística, levando em
consideração que a interface tenha condição de captar os gestos mapeados
pelo algoritmo. Isso não é tão provável, tendo em vista a pouca sensibilidade
encontrada nas interfaces.
Nas interfaces não foi possível trabalhar com variação de dinâmicas e a
sensibilidade das interfaces não ainda está refinada. A dinâmica e a
sensibilidade podem estar relacionadas, porém a dinâmica deve ser tratada
com algoritmos que percebam diferenças de velocidade, pois um movimento
70
mais rápido deve proporcionar uma dinâmica mais forte e vice versa, em
quanto a questão da sensibilidade deve ser tratada no hardware, porque é ele
quem capta os gestos, sejam eles longos ou curtos. No momento em que as
interfaces forem mais sensíveis a pequenos gestos e os algoritmos
melhorados, a dinâmica ira funcionar perfeitamente.
Em relação a atrasos, as duas interfaces demostraram a presença de
latência, mesmo sendo usadas em um computador Mac, que em experiências
anteriores, demostrou possuir menor latência que os outros. O Kinect
apresentou sinais muito fortes de atraso, principalmente de resolução temporal,
que é a capacidade de tratar o fluxo. Sempre que foi necessário fazer notas
rápidas, as notas falhavam ou quando não, soavam um pouco depois,
misturando com a nota seguinte. O Wii remote apresentou menores atrasos
que o Kinect, tornando a experiência com ele, mais prazerosa aos
percussionistas, mas ainda assim apresentou problema de resolução temporal.
Os problemas de atrasos podem ser gerados tanto pelas interfaces, quanto
pelos algoritmos. Não foi percebido jitter22 na interação de nenhuma das
interfaces.
Para o músico, independente dos recursos que o instrumento venha
oferecer ou forma física, gesto novos ou antigos, visual, expertise necessário,
maior liberdade, novas técnicas, múltiplos timbres, etc... a coisa mais
importante a ser oferecida ao músico é uma interação que promova a sensação
de total controle da interface através de gestos naturais.
8.2. Direções de pesquisas
Estudando IMDs percebemos que as interfaces gestuais têm exercido
grande influência sobre a luteria digital. Nas pesquisas sobre desenvolvimento
de instrumentos digitais a uma tendência muito forte ao uso de interface
gestuais de diversos tipos. A criação de novos instrumentos virtuais tem se
baseado em sensores que facilitam a interação dos músicos através de gestos,
podendo ser utilizado para performance e para o uso didático.
________________
22
Jitter – é uma variação estatística do atraso na entrega de dados.
<http://pt.wikipedia.org/wiki/Jitter > Acesso em: 18 ago. 2012.
71
Nessa área é importante estudarmos:

Feedback táctil na ergonomia

Idiomatísmo dos instrumentos como referência para mapeamento
de gestos

Interface gestual como ferramenta didática

Mudança de técnicas instrumentais no uso de interfaces gestuais
(novas formas de controle)
Em nossas pesquisas futuras, não há intensão de trabalho em melhorias
de hardware, mas podemos ter interesse no futuro trabalhar ou não. O futuro
da nossa pesquisa é refazer o experimento com novos questionários, agora
incorporando novos gestos e comparando com outra interface. Por exemplo: O
PlayStation Movie.
72
REFERÊNCIAS
ARAÚJO, C. R. Uma Proposta de Ferramenta de Apoio à Educação Musical
Via Web Usando Java e XML. 2002. 118 p. Dissertação (Mestrado) –
Departamento de Comunicações, Faculdade de Engenharia Elétrica e
Computação, Campinas, 2002.
ARENDI, C. F.; DUARTE, T. P. Princípios de Anatomia Humana. São Paulo;
CI, 1996 pg.112.
BRINDLE, Reginald Smith. Contemporary Percussion. Oxford University Press:
London, ISBN 0-19-318802-3, 1975.
BARBOSA, J.; CALEGARIO, F.; MAGALHÃES, F.; CABRAL, G.; TEICHRIEB,
V.; RAMALHO, G. Towards an evaluation methodology for digital musical
instruments considering performer’s view: a case study. In PROCEEDINGS OF
THE 13TH BRAZILIAN SYMPOSIUM ON COMPUTER MUSIC (SBCM’11),
Vitória, ES. Brazil, 2011.
Bongers, B. “Physical Interfaces in the Electronic Arts. Interaction Theory and
Interfacing Techniques for Real-time Performance.” In M. Wanderley and M.
Battier, eds. Trends in Gestural Control of Music. IRCAM - Centre Pompidou,
pp. 41-70, 2000.
BOULEZ, Pierre (1977) “Technology and the Composer”, Language of
Electroacoustic Music. Ed. Simon Emmerson, London: Macmillan Press, 1986,
pg. 5-14.
BOULEZ, P. GERZSO. A. Computers in Music. Scientific American, v. 258,
n. 4. 1988.
BOULEZ, P. e GERZSO, A. Computers in music. Scientific American, Paris, v.
258, apr. 1988. Disponível em:
<http://articles.ircam.fr/textes/Boulez88c/index.html>. Acesso em: 23 jun. 2012.
Cadoz, C. “Instrumental Gesture and Musical Composition.” In Proceedings of
the 1988 International Computer Music Conference. San Francisco,
International Computer Music Association, pp. 1-12, 1988.
CANDÉ, Roland de. História universal da música v.1. 2 ed. São Paulo: Martins
Fontes, 2001. ISBN 8533615000
73
CORRÊA, A. G. D. A Criatividade através da expressão musical: uma interface
gestual para composição musical interativa. Novas Tecnologias na
Educação, CINTED-UFRGS, v.2, n. 2, Nov. 2004.
CORREA, A.G.D., NETO, O.B., e LOPES, R.D. MusandScene: uma Interface
Gestual de Expressão e Criação Musical no Auxílio ao Aprendizado de Música
em Educação Especial. In: XXV Congresso da Sociedade Brasileira de
Computação, 25, 2005, Rio Grande do Sul. Anais…Canelas e São Leopoldo,
2005.
DELALANDE, F. La gestique de Gould. I n Glenn Gould Pluriel. Louise
Courteau, editrice, pp. 8 5-111, 1988.
DEARLING, Robert (Ed.). The Encyclopedia of Musical Instruments. Nova York:
Smithmark Editors, 1996.
FALOUTSOS, Petros; PANNE, M.; TERZOPOULOS, D. “The Virtual Stuntman:
dynamic characters with a repertoire of autonomous motor skills”. Elsevier
Science Ltda, Computer & Graphics 25, pp. 933-953, 2001.
FICHEMAN, Irene K. Aprendizagem colaborativa a distância apoiada por meios
eletrônicos interativos: um estudo de caso em educação musical. Dissertação
(Mestrado em Sistemas Eletrônicos). São Paulo, Escola Politécnica da USP,
2002.
GOHN, Daniel. A tecnologia na música. In: XXIV CONGRESSO BRASILEIRO
DA COMUNICAÇÃO, 24, 2001, Mato Grosso do Sul. Anais…Campo Grande,
2001.
HEWETT, B. et al. Curricula for Human-Computer Interaction. 1996. Disponível
em: http://old.sigchi.org/cdg/cdg2.html#2_1. Acesso em: JORDÀ, Sergi. “Digital
Lutherie: Crafting musical computers for new musics' performance and
improvisation.” Ph.D. Thesis, Universitat Pompeu Fabra, 2005.
HUMMELS et al. An intuitive two-handed gestural interface for computer
supported product design. 1997. Disponível em:
<http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.106.2815>. Acesso
em: 02 dez. 2011.
IAZZETTA, F. A Música, o Corpo e as Máquinas. Opus: Revista da Associação
Nacional de Pesquisa e Pós-Graduação em Música, IV(4), 27-44, 1997.
JONES, Steve. Rock Formation: music, technology, and mass communication.
Newbury Park: Sage Publications, 1992.
KOREIN, J. U.; BADLER, N. I. Techiniques for Generating the Goal-Directed
Motion of Articulated Estructured. IEEE Computer Graphics and Applications,
Los Alamitos, v.2, n.9, p.71-81, 1982.
74
MARINHO, L. P. GAL: Uma Linguagem de Domínio Específico Para Jogos
Multi-Toque. 2010. 51p. Trabalho de Conclusão de Curso (Bacharel em
Computação) – Programa de Graduação em Ciência da Computação,
Universidade federal de Pernambuco, Pernambuco, 2010.
MILETTO, E. M.; COSTALONGA, L. L.; FLORES, L. V.; FRITSCH, E. F.;
PIMENTA, M. S.; VICARI, R. M. (2004). Introdução à computação musical. IV
Congresso Brasileiro de Computação
Mialichi, J. R. e Manzolli, J. (2002) “Estudo e Desenvolvimento de Interface
Gestual para Composição Interativa”, Projeto de Iniciação Científica – NICS –
Unicamp.
MACIEL, A. “Modelagem de Articulações para Humanos Virtuais Baseada em
Anatomia”. Dissertação de Mestrado, PPGC da UFRGS, Porto Alegre, 2001.
MIRANDA, Eduardo Reck; WANDERLEY, Marcelo. New Digital Instruments:
control and interaction beyond keyboard. Middletown: A-R Editions, 2006.
PANSA, A. et al. Teclado Virtual. Monografia apresentada ao Programa de
Graduação em Engenharia Elétrica – EPUSP, 2004.
ROVAN, J., M; WANDERLEY, SDubnov; DEPALLE, P.. Instrumental Gestural
Mapping Strategies as Expressivity Determinants in Computer Music
Performance. In: Proceedings of the AIMI International Workshop Kansei, The
Technology of Emotion. Genoa: Associazione di Informatica Musicale Italiana,
pp. 68-73, 1997.
SANCHO, Juanna M. Introdução: sentido e organização do texto. In: SANCHO,
Juanna M. (Org.). Para uma tecnologia educacional. Trad. Beatriz A. Neves.
Porto Alegre: ArtMed, 1998. p. 17-22.
SCHLOSS, W. A. Recent Advances in the Coupling of the Language MAX with
the Mathews/Boie Radio Drum. In: PROCEEDINGS OF THE 1990
INTERNATIONAL COMPUTER MUSIC CONFERENCE. San Francisco,
International Computer Music Association, pp. 398-400, 1990.
SILVA, M.B. Novas tecnologias de informação e comunicação na educação
musical: um estudo preliminar. 2011. 53 f. Trabalho de conclusão de curso
(Especialização em Metodologia do Ensino da Música) – Pró-diretoria de Pósgraduação Latu Sensu, Universidade Internacional de Curitiba, Paraná. 2011.
STOWELL, D.; ROBERTSON, A.; BRYAN-KINNS, N.; PLUMBLEY, M.D.
Evaluation of live human–computer music-making: Quantitative and qualitative
approaches. International Journal of Human-Computer Studies, v.. 67, p. 960975, nov. 2009.
75
TRALDI, César Adriano. Interpretação mediada & interfaces tecnológicas para
percussão. 2007. 128 f. Dissertação (Mestrado em Música) – Programa de
Pós-Graduação em Música, Universidade Estadual de Campinas, São Paulo,
2007.
WANDERLEY, M. M. (2006). Instrumentos Musicais Digitais: gestos, sensores
e interfaces. In: Beatriz Ilari (ed.) Em Busca da Mente Musical. Curitiba: Editora
da Universidade Federal do Paraná.
<http://idmil.org/_media/wiki/instrumentos_digitais_final.pdf>
WANDERLEY, M. M. Projeto e utilização de instrumentos musicais digitais. In:
KELLER, D. e BUDASZ, R. Criação musical e tecnologias: teoria e prática
interdisciplinar. Goiânia: ANPPOM, 2010. P. 70-96.
WELTER JUNIOR, Ademar; HOUNSELL, Marcelo da Silva. Representação de
Humanos Virtuais. Revista Eletrônica de Iniciação Científica. 4(1):1-20, 2004.
ZUBEN, Paulo. Música e Tecnologia: o som e seus novos instrumentos. São
Paulo: Irmãos Vitale, 2004.
ZUFFO, M. K. (2001). “A Convergência da Realidade Virtual e Internet
Avançada em Novos Paradigmas de TV Digital Interativa”, Tese de Livre
Docência apresentada à Escola Politécnica da Universidade de São Paulo.
76