Captura Multimídia em Ambientes Educacionais Instrumentados:
Uma proposta de arquitetura, seu modelo de comunicação e
interface de acesso
Autor: Hiran Nonato Macedo Ferreira1 ,
Orientador: Renan Gonçalves Cattelan1
1
Programa de Pós-Graduação em Ciência da Computação
Universidade Federal do Uberlândia (UFU)
Uberlândia – MG – Brasil
[email protected], [email protected]
Nível: Mestrado
Ano de ingresso no programa: 2010
Época esperada de conclusão: Fevereiro / 2012
Resumo. Aplicações de captura e acesso (C&A) exploram o paradigma de computação ubíqua para dar apoio à captura automática de informação em experiências
ao vivo e à correspondente geração de documentos passíveis de armazenamento, recuperação, visualização e extensão ao longo do tempo. Um problema trazido por essa
classe de aplicações é a necessidade quase que ilimitada de recursos computacionais
e de comunicação para o armazenamento, o processamento, a distribuição e a recuperação das imensas quantidades de informação produzidas. A Web, principalmente,
e a nova plataforma brasileira de TV digital emergem como promissores canais para
a distribuição, o processamento e a extensão de informação proveniente de atividades
de captura. Este trabalho visa explorar conceitos de captura automatizada aplicados
à autoria de conteúdo multimídia, bem como a criação de mecanismos para comunicação e acesso às informações produzidas.
Palavras-Chave. Computação ubíqua, Captura e acesso, Captura multimídia, Ambiente de ensino instrumentado.
1. Introdução e Motivação
Conceito elaborado por Weiser [Weiser 1991] no final dos anos 1980, computação ubíqua estabelece um novo paradigma de interação usuário-computador em que as pessoas são auxiliadas
transparentemente em suas atividades e tarefas por meio de sistemas computacionais incorporados e integrados ao ambiente.
Um dos usos potenciais de ambientes instrumentados com dispositivos de computação
ubíqua consiste no registro de experiências ao vivo e na posterior disponibilização, para acesso,
do conteúdo capturado. Experiências envolvendo interações entre humanos, tais como aulas e
reuniões, baseiam-se na constante produção e troca de informação. Devido a isso, frequentemente empregam-se tempo e esforço para registrar o conteúdo dessas experiências. Parte desse
conteúdo pode ser capturada de modo automático, produzindo artefatos que, posteriormente,
possibilitem a reconstituição da experiência. A ideia é utilizar ferramentas especializadas na
tarefa de registrar informação — os computadores — e permitir que as pessoas se concentrem
na síntese e na compreensão da experiência propriamente dita, com total confiança de que os
detalhes estão sendo registrados e estarão disponíveis para consultas futuras.
Aplicações de C&A têm o potencial de simplificar o processo de autoria de documentos
multimídia à medida que permitem a combinação e a sincronização automáticas de artefatos
digitais coletados do ambiente durante atividades humanas apoiadas por sistemas computacionais.
2. Trabalhos Relacionados
Um ambiente de computação ubíqua compreende a implantação de uma arquitetura computacional extensa e complexa, sofisticados canais para o fluxo de dados e de controle, e interfaces
externas que facilitem a interação com o sistema [Modahl et al. 2004]. No novo cenário imposto
pela multiplicação e disseminação de dispositivos computacionais de uso pessoal e coletivo,
há a oportunidade para a incorporação de aplicações de software que explorem a capacidade
computacional instalada para apoiar as atividades humanas em andamento, facilitando novas
formas de colaboração e interação entre seus participantes e permitindo o registro dos acontecimentos, a geração de documentos que possibilitem sua reconstituição e o compartilhamento dos
artefatos capturados. O problema de captura e acesso contempla ainda aspectos de modelagem
e prototipação de aplicações, desenvolvimento de abstrações para comunicação entre componentes distribuídos e questões sobre o armazenamento, recuperação e extensão da informação
capturada.
Entre as principais infra-estruturas de software utilizadas para registros de informações
automaticamente é a SmartClassroom [Shi et al. 2003], uma das grandes aplicações de captura
e acesso que teve sucesso. Essa aplicação utiliza técnicas de visão computacional e reconhecimento de voz integradas em um sistema multimídia para dar suporte a educação a distância.
A sala de aula é composta por câmeras, microfones e SmartBoard. Esses dispositivos podem
prover aos alunos a noção de uma sala de aula 3D.
Outro caso de sucesso na literatura é o CAS [Portela and Cerqueira 2007], uma arquitetura formada por componentes de captura de mídias em ambientes instrumentados que permite
a produção de documentos interativos a partir atividades educacionais. Através de uma interface web o usuário pode fazer o gerenciamento de eventos, bem como especificar qual conteúdo
fará parte do contexto a ser apresentado.
CollaBoard [Kunz et al. 2010] é um sistema que combina conferencia de áudio e vídeo
com suporte a compartilhamento de artefatos entre colaboradores remotos. Os artefatos criados
pela captura são editáveis por todos os colaboradores. O sistema oferece suporte a comunicação
corporal, como: gestos, poses e olhares. A imagem dos colaboradores são capturadas através
de uma câmera que é posicionada atrás da tela.
TERAKOYA [Nishiuchi et al. 2010] é um sistema colaborativo de aprendizado que auxiliam estudantes a estudarem em qualquer local no campus e no dormitório de uma instituição
de ensino permitindo que eles interajam em tempo real com seus professores. Esse sistema
é composto por Tablets PCs e componentes de software que permitem a colaboração entre os
diversos Tablets na rede. A tela do PC do professor é compartilhada com a tela do PC dos
alunos. O sistema pode permitir ou restringir que alunos façam anotações sobre o conteúdo do
professor.
Outro software de captura e acesso em ambientes ubíquos que se destaca é o ICLASS
[Pimentel et al. 2007], que é capaz de gravar uma ampla variedade de artefatos de informação,
incluindo traços e slides anotados em uma lousa eletrônica, áudio, vídeo e páginas Web, produzidos durante uma aula presencial em uma sala de aula instrumentada. Como resultado, ao
final da aula, é produzido um documento XML integrando os diferentes fluxos de mídia, o que
permite aos usuários do sistema posteriormente reverem a experiência por meio de documentos
HTML estáticos ou reproduzirem-na como uma animação SMIL.
Ferramentas como whiteboard têm se tornado ícones para a comunicação em diversos
domínios de aplicações. Isso instigou pesquisadores a desenvolverem uma infra-estrutura que
explora os potenciais da captura e acesso na computação ubíqua juntamente com os recursos
da whiteboard. Um exemplo de uma ferramenta desse tipo é a ReBoard [Branham et al. 2010],
um sistema que é capaz de capturar imagens de uma whiteboard e torná-las acessíveis através
de um conjunto de ferramentas centradas no acesso do usuário.
A ReBoard captura as imagens através de duas câmeras de alta resolução próximas a
whiteboard. Usuários podem acessar as imagens da whiteboard através de uma aplicação Web
ou através de um dispositivo chamado Chumby. Com a ReBoard, os usuários podem imprimir,
enviar email, realizar downloads e compartilhar imagens.
O uso de plataformas P2P em sistemas de computação ubíqua não é completamente
novo. Por exemplo, eComp [Kameas et al. 2002] centra-se na concepção de redes P2P para
objetos do cotidiano. eComp é um sistema de mensagem descentralizado baseado em XML
que abstrai os protocolos de comunicação e provê serviços através de interfaces bem definidas.
Similar a nossa proposta, esse sistema não requer uma infra-estrutura fixa com outras entidades
e sim uma comunicação através de peers na rede.
Barolli and Xhafa apresenta o JXTA-Overlay [Barolli and Xhafa 2011], um middleware
para sistemas de distribuições e colaboração. JXTA-Overlay permite a integração de dispositivos finais, como sensores e computadores pessoal/móvel, provendo transparência e segurança
para compartilhar, contribuir e controlar recursos disponíveis. JXTA-Overlay compreende um
conjunto de operações: descoberta de peer, alocação de recursos, compartilhamento de dados/arquivos, mensagens instantâneas, entre outros serviços. Tais operações podem ser trocadas
entre peers conectados e suportar diferentes tipos de aplicações relacionadas com atividades colaborativas.
Depois das informações capturadas e armazenadas, é necessário prover aos usuários formas eficientes de acessar o conteúdo. Esta parte dos trabalhos relacionados refere-se principalmente a esse propósito. Um dos trabalhos pioneiros que refere-se a context-aware é [Dey 2001]
onde o autor provê uma definição operacional da noção de contexto e apresenta a arquitetura
geral para construção de aplicações de context-aware. Em [Suryanarayana and Hjelm. 2002] os
autores discutem o papel de perfis dentro da arquitetura web.
O trabalho de [Kärger et al. 2008] é muito próximo do nosso no sentido que os autores propõe um sistema para pesquisar os recursos de aprendizagem que melhor corresponda
as preferências do usuário. Eles usam uma extensão do RDF query language SPARQL permitindo especificar soft constraints na forma de preferências. O nosso trabalho, além de tratar
as soft constraints trata também as hard constraints, que são restrições impostas pelo contexto
de acesso.
3. Contribuição do Trabalho
Esta proposta visa desenvolver e implantar uma infra-estrutura de computação ubíqua para a
captura automatizada de atividades de ensino presencial em uma sala de aula instrumentada,
produzindo conteúdo multimídia passível de apresentação em diferentes formatos. Além do
planejamento e implantação das instalações necessárias ao ambiente instrumentado, a proposta
contempla o desenvolvimento e a adaptação de componentes de software responsáveis pela captura dos diferentes fluxos de mídia disponíveis no ambiente e na criação de um arcabouço de
comunicação apropriado para apoiar atividades de armazenamento e sincronização. As ferramentas para comunicação não se restringem ao contexto de captura e acesso mas poderão ser
facilmente adaptadas para outros domínios em computação ubíqua, pois possuem capacidades
de descobertas e adaptações automáticas.
Espera-se que o conteúdo produzido, individual ou colaborativamente, de modo personalizado e em variados contextos, seja integrado, sincronizado e codificado em HTML (para
apresentação na Web) e em linguagem NCL [Silva et al. 2004] (padrão do SBTVD para programas declativos interativos). Associada a uma infra-estrutura de apresentação com suporte a
preferências do usuário, a informação resultante pode ser, posterior e parcialmente, personalizada e empregada em cenários de ensino à distância.
4. Metodologia e Estado da Pesquisa
A pesquisa está sendo desenvolvida sobre uma abordagem exploratória. Segundo Wazlawick
[Wazlawick 2009] essa abordagem é adequada a domínios que são necessários realizar estudos
de caso e análises qualitativas. Paralelamente a essa abordagem, tem-se o enfoque experimental, que é o método de pesquisa adequado à computação ubíqua [Weiser 1993]. Serão construídos protótipos funcionais da infra-estrutura necessária em quantidade suficiente para depurar
a viabilidade dos sistemas. Algumas experiências tem mostrado que quando os protótipos de
aplicação tem sucesso, deve-se começar a investigar as abstrações de projetos relevantes e implementar soluções que contemplem tais abstrações [Truong 2005]. Serão realizadas também
análises de usabilidade buscando identificar o quão simples e intuitiva serão as interfaces e a
interação com a infra-estrutura desenvolvida.
De acordo com Abowd&Mynatt [Abowd and Mynatt 2000], o processo de captura e
acesso se subdivide em 4 fases: pré-produção, captura ao vivo, pós-produção e acesso. Especificamente, neste projeto, para a fase de pré-produção do material, pretende-se definir uma
taxonomia adequada ao domínio de gerenciamento de conteúdo educacional e criar uma interface gráfica apropriada para o provimento dessas informações. Para a fase de captura ao vivo,
pretende-se fornecer ao usuário a funcionalidade de anotação do conteúdo, permitindo a extensão do mesmo com metainformação passível de associação ao modelo de perfis e preferências.
Para a fase de pós-produção, pretende-se criar ferramentas para geração automática de conteúdo
para apresentação em diversos formatos, como: HTML, por sua ubiquidade na Web, e NCL,
para apresentação na plataforma de TV digital interativa. Ainda nessa fase, pretende-se criar
Figura 1. As quatro fases do processo de captura e acesso.
protocolos que auxiliem na transferência do conteúdo capturado. Como a infra-estrutura proposta pode disponibilizar-se de mais de um serviço de armazenamento, os protocolos também
serão responsáveis por realizar a sincronização de informações entre esses serviços. Para a fase
de acesso, pretende-se criar uma interface de busca para o conteúdo capturado que personalize os resultados apresentados ao usuário de acordo com seu perfil, o que se dará por meio do
suporte a preferências. A Figura 1 ilustra as quatro principais fases deste projeto.
Para a etapa de pré-produção foram desenvolvidos protótipos funcionais para professores inserirem informações de contexto referente ao conteúdo a ser capturado. Esses protótipos foram desenvolvidos em plataforma web, possibilitando que professores fizessem o acesso
independente do local onde estejam. Java foi a linguagem escolhida para o desenvolvimento
dos protótipos juntamente com um banco da dados PostgreSQL.
Para a etapa de captura ao vivo está sendo desenvolvido um protótipo de software que
será integrado com projetor, lousa eletrônica microfone e câmera de vídeo. Para cada um desses
equipamentos, será desenvolvido um componente de software correspondente, responsável pela
captura do fluxo de mídia associado - slides e anotações na lousa, áudio do microfone e vídeo a
partir da câmera. Esses fluxos serão passados para a etapa de pós-produção que será encarregada
de processar e sincronizar a informação capturada pelos mesmos, produzindo automaticamente
documentos hipermídia que permitam a reprodução da experiência, no caso uma aula, com relativo grau de fidelidade. Os componentes de software que produzem os documentos hipermídias
já foram desenvolvidos e atualmente estão sendo testados e corrigidas eventuais falhas.
Após a etapa de pós-produção todos os artefatos produzidos devem ser enviados para
serviços de armazenamento disponível na rede. O processo de transferência é feito utilizando
o protocolo CAL (Content Abstraction Layer) desenvolvido neste trabalho o qual é baseado na
plataforma JXTA1 . Esse protocolo disponibiliza operações de descoberta de peers, transferência
de arquivos e sincronização entre servidores de armazenamento através dos serviços: publish,
start_session, end_session, list_status, ft_get, ft_put e send_seg.
Para a etapa de acesso foi desenvolvido um ambiente de consulta, onde alunos podem acessar de forma organizada/estruturada todas as informações previamente capturadas.
O acesso pode ser feito em qualquer local e a qualquer hora, isso garante uma das principais
1
JXTA é um conjunto de protocolos que permitem qualquer dispositivo de rede comunicação e colaboraração entre peers.
premissas dos ambientes educacionais ubíquos [AiHua 2010]. Atualmente está sendo integrado
ao ambiente de acesso um módulo que permite realização de consultas através das preferências
dos usuários. Com isso, o sistema será capaz de recomendar conteúdos que mais se enquadrem
com as preferências de cada usuário.
Os protótipos funcionais já foram desenvolvidos e atualmente estão sendo implantados
na sala de aula instrumentada para o devido acompanhamento da sua utilização pelos usuários
finais. Após essa fase, pretende-se realizar as análises de usabilidade anteriormente citadas.
Abaixo é mostrado o cronograma de desenvolvimento do trabalho (Figura 2) onde pode
ser visto mais detalhadamente as etapas já realizadas e as que ainda serão realizadas.
5. Cronograma do Trabalho até a Defesa
As seguintes atividades estão sendo desenvolvidas para atingir o objetivo proposto:
1. Pesquisa bibliográfica para embasamento teórico, onde se incluem como fonte de
pesquisa: artigos, livros, anais de congressos e periódicos;
2. Levantamento de requisitos do ambiente instrumentado;
3. Redação do Plano de Trabalho;
4. Projeto e implementação da infra-estrutura de software necessária;
5. Testes e correções;
6. Acompanhamento e avaliação da utilização do ambiente instrumentado e da infraestrutura criada;
7. Documentação dos esforços envolvidos e elaboração dos modelos e das abstrações correspondentes;
8. Integração com banco de dados e interface de acesso com suporte a preferências;
9. Redação de artigos para eventos nacionais e internacionais;
10. Redação da dissertação;
11. Defesa da dissertação.
Figura 2. Cronograma de execução das atividades propostas.
Referências
Abowd, G. D. and Mynatt, E. D. (2000). Charting past, present, and future research in ubiquitous computing. ACM Trans. Comput.-Hum. Interact., 7(1):29–58.
AiHua, Z. (2010). Study of ubiquitous learning environment based on ubiquitous computing. In
Ubi-media Computing (U-Media), 2010 3rd IEEE International Conference on, pages 136
–138.
Barolli, L. and Xhafa, F. (2011). Jxta-overlay: A p2p platform for distributed, collaborative,
and ubiquitous computing. Industrial Electronics, IEEE Transactions on, 58(6):2163 –2172.
Branham, S., Golovchinsky, G., Carter, S., and Biehl, J. T. (2010). Let’s go from the whiteboard:
supporting transitions in work through whiteboard capture and reuse. In Proceedings of the
28th International Conference on Human Factors in Computing Systems, CHI ’10, pages
75–84, New York, NY, USA. ACM.
Dey, A. K. (2001). Understanding and using context. Personal and Ubiquitous Computing,
5(1):4–7.
Kameas, A., Mavrommati, I., Ringas, D., and Wason, P. (2002). ecomp: An architecture that
supports p2p networking among ubiquitous computing devices. In Proceedings of the Second
International Conference on Peer-to-Peer Computing, P2P ’02, pages 57–, Washington, DC,
USA. IEEE Computer Society.
Kärger, P., Olmedilla, D., Abel, F., Herder, E., and Siverski, W. (2008). What do you prefere ? using preferences to enhance learning technology. IEEE Transactions on Learning
Technologies, Vol. 1, (1):20–33.
Kunz, A., Nescher, T., and Ku andchler, M. (2010). Collaboard: A novel interactive electronic
whiteboard for remote collaboration with people on content. In Cyberworlds (CW), 2010
International Conference on, pages 430 –437.
Modahl, M., Agarwalla, B., Abowd, G., Ramachandran, U., and Saponas, T. S. (2004). Toward
a standard ubiquitous computing framework. In Proceedings of the 2nd Workshop on Middleware for Pervasive and ad-hoc Computing, MPAC ’04, pages 135–139, New York, NY,
USA. ACM.
Nishiuchi, Y., Matsuuchi, N., Yamaguchi, T., Shiba, H., Fujiwara, K., Mendori, T., and Shimamura, K. (2010). Enhanced terakoya learning system providing multi-point remote interactive lessons. In Information and Telecommunication Technologies (APSITT), 2010 8th
Asia-Pacific Symposium on, pages 1 –4.
Pimentel, M., Cattelan, R., and Baldochi, L. (2007). Prototyping applications to document
human experiences. Pervasive Computing, IEEE, 6(2):93 –100.
Portela, F. A. and Cerqueira, R. (2007). Capture and acess service (cas): Um serviço de arquivamento para salas inteligentes. In Proceedings of the 13th Brazilian Symposium on
Multimedia and Web. WebMedia ’07, pages 176 – 180.
Shi, Y., Xie, W., Xu, G., Shi, R., Chen, E., Mao, Y., and Liu, F. (2003). The smart classroom:
merging technologies for seamless tele-education. Pervasive Computing, IEEE, 2(2):47 –
55.
Silva, H. V. O., Rodrigues, R. F., Soares, L. F. G., and Muchaluat Saade, D. C. (2004). Ncl
2.0: integrating new concepts to xml modular languages. In Proceedings of the 2004 ACM
Symposium on Document Engineering, DocEng ’04, pages 188–197, New York, NY, USA.
ACM.
Suryanarayana, L. and Hjelm., J. (2002). Profiles for the situated web. In Proc. 11th International World Wide Web Conference (WWW 2002) Honolulu, Hawaii, USA., pages 200–209,.
Truong, K. N. (2005). Inca: an infrastructure for capture and access. supporting the generation, preservation and use of memories from everyday life. PhD thesis, Atlanta, GA, USA.
http://khaitruong.com/publications/Dissertation-2005.pdf. Disponível em: 10/08/2010.
Wazlawick, R. S. (2009). Metodologia da Pesquisa para Ciência da Computação. Elsevier,
Rio de Janeiro, RJ, BR.
Weiser, M. (1991). The computer for the 21st century. Scientific American, 265(3):94–104.
Weiser, M. (1993). Some computer science issues in ubiquitous computing. Commun. ACM,
36(7):75–84.