19
Topolino: Software Livre para Automatização do
Experimento do Campo Aberto
Bruno Brandoli Machado, Jonathan de Andrade Silva, Wesley Nunes Gonçalves,
Hemerson Pistori, Albert Schiaveto de Souza
1
Universidade Católica Dom Bosco – UCDB,
Av. Tamandaré, 6000, Jardim Seminário,
Campo Grande, MS, Brasil, 79117–900
{bmachado,jsilva,wnunes}@acad.ucdb.br, {pistori,albert}@ucdb.br
Resumo. A análise do comportamento de camundongos é um procedimento
bastante comum em estudos fisiológicos e farmacológicos. Nesse artigo, é apresentado um software livre baseado em visão computacional e aprendizagem de
máquina para a automatização dos experimentos realizados com camundongos
no teste do campo aberto. Para a análise dos comportamentos de exploração
foi utilizado aprendizagem de máquina. Os algoritmos de subtração de fundo,
subtração de fundo adaptativo e segmentador baseado em modelo gaussiano
foram utilizados para a segmentação das imagens. Para o rastreamento dos
camundongos foram implementados os algoritmos filtro de Kalman e filtro de
partı́culas. O software é capaz de executar os experimentos em tempo real e
suporta o rastreamento de múltiplos camundongos.
1. Introdução
O estudo do comportamento animal é extremamente importante para se obter o conhecimento sobre a diversidade de seus costumes [Morrow-Tesch et al. 1998]. Tais
estudos fornecem dados importantes para o desenvolvimento de terapias e novos
fármacos. O uso de animais de laboratório em pesquisas, em particular os camundongos,
serve de modelos simplificados do comportamento humano [Fagundes and Taha 2004,
Carvalho and Lopes 2006]. Com isso, os camundongos tornaram-se fundamentais em
estudos etológicos e permitem que os novos fármacos sejam avaliados antes de serem
testados em seres humanos.
Em diversas pesquisas, o estudo do comportamento animal é feito de forma manual. Os registros manuais e a observação visual em experimentos podem ser realizados
com um investimento relativamente baixo em relação à observação automática. Porém,
deve se considerar que o observador possui a necessidade de presenciar todo o experimento para obter as informações relevantes nas pesquisas. Dessa forma, o registro manual
exige um trabalho exaustivo dos pesquisadores, que pode ser influenciado pela fadiga, o
que compromete o registro de comportamentos de interesse.
Com a automatização dos sistemas no monitoramento animal é possı́vel fornecer
uma estrutura mais confiável na aquisição de dados. A observação automática é particularmente apropriada para registrar os comportamentos que ocorrem momentaneamente
após perı́odos longos, em que o observador humano é incapaz de estimar com exatidão
Grahl, E. A; Hübner, J. F. (Eds.). Anais do XV Seminário de
Computação, Blumenau, 20-22 de Novembro, 2006. p 19-28.
20
as informações espaciais, como por exemplo distância percorrida e velocidade. Um outro
ponto significativo é possibilitar a gravação digital dos experimentos em vı́deo. Assim,
o pesquisador pode analisar os comportamentos realizados pelos animais reproduzindo a
gravação.
A proposta deste trabalho é apresentar um sistema computacional para automatizar a análise de determinados comportamentos de camundongos no teste do campo aberto.
O sistema é capaz de processar as imagens capturadas através de um dispositivo de baixo
custo, como uma webcam, podendo proporcionar a gravação digital dos experimentos
em vı́deo. Uma etapa de processamento das imagens realiza a extração automática dos
parâmetros de interesse, utilizando técnicas de visão computacional e aprendizagem de
máquina.
Uma das principais contribuições deste trabalho é apresentar uma alternativa multiplataforma, e de códigos-fonte abertos, aos sistemas atualmente disponı́veis no mercado,
muitas vezes caros e pouco flexı́veis. Além disso, o pesquisador pode utilizar diversos
dispositivos de captura de imagens digitais de baixo custo. O sistema Topolino foi desenvolvido com fontes na linguagem Java visando portabilidade. Foram utilizados alguns
pacotes livres, como o ImageJ1 para o pré-processamento das imagens alimentadas pela
etapa de captura de imagens. Para capturar e manipular vı́deos foi utilizado o JMF. O
Weka2 , outro pacote livre, foi utilizado para classificação baseada em aprendizagem de
máquina. Para o gerenciamento de informações utilizou-se o banco de dados relacional
PostgreSQL e o JFreeChart para visualização dos gráficos. Para o controle de versões no
desenvolvimento de fontes do sistema utilizou-se o repositório Subversion, integrado com
o Trac, um sistema baseado em web para o gerenciamento de projetos.
Este artigo está estruturado em cinco seções. A Seção 2 descreve algumas ferramentas existentes que realizam a análise do comportamento animal. Na Seção 3, é descrito o teste do campo aberto e as caracterı́sticas de interesse selecionadas para a execução
dos experimentos com camundongos. Na próxima seção, são descritos os módulos desenvolvidos e as caracterı́sticas do sistema. Finalmente, na Seção 5 são discutidas as
limitações e os pontos positivos do sistema.
2. Trabalhos Correlatos
O Ethovision [Noldus et al. 2001] é uma ferramenta proprietária para análise do comportamento animal. Este sistema foi desenvolvido pela Noldus, uma empresa que atua na
área de tecnologia de informação. O software foi implementado em Visual C++, podendo
ser executado somente em ambiente Microsoft WindowsTM . A aquisição de imagens do
Ethovision é realizada por um hardware dedicado que conecta um dispositivo de captura
de imagens ao computador para a execução do sistema. Pelo sistema ser limitado a este
hardware, o usuário fica dependente de um dispositivo especı́fico para a sua utilização.
O rastreamento do Ethovision é iniciado após a etapa de aquisição das imagens. O
módulo de rastreamento utiliza três técnicas que possuem limitações quanto à eficiência
e aplicação. A primeira técnica é baseada em limiarização nos nı́veis de cinza. O limiar
pode ser definido pelo usuário ou através do próprio sistema. A segunda técnica consiste na subtração de imagens. O usuário define uma imagem de referência, geralmente
1
2
http://rsb.info.nih.gov/ij/
http://www.cs.waikato.ac.nz/ml/weka/
21
o fundo sem a presença do animal, para realizar a subtração das imagens seguintes que
contêm o animal. O resultado da subtração é uma outra imagem possuindo somente o
camundongo. A terceira técnica é baseada em cores, onde são utilizadas as componentes
matiz e saturação do modelo de espaço de cores HSI (hue, saturation, intensity). Esta
técnica é empregada para rastrear múltiplos camundongos, entretanto, possui a necessidade de pintar parte dos camundongos com uma tinta recomendada pelo sistema.
Ghozland e Granon [Ghozland et al. 2002, Granon et al. 2003] utilizaram o VideoTrack, um sistema desenvolvido pela ViewPoint que analisa o comportamento de
exploração dos camundongos. A captura das imagens é feita por uma câmera analógica.
Existem outras ferramentas que não são baseadas em visão computacional, como em
[Galsworthya et al. 2005, Kritzler et al. 2006, Kramer and Kinter 2003, Metris 2005], e
que empregam dispositivos de rádio-frequência, infravermelho e sistemas elétricos para a
identificação do animal. Estes métodos intrusivos podem alterar o equilı́brio emocional
do animal, influenciando nos resultados dos experimentos.
3. Campo Aberto
O teste do campo aberto ou open field é amplamente utilizado para quantificar movimentos locomotores e de exploração dos animais. Os movimentos locomotores são os
deslocamentos entre um ponto a outro da arena. Os movimentos de exploração ou não
locomotores são aqueles que o animal pode realizar sem a necessidade de deslocamento,
como por exemplo elevação vertical, cheirar o ambiente e autolimpeza. Em experimentos
com roedores, estes comportamentos são essenciais para compreender o efeito de diferentes drogas psicoestimulantes e ansiolı́ticas [Prut and Belzung 2003, Eilam 2003].
Os experimentos do campo aberto ocorrem em uma arena de formato variável,
geralmente circulares ou retangulares. Neste trabalho foi utilizada uma arena circular
contendo uma circuferência interna com o mesmo centro. A circunferência interna possui
raio igual a 11,5cm e a circunferência da arena possui raio de 20cm, como mostra a Figura
1(a). O piso da arena é revestido de fórmica de cor branca ou preta para que haja um
contraste entre o camundongo e o piso, facilitando a observação do pesquisador e os
algoritmos de segmentação. O piso da arena está dividido em 12 regiões regulares de
104,7cm2 cada. A arena é circundada por um material em acrı́lico transparente de forma
cilı́ndrica, com 30cm de altura, conforme mostra a Figura 1(b).
Para realização dos experimentos é aplicada a droga a ser avaliada nos camundongos. Posteriormente, os camundongos são inseridos no centro da arena, a prı́ncipio um
ambiente desconhecido. No decorrer do teste, o pesquisador pré-determina o tempo em
que o animal permanecerá na arena. Em seguida é verificada e registrada a região em que
o animal se encontra. As Figuras 2(a), 2(b) e 2(c) apresentam exemplos de camundongos realizando atividade motora em uma região demarcada. Após o término do tempo
pré-definido, retira-se o animal. A execução do teste é feita sucessivamente com todos
animais do grupo do experimento.
No teste do campo aberto são utilizados mais de 30 parâmetros que avaliam as
atividades motoras e de exploração dos animais. Para a sua realização, foram selecionadas as caracterı́sticas de interesse do experimento juntamente com os especialistas. Os
parâmetros relativos aos comportamentos locomotores, neste caso, são: distância percorrida, velocidade de deslocamento e o tempo de permanência em cada região. Nas
22
(a)
(b)
Figura 1. (a) Formato e limites das regiões demarcadas. (b) Material do piso e
das paredes da arena.
(a)
(b)
(c)
Figura 2. (a) (c) Movimento motor do animal sobre áreas demarcadas.
Múltiplos camundongos realizando explorações pela arena.
(b)
atividades exploratórias foi analisada a exploração vertical [Gonçalves et al. 2006]. A
exploração vertical consiste na elevação das patas posteriores do camundongo, conforme
apresentado nas Figuras 3(a), 3(b) e 3(c). Neste caso, é registrado o número de ocorrências
destes comportamentos ao longo do experimento. Um outro fator importante é conhecer
a trajetória que o camundongo percorreu ao longo do experimento.
4. Topolino
O sistema Topolino3 é um projeto que foi desenvolvido na UCDB entre a parceria do
Grupo de Pesquisa em Engenharia e Computação (GPEC4 ) e do Centro de Ciências
Biológicas e da Saúde (CCBS5 ). Este sistema visa desenvolver soluções tecnológicas
que beneficiam significativamente pesquisas na área da saúde, em particular as de comportamento animal. Este trabalho está dividido em cinco módulos: interface, banco de
dados, captura de imagens digitais, rastreamento e aprendizagem supervisionada para
3
http://www.gpec.ucdb.br/topolino
http://www.gpec.ucdb.br
5
http://www.ucdb.br/cursos/ccbs/
4
23
(a)
(b)
(c)
Figura 3. (a) (b) (c) Comportamento de exploração vertical realizado pelo camundongo.
classificação de comportamentos de exploração.
O módulo da interface foi desenvolvido com base nos conceitos de HCI (Human
Computer Interaction) [Myers et al. 1996]. A aplicação destes estudos proporcionam ao
usuário a fácil interação na execução de tarefas. Desse modo, as funcionalidades do sistema tornam-se intuitivas para a realização dos experimentos. O usuário ainda possui a
opção de salvar e acessar os resultados quantificados através de dados tabulados e gráficos.
Para isso, foi utilizado o módulo de banco de dados responsável para o armazenamento
e o gerenciamento das informações provenientes dos experimentos. Estas informações
podem fornecer aos usuários uma forma de comparar outros experimentos realizados anteriormente. A Figura 4 mostra a tela de configuração do sistema.
A captura de imagens digitais alimenta o sistema de visão computacional da ferramenta. Para isso, é necessário um dispositivo de aquisição de vı́deo e um software
de rastreamento para o processamento das imagens. O dispositivo possibilita ao usuário
gravar ou executar em tempo real os experimentos. O sistema manipula vı́deos em formatos avi ou mov. O vı́deo capturado é fragmentado em quadros a uma taxa de 30 por
segundo (fps). Em seguida, de cada quadro são processadas as imagens e extraı́das as
caracterı́sticas dos comportamentos locomotores.
Para os comportamentos de exploração é realizada a etapa de treinamento antes
dos quadros serem processados. A etapa de treinamento permite realizar a classificação
dos comportamentos de interesse utilizando o módulo de aprendizagem supervisionada.
Este módulo é capaz de realizar a classificação automática a partir de experiências em
casos de sucesso. As regras de classificação inferidas pelo módulo de aprendizado
são analisadas pela complexidade das próprias regras e o erro de classificação sobre
novos conjuntos de imagens. Neste módulo, foram utilizados momentos estatı́sticos
[Souza and Pistori 2005] para a extração de atributos aplicados ao treinamento. Para o
treinamento é escolhido um conjunto de imagens do vı́deo que melhor representam estes
comportamentos, descritos na Seção 3. Realizada a seleção dos quadros, são extraı́dos os
atributos do conjunto de imagens utilizados para a classificação.
O software de rastreamento utiliza métodos de segmentação em imagens para extrair o objeto de interesse, neste caso o camundongo. Os métodos de segmentação utilizados foram subtração de fundo, subtração de fundo adaptativo e segmentador baseado em
24
Figura 4. Configurações do sistema Topolino.
modelo gaussiano. A subtração de fundo [Piccardi 2004] é uma das técnicas mais utilizadas devido a sua simplicidade de implementação e seu baixo custo de processamento.
O princı́pio básico é subtrair cada imagem do quadro fragmentado de uma imagem de
referência, obtida a partir de um fundo estático e sem o objeto de interesse. A grande
dificuldade apresentada pela subtração de fundo é não se adaptar a modificações no fundo
da cena, como mudança de iluminação ou objetos que entram em cena e em seguida ficam
estáticos e sem relevância. Para contornar esse problema, existem técnicas de subtração
de fundo mais sofisticadas, como a subtração de fundo adaptativo [Collins et al. 2000].
Essa técnica possui a vantagem de se adaptar a pequenas modificações, sendo útil em
longos perı́odos de tempo, como experimentos com muitas horas de duração. O modelo
gaussiano utiliza a cor como principal caracterı́stica [Terrillon et al. 2000]. O espaço de
cor utilizado neste trabalho é o HSV. As cores no padrão HSV são divididas em matiz (H)
definindo a cor dominante, saturação (S) representando a pureza da cor e intensidade (V)
representando a luminosidade da cor. Para este caso, a componente (V) foi descartada
para que o sistema seja mais robusto em relação a mudança na intensidade de iluminação.
Para o rastreamento dos camundongos nas imagens foram implementados dois
algoritmos baseados em filtros preditivos: filtro de Kalman [Funk 2003] e filtro de
partı́culas [Hue et al. 2001, Morais et al. 2005]. Estes filtros usam um modelo de
dinâmica e incerteza para propagar os estados do sistema, em seguida o estado predito é corrigido através de um modelo de observação. Os filtros preditivos apresentam
muitas vantagens como eficiência em aplicações em tempo real e habilidade de tratar
a sobreposição de objetos. O filtro de Kalman apresenta uma limitação por considerar
25
que as variáveis aleatórias são gaussianas e o modelo de dinâmica linear. Em algumas
aplicações, essa restrição de linearidade não é aplicável e o filtro não pode estimar corretamente o estado do objeto sobre o tempo. Uma aproximação possı́vel para contornar
essa limitação é empregar uma representação não-paramétrica baseada em amostras ou
partı́culas, como o filtro de partı́culas.
Os algoritmos dos filtros e os segmentadores implementados possuem parâmetros
que podem ser alterados pelo usuário e visualizados em tempo real de processamento.
A Figura 5 mostra a execução do módulo de rastreamento. O sistema Topolino, além
de analisar um camundongo por vı́deo, suporta o rastreamento de múltiplos camundongos, podendo ser observado o nı́vel de socialização entre eles. Após esta etapa é possı́vel
extrair as caracterı́sticas das imagens. Com base no treinamento são classificados os comportamentos apresentados pelos camundongos durante o experimento. A integração com
o software Weka tornou disponı́vel para os usuários do Topolino dezenas de algoritmos
de aprendizagem supervisionada, entre eles o C4.5, as máquinas de vetores de suporte e
a redes neurais artificiais.
Figura 5. Módulo de rastreamento do sistema Topolino.
5. Conclusão e Trabalhos Futuros
O resultado deste trabalho é um sistema com fontes livres para auxiliar pesquisadores no
registro de parâmetros comportamentais relevantes durante experimentos com camundongos. Outro ponto a ser destacado, é que o pesquisador possui a flexibilidade de utilizar
diversos dispositivos de captura de imagens digitais. Além disso, é possı́vel executar o
sistema para rastrear até quatro camundongos através de gravações de vı́deo ou até mesmo
26
em tempo real. A ferramenta mostrou ser útil em estudos etológicos, facilitando ao pesquisador a avaliação do efeito de determinados fármacos.
A ferramenta implementada automatizou o teste do campo aberto. Porém,
é importante agora expandir os experimentos para outros tipos de testes que
também medem a atividade locomotora de camundongos, como o teste do labirinto aquático de morris [Grossmann and Skinner 1996] e o labirinto em cruz
[Boguszewski and Szmagalska 2002]. Neste caso, poderia ser expandido o número de
variáveis a serem analisadas. Ainda vale ressaltar que uma maneira de ampliar a utilização
do sistema seria realizar os experimentos com diferentes animais e em ambientes diversos.
Agradecimentos
Este trabalho recebeu apoio financeiro da Universidade Católica Dom Bosco, UCDB, da
Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e Tecnologia do Estado de
Mato Grosso do Sul, FUNDECT. Alguns dos acadêmicos que participaram no desenvolvimento do sistema citado nesse artigo receberam bolsas PIBIC/CNPQ.
Referências
Boguszewski, P. and Szmagalska, J. Z. (2002). Emotional changes related to age in rats a
behavioral analysis. Behavioural Brain Research, 133:332–332.
Carvalho, T. H. F. and Lopes, O. U. (2006). O emprego de camundongo geneticamente modificado como modelo de estudo para doenças cardiovasculares. In X
Simpósio Brasileiro de Fisiologia Cardiovascular, volume 39, pages 110–116, Ribeirão Preto,Brasil.
Collins, R., Lipton, A., Kanade, T., Fujiyoshi, H., Duggins, D., Tsin, Y., Tolliver, D., Enomoto, N., and Hasegawa, O. (2000). A system for video surveillance and monitoring.
Technical Report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University,
Pittsburgh, PA.
Eilam, D. (2003). Open-field behavior withstands drastic changes in arena size. Behavioural Brain Research, 142:53–62.
Fagundes, D. J. and Taha, M. O. (2004). Modelo animal de doença: critérios de escolha e
espécies de animais de uso corrente. Acta Cirúrgica Brasileira, 19:59–65.
Funk, N. (2003). A study of the kalman filter applied to visual tracking. Technical report,
University of Alberta.
Galsworthya, M. J., Amreina, I., Kuptsovb, P. A., Poletaevab, I. I., Zinna, P., Raua, A.,
Vyssotskia, A., and Lippa, H.-P. (2005). A comparison of wild-caught wood mice and
bank voles in the intellicage: assessing exploration, daily activity patterns and place
learning paradigms. Behavioural Brain Research, 157:211–217.
Ghozland, S., Matthes, H. W. D., Simonin, F., Filliol, D., Kieffer, B. L., and Maldonado,
R. (2002). Motivational effects of cannabinoids are mediated by micro-opioid and
k-opioid receptors. The Journal of Neuroscience, 22:1146–1154.
Gonçalves, W. N., de Andrade Silva, J., Machado, B. B., de Ruchkys, D. P., and Pistori, H.
(2006). Software de auxı́lio no reconhecimento de padrões em animais de laboratório
27
utilizando cadeia de código. In Proceedings of the VII Workshop on Free Software WSL (VII International Forum on Free Software), Porto Alegre, Brasil.
Granon, S., Faure, P., and Changeux, J.-P. (2003). Executive and social behaviors under
nicotinic receptor regulation. Proceedings of the National Academy of Sciences, pages
9596–9601.
Grossmann, M. and Skinner, M. H. (1996). A simple computer based system to analyze
morris water maze trials on-line. Journal of Neuroscience Methods, 70(2):171–175.
Hue, C., Cadre, J.-P. L., and Pérez, P. (2001). A particle filter to track multiple objects. In
IEEE Workshop on Multi-Object Tracking, pages 61–68, Vancouver, Canada.
Kramer, K. and Kinter, L. B. (2003). Evaluation and applications of radiotelemetry in
small laboratory animals. Proceedings of the American Philosophical Society, 13:197–
205.
Kritzler, M., Lewejohann, L., Kruger, A., Raubal, M., and Sachser, N. (2006). An rfidbased tracking system for laboratory mice in a semi natural environment. In PTA
Workshop, PERVASIVE - Pervasive Technology Applied Real-World Experiences with
RFID and Sensor Networks, Dublin, Ireland.
Metris, B. V. (2005). High-quality measurements of rodent behavior tracking and ultrasounds using laboras and sonotrack. Business Briefing, Future Drug Discovery.
Morais, E. F., Campos, M. F. M., Padua, F. L. C., and Carceroni, R. L. (2005). Particle
filter-based predictive tracking for robust fish counting. In SIBGRAPI ’05: Proceedings
of the XVIII Brazilian Symposium on Computer Graphics and Image Processing, page
367, Washington, DC, USA. IEEE Computer Society.
Morrow-Tesch, J., Dailey, J. W., and JIang, H. (1998). A video data base system for
studying animal behavior. Journal of Animal Science, 76(10).
Myers, B., Hollan, J., Cruz, I., Bryson, S., Bulterman, D., Catarci, T., Citrin, W., Glinert,
E., Grudin, J., Hollin, J., Ioannidis, Y., et al. (1996). Strategic directions in humancomputer interaction. ACM Computing Surveys, 28(4):794–809.
Noldus, L. P., Spink, A. J., and Tegelenbosch, R. A. J. (2001). Ethovision: A versatile
video tracking system for automation of behavior experiments. Behav Res Methods
Instrum Comput, 33(3):398–414.
Piccardi, M. (2004). Background subtraction techniques: a review. In Proc. of IEEE SMC
2004 International Conference on Systems, Man and Cybernetics.
Prut, L. and Belzung, C. (2003). The open field as a paradigm to measure the effects of
drugs on anxiety-like behaviors: a review. European Journal of Pharmacology, pages
3–33.
Souza, K. P. and Pistori, H. (2005). Implementação de um extrator de caracterı́sticas baseado em momentos da imagem. In Proceedings of SIBGRAPI 2005 - XVIII Brazilian
Symposium on Computer Graphics and Image Processing, Natal, RN, Brazil. SBC,
IEEE Press.
Terrillon, J.-C., Fukamachi, H., Akamatsu, S., and Shirazi, M. N. (2000). Comparative
performance of different skin chrominance models and chrominance spaces for the
28
automatic detection of human faces in color images. In FG ’00: Proceedings of the
Fourth IEEE International Conference on Automatic Face and Gesture Recognition
2000, page 54, Washington, DC, USA. IEEE Computer Society.