MARCUS VINÍCIUS HIDEKI WATANABE
EYE TRACKING E SUAS APLICAÇÕES
LONDRINA – PR
2013
MARCUS VINÍCIUS HIDEKI WATANABE
EYE TRACKING E SUAS APLICAÇÕES
Trabalho de conclusão de curso em Ciência da
Computação Departamento de Computação da
Universidade Estadual de Londrina, como
requisito essencial para a obtenção do título de
Bacharel em Ciência da Computação.
Orientador: Sylvio Barbon Jr.
LONDRINA – PR
2013
MARCUS VINÍCIUS HIDEKI WATANABE
ENGENHARIA SOCIAL APLICADA AO FACEBOOK
Trabalho de conclusão de curso em Ciência da
Computação Departamento de Computação da
Universidade Estadual de Londrina, como
requisito essencial para a obtenção do título de
Bacharel em Ciência da Computação.
BANCA EXAMINADORA
____________________________________
Prof. Sylvio Barbon Jr.
Universidade Estadual de Londrina
____________________________________
Prof. Componente da Banca
Universidade Estadual de Londrina
____________________________________
Prof. Componente da Banca
Universidade Estadual de Londrina
Londrina, _____de ___________de _____.
WATANABE, Marcus Vinicius H.. Eye Tracking e Suas Aplicações. 2013. 22. Trabalho de
Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Estadual de
Londrina, Londrina, 2013.
RESUMO
O presente trabalho visa o estudo e desenvolvimento de técnicas para o rastreamento
da trajetória ocular utilizando as bibliotecas OpenCV. A ferramenta fundamenta-se
em analisar o olhar do usuário, e também o seu comportamento, para assim
caracterizar o problema. Com o software, pretende-se solucionar ou facilitar
problemas ligados a campos diversificados, tais como nas áreas médica, informática
e militar. Com a efetuação do projeto, busca-se agregar conhecimento ao acadêmico,
e também apresentar uma discussão sobre os resultado obtidos com o projeto, para
assim, futuramente contribuir com a sociedade na resolução destes conflitos.
Palavras-chave: Eye-Tracking, Rastreamento, Trajetória, Olho, Olhar.
WATANABE, Marcus Vinicius H.. Eye Tracking and his Aplications. 2013. 22. Trabalho de
Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Estadual de
Londrina, Londrina, 2013.
ABSTRACT
The present work aims to study and develop techniques for the eye tracking software
using OpenCV library . The tool is based on analyzing the user's gaze, also their
behavior, so as to characterize the problem. With the software, we intend to solve or
ease problems related to diverse fields such as in the medical, computing and military.
With the effectuation of the project, we seek to add to the academic knowledge, and
also present a discussion of the results obtained with the project, thereby, contribute
to society in the future in resolving these conflicts.
Key words: Eye-Tracking, Tracking, Gaze, Tracker, Eye.
LISTA DE ILUSTRAÇÕES
Figura 1 – Exemplo de funcionamento de um tipo de sistema eye tracker. ..........................
SUMÁRIO
1 INTRODUÇÃO........................................................................................
2 EYE TRACKING.......................................................................................
2.1 SISTEMA EYE TRACKING..................................................................
3 FERRAMENTA.........................................................................................
4 APLICAÇÕES...............................................................................................
5 ESTADO DE ARTE.......................................................................................
CONCLUSÃO..................................................................................................
REFERÊNCIAS..............................................................................................
1 INTRODUÇÃO
Em computação visual, a detecção automática de faces humanas e o
rastreamento dos componentes do rosto, tais como nariz, boca e olhos, são uma área
ativa de pesquisa, assim como também são fundamentais no desenvolvimento de
aplicações inteligentes na interação homem-máquina. Em carros, por exemplo, uma
câmera pode ser colocada em um veículo para monitorar os diferentes níveis de
atenção do motorista em trânsito. Num ambiente de trabalho, por exemplo, um
dispositivo pode ser implementado para identificação/autenticação de usuário, através
da leitura de seu globo ocular, para então emitir autorização de certos propósitos.
Esses são alguns exemplos de aplicações de rastreamento facial.
O olho humano pode fornecer informações consideráveis, como a direção que
estamos olhando, estado físico e psicológico e também a nossa identificação. Nesse
aspecto, este orgão têm um importante papel nessas aplicações. Outros membros
faciais, como boca, orelhas e nariz, podem ser úteis em alguns casos, porém o órgão
mais utilizado para estes fins é o olho, por representar a visão e possuir vários
métodos para o seu estudo.
As primeiras ferramentas para o rastreamento da trajetória ocular tinham o
propósito de estudar o comportamento humano, e, por ser um estudo subjetivo e de
interesse interdisciplinar, a utilização dessa ferramenta expandiu-se em vários
campos de pesquisa.
2 EYE TRACKING
O rastreamento da trajetória ocular, ou eye tracking, é o processo de identificar
o olho de uma pessoa e rastrear as movimentações de seu globo ocular. A detecção
e o rastreamento dos olhos consistem em 3 passos:

Localizar a face do usuário.

Detectar a região dos olhos (linha visual) e extrair as características do olho

Rastrear os componentes do olho numa sequência de imagens.
A chave e também o desafio do eye tracking está na dificuldade de um
computador identificar os componentes do olho, tais como pupila, íris e pálpebra,
assim como diferenciar as diferentes molduras dos componentes e da cor de pele.
Alguns outros fatores como por exemplo o nível de iluminação e movimentação da
cabeça podem ser ajustados em ambientes controlados, porém, em ambientes reais,
estes e outros fatores como sombra e reflexo tendem a piorar a performance do
rastreamento.
Trabalhos recentes com respeito a detecção do olho [1-5]
Recent work on eye detection shows that a common framework of three stages has been
followed:
Para melhorar o rastreamento da trajetória ocular, vários métodos foram
propostos. Por exemplo, Kaufman [6] e Gerhardt [7] em 1993 e 1994 criaram um
software eye-tracking e uma metodologia que empregava valores limiares em tons de
cinza. Com uma fonte de luz LED, o ponto de visão do usuário era estimado em um
computador, baseado na distância vetorial a partir do centro do brilho para o centro
do olho de uma imagem digitalizada. Nos experimentos de Xie, em 1994 [8], fez-se o
use de escalas em azul e técnicas morfológicas básicas para o pré-processamento de
imagens. Kirby e Sirovich [9] utilizaram o método Karhunen–Loeve para experimentos
na busca dos parâmetros de caracterização do rosto humano. Grattan e Palmer [10]
e Grattan et al. [11] desenvolveram um sistema baseado em microcomputador para
os portadores de necessidades especiais que funcionava de acordo os diferentes
pontos de reflexão do globo ocular.
2.1 Sistema Eye Tracker
Um rastreador ocular é um dispositivo que utiliza padrões de projeção e
sensores ópticos para coletar dados sobre direção do olhar ou movimentos oculares
com altíssima precisão. A maioria dos rastreadores oculares são baseados no
princípio fundamental da reflexão da córnea, conforme a figura 1:
Figura 1 :exemplo de funcionamento de um tipo de sistema eye tracker.
Os sistemas eye trackers são basicamente divididos em 2 tipos: o primeiro
consiste em utilizar uma câmera e algum tipo de dispositivo de imagem, como um
monitor ou uma televisão, e então acompanhar a trajetória ocular enquanto o usuário
observa alguma dessas fontes de imagem. O segundo modelo consiste num aparelho
acoplado à cabeça do usuário, contendo uma camêra que rastreia seus olhos e uma
outra câmera que grava o que ele está observando.
Para a inicialização de um sistema eye tracker, geralmente é feita uma
calibragem, onde é pedido ao usuário para que este olhe em vários pontos de uma
determinada tela, para que seus parâmetros individuais sejam ajustados. Este
processo pode levar alguns minutos, e é um dos aspectos mais desagradáveis da
maioria dos sistemas de rastreamento da trajetória ocular existentes. Essa calibragem
pode ser complicada para alguns usuários que possuam problemas ligados à déficit
de atenção ou visualização de cores.
2.2 Métodos de rastreamento da trajetória ocular
3 FERRAMENTA
4 APLICAÇÕES
O dispositivo eye tracker vêm sendo aplicado em várias áreas, incluindo a
ciência cognitiva, a psicologia (nomeadamente psicolingüística, o paradigma do
mundo visual), interação humano-computador (HCI), pesquisa de mercado e pesquisa
médica (diagnóstico neurológico). As aplicações específicas incluem o rastreamento
da trajetória ocular em leituras de linguagem, leitura de música, reconhecimento da
atividade humana, percepção de marketing, e aplicações em atividades esportivas.
Alguns exemplos de aplicações:
Estudos cognitivos, pesquisa médicas, cirurgia refrativa à laser, fatores
humanos, usabilidade em computadores, pesquisas em processos de tradução de
linguagem, simuladores de veículos, detecção de fadiga, realidade virtual aumentada,
rastreamento do olhar no uso comercial (usabilidade da web, publicidade, marketing,
automóveis, etc), sistemas de comunicação para pessoas portadoras de
necessidades especiais, melhora de comunicação entre imagem e vídeo, dentre
outras.
5 ESTADO DA ARTE
CONCLUSÃO
Espera-se com a finalização deste trabalho de conclusão de curso o
desenvolvimento completo de uma ferramenta para o monitoramento da trajetória
ocular, e que seja possível por meio da utilização desta a obtenção de resultados
satisfatórios para o usuário. E assim, espera-se uma contribuição para a área na qual
o uso da ferramenta for designada, seja em detecção e análise de doenças, no campo
médico, seja no estudo da usabilidade em páginas web ou para infinitas possibilidades
de análise e estudo em relação ao comportamento humano.
REFERENCIAS BIBLIOGRÁFICAS
[1] C. Burges. A tutorial on support vector machines for pattern recognition
Data Min. Knowl. Disc., 2 (1998), pp. 121–167.
[2] K. Grauman, M. Betke, J. Gips, G.R. Bradski, Communication via eye
blinks: Detection and duration analysis in real time, in: IEEE Computer Vision and
Pattern Recognition (CVPR), vol. I, 2001, pp. 1010–1017.
[3] A. Haro, M. FLICKNER, I. ESSA, Detecting and tracking eyes by using
their physiological properties, dynamics, and appearance, in: IEEE Conference on
Computer Vision and Pattern Recognition, Hilton Head Island, South Carolina, USA,
June 2000.
[4] Qiang Ji, X. Yang. Real-time eye, gaze, and face pose tracking for
monitoring driver vigilance .Real-Time Image, 8 (5) (2002), pp. 357–377.
[5]S. Kawato, N. Tetsutani. Detection and tracking of eyes for gaze-camera
control (2002).
[6]Kaufman. Apparatus and method for eye tracking interface, US Patent
5360971, 1993.
[7]Gerhardt. Eye tracking apparatus and method employing grayscale
threshold value, US Patent 5481622, 1994.
[8] X. Xie, R. Sudhaker, H. Zhuang. On improving eye feature extraction using
deformable templates. Pattern Recognition, 27 (6) (1994), pp. 791–799.
[9] M. Kirby, L. Sirovich. Applications of the Karhunen–Loeve procedure for
the characterization of human faces. IEEE Trans Pattern Anal Machine Intell, 12 (1)
(1990), pp. 103–108.
[10] K.T. Grattan, A.W. Palmer. Interrupted reflection fiber optic
communication device for the severely disabled. J Biomed Eng, 6 (1984), pp. 321–
322.
[11]Grattan KT, Palmer AW, Sorrell. Communication by eye closure—a
microcomputer-based system for the disabled. IEEE Trans Biomed Eng BME
1986;33:977–82.