Juiz Virtual – Um Sistema para Análise de Lances de Futebol
Flávio Szenberg1, Paulo Cezar Pinto Carvalho2, Marcelo Gattass1
1
TeCGraf – Departamento de Informática, PUC-Rio
Rua Marquês de São Vicente, 255, 22453-900, Rio de Janeiro, RJ, Brasil
{szenberg,gattass}@tecgraf.puc-rio.br
2
Impa – Instituto de Matemática Pura e Aplicada
Estrada Dona Castorina, 110, 22460-320, Rio de Janeiro, RJ, Brasil
[email protected]
Abstract. Broadcasts of sports events resort to features that seek to enhance
the scenes of matches or games with additional information, such as the
distance from the ball to the defending barrier in football (soccer) matches.
Most of such features are based on special equipment, with sensors that detect
the position of objects or register camera movements. Juiz Virtual is a system
that provides relative information to scenes of football matches. Differently
from most systems used by television broadcasters, Juiz Virtual is totally
based on the contents of images, not requiring any special equipment. Its
resources include measures and the construction of three-dimensional scenes
based on automatic camera calibration.
Resumo. Transmissões de eventos esportivos recorrem a recursos que visam
enriquecer as cenas dos jogos com informações suplementares, como a
distância da bola à barreira em jogos de futebol. A maior parte destes recursos
é baseada em equipamentos especiais, com sensores que detectam a posição de
objetos ou registram movimentos de câmera. Juiz Virtual é um sistema para
fornecer informações relativas a cenas de jogos de futebol. Ao contrário da
maior parte dos sistemas utilizados em emissoras, é inteiramente baseado no
conteúdo das imagens, não exigindo qualquer equipamento especial. Os
recursos proporcionados por Juiz Virtual incluem medições e construção de
cenas tridimensionais, baseados em uma calibração automática da câmera.
1. Introdução
Transmissões de eventos esportivos recorrem, com freqüência cada vez maior, a
recursos que visam enriquecer as cenas dos jogos com informações suplementares. Por
exemplo, em jogos de tênis, é comum fornecer-se a velocidade da bola no saque, obtida
por meio de sensores. Em jogos de hóquei no gelo, sensores colocados na pastilha
(“puck”), de difícil visualização devido a seu tamanho e velocidade, permitem enfatizála nas transmissões. No futebol americano, diversas vistas de uma jogada são obtidas,
através da interpolação de imagens simultaneamente adquiridas por várias câmeras.
Na transmissão de jogos de futebol, recursos tecnológicos similares também são
amplamente utilizados, com o intuito de fornecer informações métricas ou de
posicionamento no gramado para análise de jogadas ou inserir mensagens publicitárias
na transmissão. Para ambas as aplicações é fundamental que se conheça a posição da
câmera que capturou cada imagem. Nos sistemas usados nas transmissões comerciais, a
posição da câmera é obtida através de sensores que registram seus movimentos de
câmera, permitindo assim obter sua situação em relação a uma posição inicial em que a
câmera foi previamente calibrada. Alguns exemplos desses sistemas comerciais são:
•
VirtuaLive [VirtuaLive]: permite criar animações em formato VRML a partir de
uma seqüência de vídeo curta de uma partida de futebol.
•
1st&Ten [Firstandten]: projetado para inserir uma linha virtual no gramado, em
transmissões ao vivo de partidas de futebol americano.
•
Digital Replay [DigitalReplay]: realiza o acompanhamento de atletas em uma
seqüência de imagens, podendo, entre outras coisas, calcular medidas em um campo
de futebol, determinar a velocidade dos jogadores e da bola e mostrar a linha de
impedimento em transmissões de partidas de futebol.
•
VirtualReplay [VirtualReplay]: produz uma reconstrução 3D de uma imagem de um
jogo de futebol. Uma interação manual é necessária para criar os jogadores.
•
Outros sistemas usados comercialmente são PicthTrax [PicthTrax], TennisProVision
[TennisProVision] e GolfProView [GolfProView], que calculam a trajetória, em
coordenadas do mundo da cena, das bolas de beisebol, tênis e golfe,
respectivamente.
Juiz Virtual é um sistema que fornece funcionalidades análogas. No entanto, ao
contrário dos sistemas utilizados em emissoras comerciais, é inteiramente baseado na
análise das imagens das jogadas, não requerendo qualquer equipamento especial para
acompanhar a câmera. As imagens utilizadas podem ser, por exemplo, capturadas
diretamente de uma transmissão de televisão ou digitalizadas a partir de fotografias em
um jornal. O posicionamento da câmera é obtido através da identificação das linhas do
campo na imagem, como descrito em mais detalhes na seção 2. Uma vez obtidas as
informações de câmera, é possível associar pontos da imagem com sua posição no
gramado, permitindo assim executar medições, criar uma cena tridimensional
correspondente a imagem ou superpor elementos sintéticos à imagem.
A Figura 1 ilustra a relação entre uma imagem sintética produzida por Juiz
Virtual e a imagem real capturada. O círculo (interseção dos quatro segmentos de reta)
representa a posição da câmera que capturou a imagem real, mostrada no retângulo de
bordas pretas. A região do campo visível na imagem corresponde à região sombreada.
Figura 1 – Cena tridimensional gerada a partir de uma imagem estática.
O restante do trabalho é organizado do seguinte modo. Na seção 2, descrevemos
o processo de calibração automática de câmera, que é o coração de Juiz Virtual. Na
seção 3 listamos as diversas funcionalidades oferecidas, após ter sido realizada a
calibração. A seguir, na seção 4, descrevemos as funcionalidades existentes na versão
para uso na Internet. Finalmente, na seção 5 apresentamos conclusões e sugestões para
trabalhos futuros.
2. A Calibração da Câmera
O procedimento principal, responsável por Juiz Virtual ser capaz de obter a cena
tridimensional correspondente a uma imagem, é a calibração de câmera. Isto é,
encontrar os parâmetros intrínsecos (por exemplo, fator de ampliação) e extrínsecos (por
exemplo, posição, direção e inclinação da câmera).
Nas primeiras versões do Juiz Virtual, o procedimento de calibração de câmera
era feito de modo manual, a partir de pontos fornecidos pelo usuário, chamados de
pontos de referência [Carvalho+98], e que correspondiam a pontos notáveis do
gramado (como a interseção de duas linhas ou a marca do pênalti). Como o
posicionamento destes pontos no campo é determinado pelas leis do jogo, é possível
estabelecer uma correspondência entre um conjunto de pontos na imagem e sua posição
tridimensional (Figura 2). É possível, então, utilizar um algoritmo clássico de
calibração de câmeras, como o método de Tsai ([Tsai86]) ou o algoritmo apresentado
em [Carvalho+98].
Figura 2 – Associando pontos da imagem a pontos do gramado.
Na versão atual de Juiz Virtual, o procedimento de calibração é automatizado,
através do algoritmo descrito em [Szenberg01]. Neste algoritmo, linhas do campo são
encontradas na imagem, sem auxílio do usuário, e, em seguida, reconhecidas,
permitindo a calibração da câmera a partir de seus pontos de interseção. [Szenberg01]
também descreve uma extensão desse algoritmo para processar, em tempo real, uma
seqüência de vídeo.
As diversas etapas do algoritmo de calibração automática de câmera são
descritas esquematicamente na Figura 3.
Imagem
Informações empontos
Filtragempara realce de linhas
Reconstrução da visualização do modelo
I
Ofiltro Laplaciano da Gaussiana (LoG) é aplicado
à imagemseguido de uma segmentação (threshold).
Informações empontos
As linhas do modelo são reconstruídas, encontrando
assimas linhas não reconhecidas.
Extração de segmentos de retas longos
Reajuste das linhas
II
É feita uma extração de segmentos de reta longos
da imagem, candidatos a seremlinhas do modelo.
Informações geométricas
As linhas do modelo reconstruídas pela
transformação planar são reajustadas.
Reconhecimento dos segmentos
Cálculo da transformação projetiva planar
III
Umsubconjunto de segmentos é reconhecido
como representante das linhas do modelo.
Uma transformação geométrica “melhor ajustada” é encontrada,
baseada no conjunto das linhas reajustadas.
IV
Cálculo da transformação projetiva planar preliminar
Calibração da câmera
Uma transformação geométrica que mapeia linhas do modelo
comrelação às linhas reconhecidas da imagemé encontrada.
A câmera é calibrada através do método de Tsai.
V
VI
VII
VIII
Figura 3 – Fluxograma do algoritmo de calibração automática de câmera.
O algoritmo baseia-se em encontrar as linhas do campo que estão visíveis na
imagem. Uma vez realçadas no passo I, são extraídas no passo II (Figura 4). No passo
III estas linhas são reconhecidas, isto é, determina-se, por exemplo, se uma dada linha é
projeção da linha de fundo ou da linha lateral da grande área. Para tal é utilizado um de
método de reconhecimento baseado em árvore de interpretação [Grimson90].
(b)
(a)
f7
f5
f4
f3
f2
f6
f1
(c)
Figura 4 – Etapas na extração das linhas do campo: (a) realce; (b) extração de
segmentos; (c) extração das linhas.
Em seguida, pontos de interseção de cada par dessas linhas são encontrados (no
sistema de coordenadas da imagem). Com isto temos um conjunto de par de pontos (p,
P) onde P é um ponto do campo real e p é a sua projeção na imagem. Com este
conjunto de par de pontos é obtida, no passo IV, uma transformação projetiva planar. É
possível que nem todas as linhas contidas na imagem que são projeções das linhas do
campo tenham sido extraídas (por exemplo, linhas mais distantes da câmera, que
aparecem mais apagadas na imagem, podem ter sido omitidas). Por esta razão, a
transformação obtida no passo IV tem caráter preliminar.
Com base nesta
transformação, no passo V uma reconstrução do campo é feita, o que permite fazer, no
passo VI, um melhor ajuste das linhas obtidas, além de ser possível identificar linhas
previamente omitidas. Com esta informação, é obtida, no passo VII a transformação
projetiva final que relaciona pontos da imagem com pontos do gramado. A Figura 5
mostra o resultado obtido ao desenharmos as linhas do campo sobre a imagem, com
base nesta transformação.
A informação do passo VI também permite calibrar a câmera, usando o método
de Tsai, o que é feito no passo VIII. Agora, elementos não contidos no plano do
gramado podem também ser acrescentados à cena. A Figura 6 mostra o resultado de
acrescentar as traves à mesma imagem das figuras anteriores.
Figura 5 – Reconstrução das linhas do campo de futebol.
Figura 6 – Projeção das linhas segundo a câmera encontrada pelo método de
Tsai.
3. Demais funcionalidades de Juiz Virtual
Uma vez realizada a etapa de calibração de câmera, fica estabelecida uma
correspondência projetiva entre os pontos do espaço tridimensional e os pontos da
imagem. Com isto, é possível realizar-se uma série de tarefas, úteis na análise da
imagem de uma jogada.
3.1 Realização de medições sobre o gramado
Dados dois pontos da imagem, correspondentes a pontos do gramado, é possível
recuperar sua posição real no campo. Deste modo, a distância real entre estes pontos
pode ser calculada, como indica a Figura 7. Um uso comum desta funcionalidade é
determinar a que distância do gol ou da barreira o ponto de cobrança de uma falta está.
Figura 7 – Fazendo medições sobre o gramado.
Encontrar a posição no gramado de dois pontos é útil também para verificar
posições de impedimento. Para facilitar esta análise, Juiz Virtual oferece a opção de
exibir paralelas à linha de fundo traçadas por dois pontos, como mostra a Figura 8.
Através da posição relativa destas retas (cuja distância também é fornecida) pode-se
estabelecer se um dado atacante está ou não além da linha do último defensor.
Figura 8 – Verificação de posição de impedimento.
3.2 Obtenção da posição dos objetos da cena
De modo a poder construir uma cena tridimensional correspondente a uma imagem, Juiz
Virtual oferece ferramentas para obter a posição dos demais elementos, além das linhas
do campo, presentes na imagem: os jogadores, o juiz e a bola. Para tal, na versão atual,
é necessária a intervenção do usuário, que deve apontar, na imagem, os chamados
pontos de objeto, que correspondem à base dos objetos no gramado, conforme
ilustrado na Figura 9. Utilizando as equações de projeção da câmera, pode-se recuperar
a posição dos diversos objetos no gramado e, assim, criar objetos virtuais
correspondentes.
Figura 9 – Pontos de objetos indicados na imagem pelo usuário.
3.3 Criação da cena tridimensional
Uma vez determinadas as posições dos objetos, Juiz Virtual cria um ambiente de
visualização para a cena tridimensional correspondente. O passo fundamental é a
tradução dos dados de calibração da câmera para a especificação de câmera do sistema
gráfico utilizado. No caso da biblioteca OpenGL ([Woo+99]), utilizada em Juiz Virtual,
isto implica em fornecer a posição e orientação da câmera e o frustrum de visão. A
posição e orientação da câmera são diretamente obtidas dos parâmetros de câmera
obtidos no processo de calibração. Já para a determinação do frustrum é necessário
calcular o ângulo vertical de visão, a razão de aspecto da janela e as distâncias dos
planos near e far à câmera. Para calcular o ângulo de visão, basta obter, utilizando as
equações de projeção da câmera, a posição no gramado de dois pontos que se projetam
nos pontos médios das linhas inferior e superior da imagem. Estes dois pontos,
juntamente com a posição da câmera, definem o ângulo vertical de visão. A razão de
aspecto é diretamente dada pelas dimensões da imagem. Finalmente, as posições dos
planos near e far são especificadas arbitrariamente, mas de modo a conter todos os
pontos de interesse da cena.
Tendo-se especificado os parâmetros de visualização, pode-se agregar elementos
sintéticos à imagem original, como se mostra na Figura 10.
Figura 10 – Sobrepondo elementos sintéticos à cena.
Pode-se também criar cenas completamente sintéticas, como a mostrada na
Figura 11. Juiz Virtual oferece mecanismos de reposicionamento da câmera, que
permite observar a mesma cena de outra posição, como mostrado na Figura 12.
Figura 11 – Imagem sintética equivalente à cena da Figura 10.
Figura 12 – Outro ponto de vista do mesmo lance.
Com técnicas de estéreoscopia, Juiz Virtual também gera estas imagens
sintéticas para visão estéreo, criando uma segunda câmera com visão paralela à primeira
e com um determinado afastamento. Os sólidos de visão deixam de ser totalmente
simétricos a fim de possuírem um retângulo em comum, onde o campo é projetado.
4. Juiz Virtual na Web
Juiz Virtual tem seu website na Internet [JuizVirtualSite]. Lá, além de informações
sobre o programa, pode-se obter uma versão do programa, com as funcionalidades
descritas acima. O site contém também uma série de cenas previamente calibradas e
com pontos de objeto já determinados, que permitem ir diretamente às funções de
análise e visualização.
É possível, ainda, experimentar alguns dos recursos de Juiz Virtual diretamente
através do navegador web. O programa permite exportar, a partir de uma cena calibrada
e com pontos de objeto determinados, arquivos em formato html e vrml. No primeiro
caso, o arquivo contém os parâmetros para uma applet em Java que permite realizar
medições diretamente no ambiente do navegador. Já o arquivo vrml contém uma
descrição completa da cena, que pode ser visualizada por navegadores com plug-ins
apropriados (Figura 13). Versões em html e vrml estão disponíveis para cada uma das
cenas presentes no site.
Figura 13 – Versão VRML de Juiz Virtual.
5. Conclusões e Trabalhos Futuros
O sistema Juiz Virtual apresenta-se como uma boa ferramenta para auxílio de
comentários sobre uma partida de futebol. Com ele, gera-se uma cena artificial a partir
de uma imagem estática e com isto, podemos analisar um lance de um outro ponto de
vista. Também é possível realizar medidas no plano do campo.
Na versão 2.0, lançada para a copa do mundo de 2002, foi incorporado o
algoritmo para calibração automática de câmera, dispensando a necessidade do usuário
informar ao sistema os pontos de referência.
A exportação para arquivos VRML e Java permite que a aplicação possa ser
utilizada em um número maior de plataformas diferentes.
Pelo fato do Juiz Virtual poder ser executado em diversas plataformas, inclusive
Windows, sem requisitar equipamentos adicionais, seu uso pode ser feito em casa, em
contraste com os recursos utilizados por emissoras de televisão, que dependem de
equipamentos especiais de alto custo.
Diversas aplicações podem ser feitas utilizando as técnicas implementadas no
Juiz Virtual, como inserção de cartazes virtuais fazendo propaganda de algum produto
ou serviço, ou mesmo, informativo. Nas versão futuras, Juiz Virtual desenhará no
campo imagens que facilitam a análise do lance, como por exemplo, circulo delimitando
a distância mínima da barreira ao ponto de cobrança de falta.
Pretende-se também estender as técnicas utilizadas em Juiz de Virtual para a
análise de cenas de outros esportes.
6. Bibliografia
[Carvalho+98]
Carvalho, P.C.P., Szenberg, F., Gattass, M, “Image-Based
Modeling Using a Two-Step Camera Calibration Method”,
Proceedings of International Symposium on Computer Graphics,
Image Processing and Vision, SIBGRAPI’98, October 20-23, pp.
388-395, 1998.
[DigitalReplay]
Digital Replay system, http://www.orad.co.il/sport/Pages/dreplay.h
tm.
[Firstandten]
First and Ten system, http://www.sportvision.com/how_it_works/fi
rst.asp
[GolfProVision]
GolfProVision system, http://www.questec.com/q2001/prod_gf.ht
m.
[Grimson90]
Grimson, W.E.L., “Object Recognition by Computer: The Role of
Geometric Constraints”, Massachusetts Institute of Technology,
1990.
[JuizVirtualSite]
http://www.tecgraf.puc-rio.br/juizvirtual ou http://www.visgraf.imp
a.br/juizvirtual
[PicthTrax]
PicthTrax system, http://www.questec.com/q2001/prod_pt.htm.
[Szenberg01]
Szenberg, F., “Acompanhamento de Cenas com Calibração
Automática de Câmeras”, tese de doutorado, departamento de
informática, PUC-Rio, 2001.
[TennisProVision] TennisProVision system, http://www.questec.com/q2001/prod_tn.h
tm.
[Tsai86]
Tsai, R.Y., “An Efficient and Accurate Camera Calibration
Technique for 3D Machine Vision”, CVPR’86 Proceeding, IEEE
Computer Society Conference on Computer Vision and Pattern
Recognition, Miami Beach, FL, June 22-26, pp. 364-373, 1986.
[VirtuaLive]
VirtuaLive system, http://www.orad.co.il.
[VirtualReplay]
Virtual Replay system, http://www.orad.co.il/sport/Pages/vreplay.h
tm.
[Woo+99]
Woo, M., Neider, J., Davis, T., Shreiner, D., “OpenGL
Programming Guide: The Official Guide to Learning OpenGL,
Version 1.2”, Addison-Wesley, 1999.