Calibração de câmeras e
projetores
Paulo Cezar P. Carvalho
Luis Antonio Rivera Escriba
Reconstrução tridimensional
• Princípio: estereoscopia (visão binocular)
• Necessário conhecer a relação entre pontos da
imagem e os pontos correspondentes do espaço.
Modelagem e calibração de
câmeras
• Modelagem
Qual é a forma da função que associa a cada
ponto do espaço sua posição na imagem?
De que parâmetros depende?
• Calibração
Para uma câmera específica, quais são os
valores destes parâmetros?
Modelos de câmera
Modelos de câmera
• Câmera pin-hole
equivalente
• Deformação radial causada pelas lentes
(modelo empírico)
Câmera pin-hole
• Projeção perspectiva
• Que técnicas matemáticas são apropriadas para lidar com
projeções perspectivas?
Geometria Projetiva
• Espaço projetivo RPn
Retas pela origem em Rn+1
• Coordenadas homogêneas
(x, y)  [x, y, 1]  [lx, ly, l]
[u, v, w] = {l(u, v, w) | l ≠ 0}
1
R2
ponto (u/w, v/w)
vetor (u’, v’)
[u’, v’, 0] = {l(u’, v’, 0) | l ≠ 0}
Colineações e transformações projetivas
• Transformações lineares em Rn+1 
Colineações em RPn 
Transformações projetivas em Rn
A’
B’
 x
 x u 
 x  
 u / w




   y  [ P ] y  v  







v / w
 y  1 





 
 1   w
1
C
B
R2
A
A’’ B’’
C’
C’’
Projeção Perspectiva
P = (X,Y,Z)
fX
fY
x
, y
Z
Z
y
p = (x, y)
x
Y
Z
f
 x  f
 y   0
  
 1   0
X
0
f
0
X 
0 0  
Y


0 0
Z 
1 0  
1
Transformação de câmera
• Quatro sistemas de coordenadas
–
–
–
–
do mundo (SCM)
da câmera (SCC)
da imagem (SCI)
em pixels (SCP)
P = (X,Y, Z)
y
~
Y
x
• Três transformações
SCI
Z
~
Z
~
O
SCC
~
X
v
X
(u,v)
O
SCM
Y
u
SCP
SCM  SCC
• Mudança de referencial
~
X 
X 
 ~
Y 
R
T


Y
 
 
~


Z  0 1  Z 
 
 
 1 
1
P = (X,Y, Z)
y
~
Y
x
SCI
Z
~
Z
~
O
SCC
~
X
v
X
(u,v)
O
SCM
Y
u
SCP
SCC  SCI
• Projeção perspectiva
 x  f
 y   0
  
 1   0
0
f
0
0 0
0 0
1 0
~
X 
 ~
Y 
 Z~ 
 
 1 
P = (X,Y, Z)
y
~
Y
x
SCI
Z
~
Z
~
O
SCC
~
X
v
X
(u,v)
O
SCM
Y
u
SCP
SCI  SCP
• Transformação afim
P = (X,Y, Z)
y
u   s x
  
v    0
 1   0


sy
0
u0 

v0 

1
 x
 
 y
 1 
~
Y
x
SCI
Z
~
Z
~
O
SCC
~
X
v
X
(u,v)
O
SCM
Y
u
SCP
Compondo as transformações
u   s x
v    0
  
1   0

sy
0
u   f x
v    0
  
1   0
c
fy
0
[ p]  K
X 
0 0
Y 
R
T


 
0 0 

0 1  Z 


1 0
 
1
X 
u0 
Y 

v0  R T   
Z 

1
 
1
u0   f
v0   0
1   0
R
T
0
f
0
P
parâmetros extrínsecos
parâmetros intrínsecos
Calibração de câmera
• Problema: obter os parâmetros extrínsecos (R, T)
e intrínsecos (K) da transformação projetiva de
câmera.
• Dados: n pares de pontos correspondentes (Pi, pi)
na cena e na imagem.
Calibração de câmeras
• Calibração  estimação de parâmetros 
otimização
min  | pi  f K ,R,T ( Pi ) |
2
K , R,T
pontos da cena
projeção (função não linear)
pontos da imagem
Resolvendo o problema de otimização
• Otimização não-linear
• Obtenção de uma boa solução inicial
• Utilização de um método iterativo para
melhorar a solução obtida
Resolvendo o problema de otimização
• Otimização não-linear
• Obtenção de uma boa solução inicial
– método de Tsai
– método de Zhang
• Utilização de um método iterativo para
melhorar a solução obtida
– método de Levenberg-Marquardt
Resolvendo o problema de otimização
• Otimização não-linear
• Obtenção de uma boa solução inicial
– método de Tsai
– método de Zhang
• Utilização de um método iterativo para
melhorar a solução obtida
– método de Levenberg-Marquardt
Método de Tsai
• Padrão de calibração bidimensional (também há
uma versão para padrão tridimensional).
• Modelo mais restrito de câmera (ponto principal
conhecido e pixels quadrados).
f
K   0
 0
0
f
0
0
0
1
• Resolve uma sequência de problemas de mínimos
quadrados lineares
Método de Tsai
• Parâmetros
 rxx rxy

R  ryx ryy
 rzx rzy


rxz 

ryz  (matriz ortonormal
)
rzz 
T  Tx Ty Tz

(em metros),
f (em pixels)
• Dados
Pi = (Xi, Yi, 0), pi = (ui, vi, 0), i = 1, 2, ..., n
Método de Tsai
• Cada par cena-imagem fornece uma equação envolvendo
U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty
ui  f
rxx X i  rxyYi  Tx
rzx X i  rzyYi  Tz
, vi  f
rxx X i  rxyYi  Ty
rzx X i  rzyYi  Tz
rxy
Tx
rxx
Yi 
Xi 
Ty
Ty
ui rxx X i  rxyYi  Tx Ty


ryy
ryx
vi ryx X i  ryyYi  Ty
Yi  1
Xi 
Ty
Ty
vi X iU1  viYiU 2  viU 3  ui X iU 4  uiYiU 5  ui
Método de Tsai
• Os valores de U1, ..., U5 são encontrados
resolvendo um sistema de equações lineares
com mais equações do que incógnitas
(mínimos quadrados).
• As condições de ortonormalidade permitem,
a partir daí, obter R, Tx e Ty.
(ficam faltando f e Tz)
Método de Tsai
• Os valores de f e Tz são encontrados por
meio de outro problema de mínimos
quadrados.
ui  f
rxx X i  rxyYi  Tx
rzx X i  rzyYi  Tz
, vi  f
rxx X i  rxyYi  Ty
rzx X i  rzyYi  Tz

(rxx X i  rxyYi  Tx ) f  uiTz  ui (rzx X i  rzyYi )


(ryx X i  ryyYi  Ty ) f  viTz  vi (rzx X i  rzyYi )
Exemplo
Exemplo
cena: (0, 13.84, 0)
imagem: (15, 254)
Z
Y
X
 0.7847 0.6195  0.0201
 20.2297


R   0.1515  0.2231  0.9629, T   3.6184, f  1755.14
 0.6010 0.7526  0.2690
 56.7600
Posição da câmera: RtT  (49 m, 29 m, 18 m)
Possíveis arquiteturas
• Somente câmeras (calibradas)
• Câmera e projetor (ambos calibrados)
• Câmeras (calibradas) e projetor (não
calibrado)
Calibração conjunta de câmeras
• Padrão de calibração estacionário
• Parâmetros extrínsecos com relação a este sistema
Calibração câmera-projetor
• Projetor não pode ser calibrado diretamente
através de padrão de calibração!
Calibração câmera-projetor
• Câmera calibrada
normalmente
(com padrão de calibração)
• Projetor calibrado através da
câmera: projeção de padrão
conhecido sobre o plano do
padrão de calibração
Calibração câmera-projetor
• Câmera já calibrada, com parâmetros K, R, t
• Para cada ponto, correspondência entre
– ponto (u, v) da imagem projetada (em pixels)
– ponto do plano z = 0 do mundo, obtido resolvendo
 x   wu '
K [ R t ]  y    wv ' 
 0   w 
onde (u’, v’) são as coordenadas na imagem capturada
Exemplo
CAMERA
fc: 539.464252
Rc:
0.948741 -0.195518 0.248319
0.009372 0.802746 0.596248
-0.315915 -0.563358 0.763430
Tc:
-26.773141 -18.953860 118.435571
CAMERA  PROJETOR
Rcp:
0.957363 0.001997 -0.288881
0.049429 0.984097 0.170614
0.284627 -0.177619 0.942040
PROJETOR
fp: 1682.618801
Rp:
0.999570 -0.022836 0.018382
0.002219 0.684199 0.729292
-0.029231 -0.728938 0.683955
Tp:
-20.237278 -11.698420 221.246040
Tcp:
39.645942 -11.929347 113.928842