Novas abordagens para busca por retrato falado:
manipulação de imagem para identificação de
suspeitos via algoritmo evolutivo
Jorge Augusto Hongo
Marcelo Batalha
Série de Seminários
Disciplina de Análise Forense de
Documentos Digitais
Prof. Dr. Anderson Rocha
[email protected]
http://www.ic.unicamp.br/~rocha
Organização
Organização
‣
‣
‣
‣
‣
Dificuldades do processo forense
Exemplificação: identificação entre raças/etnias diferentes
Premissas do retrato falado
Algoritmo do programa de composição de faces
Aplicações em forense e outros campos
Seminários – Análise Forense de Documentos Digitais, 2011
4
Introdução
Dificuldades do processo forense
‣
‣
‣
A definição de sucesso para a polícia: nomear o criminoso, prendê-lo e provar a sua
participação no crime
O retrato falado é usado na tentativa de obter pelo menos o primeiro aspecto do sucesso
Restrição da memória: aspectos psicológicos e técnicos para a obtenção de um retrato
falado
Seminários – Análise Forense de Documentos Digitais, 2011
6
Efeito Cross-race
‣
‣
‣
‣
‣
‣
O reconhecimento de face serve como uma evidencia forense e nas cortes tem a influencia direta sobre os
jurados.
Infelizmente o reconhecimento pela testemunha ocular é imperfeita e pode levar a julgamentos errôneos como
demonstram algumas pesquisas que utilizam o teste de DNA em casos de revisão judicial da pena. [Scheck et al.
2000 apud MacLin et al. 2001]
Os autores examinaram 62 casos, nos quais 52, em que os suspeitos julgados culpados pelo reconhecimento de
face, foram atestados como erros.
Nesses casos 69% das vitimas que reconheceram o culpado eram brancos e 57% dos que foram inocentados
eram negros, o que aponta uma identificação e julgamento pautado por questões de raça.
A psicologia social, que problematiza e investiga a identificação de suspeitos por vítimas levando em consideração
a raça, trabalha com a teoria do cross-race effect, ou seja, a identificação e o reconhecimento de faces de
indivíduos e grupos pautados por questões raciais.
O efeito cross-race tem uma forte ligação com o fenômeno chamado de grupo de vantagem; o que na sociologia
se conhece por insiders e outsiders. O grupo de vantagem significa que as pessoas avaliam e julgam os membros
do seu próprio grupo como melhor e mais justo do que membros de outros grupos (outsiders). O significado do
grupo pode se referir a família, colegas de equipe em um time de futebol, colegas, diferentes raças, mesmo toda a
humanidade.
Seminários – Análise Forense de Documentos Digitais, 2011
7
‣
‣
‣
‣
‣
‣
‣
‣
‣
Psicólogos sociais provaram nos últimos 30 anos que, mesmo o menor aspecto de diferenciação, como a preferência para o sabor
de sorvete ou estilo de música, pode desencadear grupos de vantagem.
Se o fator grupo de construção é a raça de uma pessoa, então o efeito cross race aparece. O favoritismo dos membros do seu
grupo também resulta da motivação e da diminuição inata para reconhecer o rosto de uma pessoa de outro grupo ou cultura.
Em [Hess et al. 1995] fica claro que a motivação para decodificar a expressão emocional facial diminui instantaneamente quando o
indivíduo percebe que a outra pessoa pertencia a uma outra raça.
O comportamento típico de raça [Slone et al. 2000] tem chamado a atenção para a questão do etnocentrismo e suas
consequências, que no limite leva a atitudes negativas frente a outra raça, como o não reconhecimento ou distinção de um
indíviduo categorizado como pertencente a uma raça tida com preconceito.
É por esse viés que as pesquisas que envolvem o problema do reconhecimento de faces e questões criminais, como bancos de
dados e reconhecimento de vítimas e suspeitas enveredam.
O efeito cross-race influenciam nas nossas percepções, motivações, expectativas e cognição social. Em termos de nossa
percepção de rostos, estudos têm mostrado que o reconhecimento de faces raciais ambíguas que têm sido identificadas como uma
raça ou outra com base em seu penteado. Da mesma forma, faces com luminosidade ambígua, mas iguais, são interpretados como
mais escuro ou mais claro quando acompanhado pelo rótulo de preto ou branco, respectivamente.
A grande maioria dos estudos percorreram pelo interesse entre brancos e negros, mas novas pesquisas tem colocado em teste o
reconhecimento de hispanicos e negros [MacLin et al. 2001]: mesmo sendo duas raças estigmatizadas por ser imigrantes e
socialmente inferiores, os resultados do efeito cross-race foram proporcionais aos efeitos entre brancos e negros
[Slone et al. 2000] trabalha com o pressuposto do reconhecimento e da familiaridade para o caso de cross-race: o que ele busca é
identificar quando a convivência com pessoas de outras raças estimula ou desestimula o reconhecimento de face, tendo como
hipótese que a convivencia entre raças diferentes ativam a memória de reconhecimento individual para pessoas de raças
diferentes: distinção x todos parecem iguais!
Se é reconhecido o efeito cross-race e que a maioria das identificações e reconhecimento de faces são baseados em paramêtros
de raça, tem-se que ter em conta este fenômeno crítico tanto para o desenvolvimento técnico quanto para as questões forenses
que envolvem o reconhecimento de face.
Seminários – Análise Forense de Documentos Digitais, 2011
8
Premissas do retrato falado
‣
‣
‣
‣
A produção de um retrato falado tem o objetivo de identificar um criminoso a partir da
memória de uma testemunha ocular ou vítima.
O método usual envolve a identificação do rosto por meio da descrição de características,
cada uma isoladamente.
Questão da dificuldade de identificação: memorização holística de rostos não tratada pelas
técnicas tradicionais
Implicações de usar abordagens holísticas no projeto do programa e no treinamento da
força policial
Seminários – Análise Forense de Documentos Digitais, 2011
9
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
[Sinha et al. 2006]
Segundo os autores o objetivo principal dos pesquisadores em visão
computacional, incluindo a manipulação de imagens, para fins de
reconhecimento, é aproximar os sistemas computacionais, ou mesmo
superar a performance do olho humano. Para isso, defendem os autores, os
pesquisadores desse campo devem conhecer como o sistema de visão
humano funciona.
Apesar de não formularem uma teoria sobre o funcionamento da visão
humana, os pesquisadores aprensentam 19 pontos do funcionamento da
visão e reconhecimento de faces humano, sobre os quais considera
pertinentes para os pesquisadores em visão computacional. Estes pontos
embasam a premissa do algoritmo e os cuidados no seu conjunto de
treinamento.
Seminários – Análise Forense de Documentos Digitais, 2011
10
SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nneteen results all
computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.
Os 19 resultados estão distribuídos assim:
• Reconhecimento como função de resolução do espaço disponível:
Resultado 1. Como os humanos reconhecem uma face familiar em imagens de baixa resolução.
Resultado 2. A capacidade de toletar aumentos de degradações aumenta com a familiaridade.
Resultado 3. Alta frequência de informação por si só é insuficiente para o reconhecimento facial de boa performance.
• A natureza do processamento: parte x todo:
Resultado 4. Características faciais são processados holisticamente.
Resultado 5. Das diferentes características faciais, sobrancelhas estão entre os mais importantes para o reconhecimento.
Resultado 6. As importantes relações configurais parecem ser independentes das dimensões de larrgura e altura.
• A natureza dos sinais utilizados: pigmentação, forma e movimento
Resultado 7: Face-forma parece ser codificado em uma forma ligeiramente caricatural.
Resultado 8: visualização rosto prolongada pode levar a sequelas de alto nível, o que sugere protótipo baseado em codificação.
Resultado 9: sinais de pigmentação são pelo menos tão importante como pistas da forma.
Resultado 10: dicas de cores desempenham um papel significativo, especialmente quando deixas forma são degradadas.
Resultado 11: Inversão de polaridade do contraste dramaticamente prejudica desempenho do reconhecimento, possivelmente
devido à capacidade comprometida para usar pistas pigmentação.
Resultado 12: A iluminação muda e influencia no reconhecimento.
Resultado 13: Ver generalização parece ser mediada pela associação temporal.
Resultado 14: Moção de faces aparece para facilitar o reconhecimento posterior.
• Progressão do desenvolvimento
Resultado 15: O sistema visual começa com um rudimentar preferência por padrões de semelhança a faces.
Resultado 16: O sistema visual progride a partir de um fragmento para uma estratégia holística com o avanço da idade.
• Bases Neurais
Resultado 17: O sistema visual humano aparece para se dedicar recursos especializados neural para o rosto percepção.
Resultado 18: Latência de respostas para rostos em inferotemporal (TI) córtex é cerca de 120 ms, sugerindo um cálculo grande de
demanda e resposta neural.
Resultado 19: identidade e expressão facial pode ser processado por sistemas separados.
Seminários – Análise Forense de Documentos Digitais, 2011
11
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nneteen results all
computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.
Resultado 1. Como os humanos reconhecem uma face familiar em imagens de baixa
resolução.
© Sinha et tal (2006)
‣
Diferente dos sistemas automatizados os humanos podem identificar
faces com a diminuição da qualidade da imagem. Por exemplo,
reconhecemos muitos dos personagens aqui apresentados. Em ordem:
Michael Jordan, Wooy Allen, Goldie Hawn, Bill Clinton, Tom Hanks,
Saddam Houssein, Elvis Presley, Jay Leno, Dustin Hoffman, Príncipe
Charles, Cher e Richard Nixon.
Seminários – Análise Forense de Documentos Digitais, 2011
12
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nneteen results all
computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.
Resultado 2. A capacidade de toletar aumentos de degradações aumenta com a
familiaridade.
© Sinha et tal (2006)
‣
Quadros de uma sequencia de imagens vídeo interno: (a) imagem orginal;
(b) corpo coberto; (c) face coberta. Baseados nessa manipulação, os
pesquisadores concluiram que o reconhecimentode uma pessoa familiar
através de imagens de baixa definição aumenta com a visão da face.
Seminários – Análise Forense de Documentos Digitais, 2011
13
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
Resultado 4. Características faciais são processados holisticamente.
© Sinha et tal (2006)
‣
Tente nomear os rostos das celebridades representados nas duas metades
do imagem da esquerda. Agora tente a imagem certa. Os indivíduos acham
muito mais difícil executar esta tarefa, quando as metades estão alinhados
(à esquerda) em comparação com as metades desalinhadas (direita),
porque o processamento holístico presumivelmente interage (e neste caso,
interfere) com o recurso baseado em processamento. Os dois indivíduos
aqui mostrados são Woody Allen e Oprah Winfrey.
Seminários – Análise Forense de Documentos Digitais, 2011
14
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
Resultado 6. As importantes relações configurais parecem ser independentes das
dimensões de larrgura e altura.
© Sinha et tal (2006)
‣
Poucos sistemas de visão computacional trabalham com medições precisas
de atributos como a distância entre os olhos largura da boca, e comprimento
de nariz. No entanto, parece que o sistema visual humano não depende
criticamente sobre essas medidas. Mesmo compressões drástica de rostos
não torná-los irreconhecível. Aqui, os rostos das celebridades foram
comprimidos a 25% da sua largura original. No entanto, o desempenho de
reconhecimento, com este conjunto é o mesmo que o obtido com os rostos
original.
Seminários – Análise Forense de Documentos Digitais, 2011
15
Algoritmo do software - Mapeamento
‣
‣
‣
‣
‣
O programa estabelece um conjunto de descritores a serem permutados aleatoriamente por
meio de PCA (Principal Component Analysis) segundo 4 etapas:
1ª etapa: Anotação de uma amostragem com marcações para definir o atributo a ter a sua
variação mapeada
2ª etapa: Extração da intensidade dos pixels ao redor das marcações para definir um vetor
com a forma normalizada
3ª etapa: separação dos PCA destas duas classes de atributos para definir os modos
dominantes de variação em relação à forma e textura , com adicional redução de
dimensionalidade da representação das duas características.
4ª etapa: aplicação adicional do PCA para reduzir os vetores de textura e forma para vetores
de aparência/anatomia facial.
Seminários – Análise Forense de Documentos Digitais, 2011
16
Algoritmo do software - Mapeamento
‣
‣
3ª etapa: separação dos PCA destas duas classes de atributos para definir os modos
dominantes de variação em relação à forma e textura , com adicional redução de
dimensionalidade da representação das duas características.
4ª etapa: aplicação adicional do PCA para reduzir os vetores de textura e forma para vetores
de aparência/anatomia facial.
Seminários – Análise Forense de Documentos Digitais, 2011
17
Algoritmo do software – Modelando etnias
‣
‣
O algoritmo possui uma função dedicada a geração de faces segundo um grupo étnico para
ajudar na convergência da face
Esta mapeia N variáveis com distribuição normal independentes em torno de uma matriz de
covariância de uma amostra, dada por c
Seminários – Análise Forense de Documentos Digitais, 2011
18
Algoritmo do software – Evolução iterativa
‣
‣
‣
‣
A construção da face do indivíduo ocorre por meio de uma busca no qual nove rostos são
gerados por iteração, no qual um rosto é escolhido como o mais parecido. Há a
possibilidade de rejeitar alguns rostos explicitamente.
O genótipo relacionado ao rosto escolhido é clonado e perturbado segundo uma
probabilidade decrescente conforme o número de iterações.
Nove rostos são gerados a partir desse passo e disponibilizados em ordem aleatória.
Estes passos são repetidos até obter um rosto com proximidade satisfatória.
Seminários – Análise Forense de Documentos Digitais, 2011
19
Algoritmo do software – Evolução iterativa
‣
‣
‣
A construção da face do indivíduo ocorre por meio de uma busca no qual nove rostos são
gerados por iteração, no qual um rosto é escolhido como o mais parecido. Há a
possibilidade de rejeitar alguns rostos explicitamente.
O genótipo relacionado ao rosto escolhido é clonado e perturbado segundo uma
probabilidade decrescente conforme o número de iterações.
Em um trabalho relacionado [Heidelberg et al. 2009], o uso deste conceito para
produzir rostos caricaturados aumentou a taxa de reconhecimento dos rostos de
24,5% para 42%.
Seminários – Análise Forense de Documentos Digitais, 2011
20
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
Resultado 7: Face-forma parece ser codificado em uma forma ligeiramente caricatural.
© Sinha et tal (2006)
‣
Especificamente, as caricaturas de faces têm demonstrado apoio ao
desempenho de reconhecimento pelo menos, igual ou melhor do que o
alcançado com faces verídicas. Rostos caricaturados podem ser criados
para exagerar desvios na forma por si só ou uma combinação de desvios na
forma e sinais de pigmentação. Em ambos os casos, os indivíduos
apresentam uma pequena, mas consistente, preferências para rostos
caricaturados. Exemplo de um rosto caricatura. (A) face média do sexo
feminino para uma população face particular é apresentada, bem como a
(B)''''verídica imagem de um cara exemplar. (C) Criamos uma versão
caricatural do exemplar, afastando-se a norma, assim, exagerando
diferenças entre a face média eo exemplar. resultado é um rosto com
formato''''caricaturado e pigmentação. tais caricaturas são reconhecidos tão
bem ou melhor do que as imagens verídicas.
Seminários – Análise Forense de Documentos Digitais, 2011
21
Detalhes adicionais
‣
O programa utiliza a possibilidade de rejeitar faces explicitamente para acelerar a
convergência da busca para o rosto desejado; se um genótipo g(x) recair a um valor
negativo, a probabilidade dela reaparecer é reduzida.
Seminários – Análise Forense de Documentos Digitais, 2011
22
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
Resultado 9: sinais de pigmentação são pelo menos tão importantes quanto a forma da
face.
© Sinha et tal (2006)
‣
Existem duas formas básicas de se diferenciar uma face, em termos de sua
forma, e em termos de como eles refletem a luz, ou a sua pigmentação. Por
pigmentação, nos referimos a todas as propriedades da superfície de
reflexão, incluindo albedo, especularidade, matiz, translucidez, variação
espacial. Ao se referir a todos as propriedades de reflectância das faces, nós
preferimos a pigmentação (ou aparência de superfície) ao invés de termos
como textura ou cor, mais são comumente usados ​para se referem a
subconjuntos específicos de propriedades de reflectância de superfície
(variação espacial no albedo e uma maior reflexão de comprimentos de
onda particular, respectivamente).
Seminários – Análise Forense de Documentos Digitais, 2011
23
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
Resultado 10: dicas de cores desempenham um papel significativo, especialmente quando
deixas forma são degradadas.
© Sinha et tal (2006)
‣
Precisamente como é que a cor informações facilitar o reconhecimento face? Uma possibilidade é
que a cor fornece informações de diagnóstico. A expressão informações de diagnóstico refere-se a
sugestões de cores que são específicos a um indivíduo, por exemplo, a matiz particular de seu
cabelo ou da pele que pode nos permitir identificá-los. Por outro lado, a cor pode facilitar a análise
de imagens de baixo nível, e assim, indiretamente, ajudar no reconhecimento facial. Um exemplo
de uma tarefa de baixo nível é determinar onde termina uma região e começa o outro em uma
segmentação na imagem.
As pesquisas na visão computacional tem mostrado que esta tarefa é notoriamente difícil e tornase ainda mais difíceis quando as imagens são degradadas. A cor pode facilitar esta tarefa,
completando a luminância baseado sugestões e, assim, levar a uma melhor análise de um rosto
em termos de suas regiões que o constituem.
Seminários – Análise Forense de Documentos Digitais, 2011
24
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
© Sinha et tal (2006)
Resultado 11: inversão de polaridade do contraste dramaticamente prejudica desempenho do
reconhecimento, possivelmente devido à capacidade comprometida para usar pistas
pigmentação.
Técnicos que trabalham na indústria de retoque de fotos há várias décadas percebeu
que eram particularmente caras difícil reconhecer quando vistos em contraste
invertida, como em negativos fotográficos. Posteriormente, o fenômeno tem sido
estudado extensivamente com a crença de determinar como o reconhecimento pode
ser prejudicado, e assim nos ajudar a compreender como ele funciona em condições
normais. O contraste de negação é uma manipulação reversível que não remove
qualquer informação a partir da imagem. Embora nenhuma informação é
perdido, a nossa capacidade de utilizar as informações de que a imagem é
severamente comprometida, supostamente devido a ausencia e a dificuldade de
identificação de cores.
Seminários – Análise Forense de Documentos Digitais, 2011
25
Reconhecimento de faces por humanos: o que os pesquisadores em visão
computacional deveriam saber
© Sinha et tal (2006)
Resultado 12: A iluminação muda e influencia no reconhecimento.
Estas duas imagens demonstram o tipo de iluminação
utilizada no experimento. Depois de ser mostrado um
imagem como a da esquerda, os indivíduos foram
apresentados a direita e indagados se seriam a mesma
face. Apesar dos indivíduos de atrapalharem em afirmar
categoricamente que é o mesmo rosto, o fizeram pela
capacidade de generalização das faces, reconhecendo
que a luminosidade dava a aparência de ser faces
diferentes.
Seminários – Análise Forense de Documentos Digitais, 2011
26
Usos recentes
‣
‣
Na área forense, softwares de composição de faces via algoritmos evolutivos foram usados
sobretudo em países europeus para a identificação de criminosos; nos casos abaixo, os
retratos gerados foram usados para estabelecer a conexão entre crimes distintos.
Há pesquisas em outras áreas fazendo uso deste programa para a identificação de padrões
matemáticos na percepção de características humanas.
Seminários – Análise Forense de Documentos Digitais, 2011
27
Casos
Seminários – Análise Forense de Documentos Digitais, 2011
28
Outras aplicações
Seminários – Análise Forense de Documentos Digitais, 2011
29
Referências
Referências
[Springer et al. 2009] SOLOMON, Christopher; GIBSON, Stuart; MAYLIN, Matthew. A New Computational Methodologyfor
the Construction of Forensic, Facial Composites. IWCF '09 Proceedings of the 3rd International Workshop on
Computational Forensics
[Hess et al. 1995] HESS, U.; KAPPAS, A.; BAUSE, R. The intensity of facial expression is determined by underlying
affective states and social situations. Journal of Personality and Social Psychology, Band 69(2), S. 280-288
[Sinha et al. 2006] SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by
Humans: nineteen results all computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11,
2006, p. 1948-1962.
[MacLin et al. 2001] MACLIN, Otto; MACLIN, Kimberly; MALPASS, Roy. Race, Arousal, Attention, Exposure and Delay: an
examination of factors moderating face recognition. Psychology, Public Policy and Law, Vol. 7, No. 1, 2001, p. 134-152.
[Scheck et al. 2000] SCHECK, B.; NEUFELD, P.; DWYER, J. Actual Innocence: five days to execution and other
dispatches from the wrongly convicted. New York: Doubleday, 2000.
[Slone et al. 2000] SLONE, Ashlyn; BRIGHAM, John; MEISSNER, Christian. Social and Cognitive Factors Affecting the
Own-Race Bias in Whites. Basic and Applied Social Psychology, Vol. 22, No. 2, 2000, p. 71-84.
[Heidelberg et al. 2009] FROWD, C.; BRUCE, V.; HANCOCK, P.; MCINTRE, A.; PITCHFORD, M.; ATKINS, R.;
WEBSTER, A.; POLLARD, J.; HUNT, B.; PRICE, E.; MORGAN, S.; STOIKA, A.; DUGHILA, R.; MAFTEI, S.; SENDREA,
G. Giving crime the ‘evo’: catching criminals using EvoFIT facial composites. Emerging Security Technologies (EST),
2010 International Conference on.
Seminários – Análise Forense de Documentos Digitais, 2011
31
Obrigado!