Brilliant Solutions for a Safe World
SentiSight Processo da aprendizagem e reconhecimento de objetos
Processo de aprendizagem de objetos
Aprendizagem de objetos
A fim reconhecer um objeto em uma imagem, a aparência de um objeto deve
primeiramente ser memorizada. Na fase de aprendizagem, os algoritmos de SentiSight
extraem características específicas do objeto de um vídeo stream ou de uma única
imagem e salva em o que é sabido como o modelo de um objeto.
Em muitos casos há mais informação um vídeo ou única imagem do que apenas o
objeto que você quer que o SentiSight aprenda, como um fundo, outros objetos no
quarto ou uma mão segurando o objeto. Conseqüentemente, para aprender um objeto, a
informação sobre a posição exata do objeto na imagem deve ser fornecida.
SentiSight suporta 2 métodos da aprendizagem do objeto: manual e automático.
A aprendizagem manual do objeto é apropriada para a maioria de situações. Um usuário
deve executar esta etapa manual de aprendizado do objeto no SentiSight 2.1 SDK:
1. Marque externamente a forma do objeto em uma imagem marcando os pontos de
canto do objeto para construir um polígono. A imagem pode ser fornecida pelo
usuário a partir de 1 imagem de um file, vídeo ao vivo ou vídeo ao vivo stream.
2. Opcionalmente escolha mais imagens do objeto e repita etapa 1 para cada imagem.
O algoritmo ajuda ao usuário estimando uma forma aproximada do objeto se o
objeto em uma imagem for reconhecido usando dados das imagens precedentes.
Aprender o objeto dos lados e dos ângulos diferentes resulta na qualidade melhor
do reconhecimento.
3. Input o nome do objeto aprendido (ID) dentro do sistema.
A aprendizagem automática do objeto é apropriada para objetos móveis de
pouco peso. Este procedimento de aprendizagem é baseado em detectar um
objeto excluindo um suporte de estática do fundo e do objeto (geralmente uma
mão) de uma imagem.
Fone: XX11-3826-5144 Fax : XX11-3826-5144 ramal 25
Home Page Brasil : www.fingersec.com.br Home Page EUA : www.fingersec.com
Email : [email protected]
Brilliant Solutions for a Safe World
Um usuário deve executar estas etapas para o aprendizado automático do objeto no
SentiSight 2.1 SDK: Escolha um fundo estático (preferivelmente liso) e dirija-lhe a
câmera.
1. Escolha um fundo estático (de preferência, suave) e direcionar a câmera para ele.
2. Escolha suporte - Um objeto que será usado para segurar e mover o objeto
aprendido. Uma mão do usuário pode ser o "SUPORTE".
3. Este "suporte" deverá ser apresentado para a primeira câmera, em várias poses e
configurações (se não for objeto rígido) para que possa ser aprendida por
SentiSight.
4. Depois que o suporte tenha sido aprendido, SentiSight está pronto para aprender o
próprio objeto, tendo o suporte gire e mova o objeto mais próximo e mais distante
da câmera.
5. Digite o nome do objeto aprendido (ID) para o sistema.
Conseqüentemente, o método automático requer vídeo ao vivo ou fornecer vídeos
separados de imagens do fundo, do suporte e do objeto. Também, os outros elementos
do fundo podem ser aprendidos junto com o objeto se o objeto for mal separado do
fundo. Isto pode afetar a habilidade do algoritmo de reconhecer as qualidades originais
do objeto e pode resultar na confusão de identificação do objeto com outros objetos que
têm o mesmo fundo.
A aprendizagem manual do objeto deve ser usada para os objetos que não podem ser
movidos ou se não houver nenhuma maneira de fornecer meios separados com os
objetos, fundo e/ou suporte. Assim, a aprendizagem automática fornece menos
quantidade de interação do usuário com o sistema, mas não é tão precisa quanto à
aprendizagem manual. Também a aprendizagem do manual é apropriada para uma
escala maior larga de casos.
Processo de Reconhecimento de Objetos
Reconhecimento de Objetos
Click para zoom
O reconhecimento do objeto não requer nenhuma interação do usuário aparte de
fornecer um vídeo ao vivo com o objeto ou de apontar uma câmera à cena onde o objeto
instruído é apresentado ou aparecerá. Quando o objeto aparece no campo da visão,
SentiSight tenta reconhecê-lo.
Fone: XX11-3826-5144 Fax : XX11-3826-5144 ramal 25
Home Page Brasil : www.fingersec.com.br Home Page EUA : www.fingersec.com
Email : [email protected]
Brilliant Solutions for a Safe World
Se o objeto for reconhecido por SentiSight, será apresentado o seu nome (ID) e as
coordenadas são retornadas. O algoritmo de SentiSight cria um modelo com as vistas
possíveis dos lados diferentes, nas poses 3D diferentes e em condições diferentes do
iluminação no estágio de aprendizagem do objeto. O modelo deste objeto melhora a
potencialidade do reconhecimento.
O reconhecimento do objeto de SentiSight e comparação são rápido - ao redor 10
frames por o segundo para uma única definição do modelo do objeto (320 x 240).
Porém para tarefas quando respostas mais rápidas são requeridas, a biblioteca de
SentiSight 2.1 possui uma modalidade de tracking que permite velocidades de até 20
frames por segundo.
O TRACKING é inicializado se um objeto for reconhecido e encontrado, seguindo o
objeto até que ele mude a aparência de alguma forma, neste ponto o reconhecimento é
reiniciado. A característica de seguir (tracking) é sensível aos fundos complexos, e
seguir é mais difícil com objetos homogêneos
Ir para SentiSight contents
SentiSight Potencialidades e exigências do algoritmo
SentiSight é projetado ser tão universal como possível e pode executar a aprendizagem
inteiramente automática e manual do objeto. Algumas das aplicações potenciais para
SentiSight incluem os sistemas da segurança, sistemas para robôs, visão de máquina
(como o reconhecimento de peças em linhas de produção), os motores de busca que
reconhecem objetos em imagens de Files, em reconhecimentos de sinais da estrada, etc.
O algoritmo de SentiSight 2.1 tem estas potencialidades para aprendizagem e
reconhecimento avançados baseados em visual de objeto:
Detecção apurada de objetos. O SentiSight algoritmo é capaz de encontrar do lado de
fora:
o
o
o

Onde um objeto em particular é apresentado na cena;
Onde o objeto é localizado na cena;
Quantos exemplos de objetos estão na cena;
Simultaneous multiple object recognition. The SentiSight algorithm
provides simultaneous multiple 2D and 3D object detection and recognition
Fone: XX11-3826-5144 Fax : XX11-3826-5144 ramal 25
Home Page Brasil : www.fingersec.com.br Home Page EUA : www.fingersec.com
Email : [email protected]
Brilliant Solutions for a Safe World






Reconhecimento múltiplo simultâneo do objeto. O algoritmo de SentiSight
fornece o múltiplo e simultâneo reconhecimento e detecção de objetos 2D e 3D
Avaliação do objeto. O algoritmo pode também estimar a região que um objeto
ocupa em uma cena, fornecendo a informação adicional sobre o tamanho, a
orientação e a escala do objeto reconhecido.
Processamento de imagem rápido. SentiSight pode processar os vídeo stream em
tempo real, assim pode ser utilizado para aplicações em tempo real.
Tolerância da rotação e da translação. O algoritmo é tolerante a rotação e
translação variante em uma perpendicular do plano à câmera.
Tolerância livre da rotação. O algoritmo é invariante para rotações até 10-15
graus fora de uma perpendicular do plano à câmera. As vistas diferentes de um
objeto podem ser adicionadas a um modelo para assegurar rotações maiores.
Definição e escala de tolerância. A diferença da escala (tamanho na imagem)
entre o modelo do objeto e o objeto próprio pode ser até 2-3 vezes. Os objetos
devem conter muitos detalhes, e devem ser grandes o bastante para ser
reconhecidos.
Tolerância das oclusões. O algoritmo é robusto às oclusões tão grandes como
50% do tamanho dos objetos.
Estas condições podem alterar o desempenho do algoritmo a posterior:



Condições de Iluminação (iluminação, sombras e reflexões). Os objetos Planos
têm somente problemas com reflexões. Os objetos 3D têm problemas com
condições variando de iluminação, mas as condições constantes de iluminação não
causam muitos problemas.
Transparência. Os objetos geralmente transparentes são difíceis de reconhecer.
Rigidez. O algoritmo pode reconhecer somente objetos rígidos. Pelo menos a parte
significativa do objeto deve ser rígida.
Todas as avaliações de desempenho foram executadas usando a PC com 2.4 GHz Intel
Core2 Duo CPU
Ir para SentiSight contents
Fone: XX11-3826-5144 Fax : XX11-3826-5144 ramal 25
Home Page Brasil : www.fingersec.com.br Home Page EUA : www.fingersec.com
Email : [email protected]
Brilliant Solutions for a Safe World
Testes da confiabilidade e especificações técnicas
SentiSight 2.1 foi testado com imagens do objeto de muitas câmeras. Em 0.1% taxas
falsas da aceitação (FAR), a taxa do reconhecimento é de 70% a mais de 99%
dependendo da aparência estrutural do objeto, da transparência, etc. Para objetos com
estrutura internas bem definida, a taxa do reconhecimento é 98% - 99% em 0.1% FAR.
SentiSight 2.1 algoritmo especificação técnica
Tamanho recomendado da imagem para
tempo real de operação em processador
moderno
320 x 240 pixels
Separação do objeto /Plano de Fundo
Estático
(320 x 240 imagem tamanho)
20 frames/seg
Aprendizado: Processando um objeto
simples em frame
(320 x 240 imagem tamanho)
0.05 seg.
Aprendizado: Tempo de Generalização
(para 100 frames do objeto)
Reconhecimento velocidade de um frame
imagem para um modelo de simples objeto
(incluindo processamento da imagem)
6 seg.
~ 10 frames/seg.
Reconhecimento velocidade a partir de uma
~ 20 modelos/seg
imagem modelo de um simples objeto
(excluindo processamento da imagem)
Todas as avaliações de desempenho foram executadas usando a PC com 2.4 GHz Intel
Core2 Duo CPU
Ir para SentiSight contents
Fone: XX11-3826-5144 Fax : XX11-3826-5144 ramal 25
Home Page Brasil : www.fingersec.com.br Home Page EUA : www.fingersec.com
Email : [email protected]