Aprendizagem
Viviane Torres da Silva
[email protected]
http://www.ic.uff.br/~viviane.silva/2010.1/isma
Introdução

Sistemas de aprendizagem são sistemas adaptáveis e com
técnicas de aprendizagem

O conjunto de situações é tão grande que não definimos todas
as possibilidades quando descrevemos o problema

Aprendizagem: melhora do comportamento futuro baseado na
experiência passada

Normalmente dizemos que se o agente inteligente então é
porque ele tem a capacidade de aprender. E se tem a
capacidade de aprender então é porque o agente é inteligente.
Aprendizagem

Aprendizagem de um agente
– O agente tem a capacidade de aprender e melhorar seu rendimento e o
rendimento do sistema

Aprendizagem do sistema multi-agente
– Não é simplesmente a soma da aprendizagem de todos os agentes do
sistema de maneira isolada
– A aprendizagem de um agente é influenciada pelos demais agentes
– Vários agentes podem aprender de uma maneira distribuída e interativa
como se fossem um único corpo
Categoria principal

Processo de aprendizagem: planejamento, inferência e passos
de decisões

Aprendizagem centralizado (aprendizagem isolada)
– Todos as etapas do processo de aprendizagem são executadas por um
único agente que não interage com os outros
– O agente é completamente independente dos outros

Aprendizagem descentralizada (aprendizagem interativa)
– Vários agentes estão envolvidos no processo de aprendizagem
– As atividades do processo de aprendizagem são executadas por
diferentes agentes
Características da aprendizagem

I/IV
Grau de descentralização
– Distribuição e paralelismo das atividades do processo de aprendizagem

Características especificas da interação
– Nível de interação (desde pura observação até diálogos complexos
como a negociação)
– Persistência da interação (desde pouca até muita)
– Freqüência da interação (desde pouca interação até muita)
– Padrão de interação (desde completamente não estruturada até
hierárquica)
– Variedade da interação (desde fixa até variável)

Características específicas do envolvimento
– Relevância do envolvimento
– Papel desempenhado na interação (generalista, aquele executa todas as
tarefas do processo de aprendizagem, ou especialista, que executa
somente algumas)
Características da aprendizagem

II/IV
Características específicas do objetivo
– Tipo de melhora que o agente deseja alcançar com a aprendizagem
– Compatibilidade entre os objetivos de aprendizagem dos agentes

Método ou estratégia de aprendizagem
– Aprendizagem direta (implantação do conhecimento sem necessidade de
inferência do aprendiz)
– Aprendizagem a partir de um conselho ou instrução (aprende quando
recebe um conselho, não foi una experiência do agente)
– Aprendizagem por exemplos ou práticas (extração ou refinamento do
conhecimento a partir de experiências positivas ou negativas)
– Aprendizagem por analogia (conhecimento adquirido a partir de
soluções de problemas similares)
– Aprendizagem por descoberta (conhecimento adquirido a partir de
observações, execuções de experimentos, teste de hipóteses,…)
Características da aprendizagem

III/IV
Reação da aprendizagem
– Aprendizagem inspecionada
• a resposta enviada pelo tutor especifica as atividades desejadas
• o objetivo da aprendizagem é treinar os agentes
– Aprendizagem por reforço
• a resposta somente informa a utilidade da atividade realizada pelo
aprendiz
• o objetivo da aprendizagem é maximizar a função de utilidade
– Aprendizagem não inspecionada
• Nenhuma resposta é fornecida
• O objetivo é encontrar atividades úteis e desejadas utilizando o
processo de tentativa e erro
Características da aprendizagem

IV/IV
Reação da aprendizagem
– As respostas à ações são fornecidas pelo ambiente ou por outros agentes
do sistema
– São eles que “ensinam” o agente no caso de aprendizagem inspecionada
– São eles que “criticam” o agente no caso de aprendizagem por reforço
– São eles que “observam” o agente no caso de aprendizagem não
inspecionada
Problema da atribuição de créditos e culpas

A resposta do ambiente e dos outros agentes avaliam o
comportamento do agente

A resposta dará crédito para os comportamentos bons e punirá
o agente por mal comportamento

Avaliação inter-agente:
– Avalia todo o comportamento em geral (varias ações de uma só vez)
– Problema no caso de sistemas multi-agente: Como saber qual agente
executou qual tarefa?

Avaliação intra-agente:
– Avalia uma determinada ação do agente
Problema da aprendizagem por reforço em SMA

Aprendizagem por reforço pode ser utilizada quando:
– Os agentes têm pouco ou nenhum conhecimento do domínio
– Os agentes têm pouca informação sobre as capacidades e os objetivos
dos outros agentes

Problemas:
– Pouca informação sobre os outros agentes torna a coordenação ainda
mais difícil
– Quando os agentes necessitam comunicar-se para coordenar-se, se a
qualidade da comunicação é má, a coordenação é afetada
Características da aprendizagem por reforço em SMA

Acoplamento entre os agentes:
– Uma ação de um agente pode afeta muito ou pouco os planos de outros
agentes

Relação entre os agentes
– Os agentes podem estar agrupados para alcançar um objetivo
– Os agentes interagem através do recurso que utilizam
– Os agentes tem interesses distintos

Tempo de resposta
– O tempo de resposta do ambiente depois que a ação foi executada pode
variar de um domínio para outro

Combinações de comportamentos
– Quantas combinações de comportamento irão encontrar um solução
ótima?
Exemplos
1.
Os agentes aprendem a empurrar uma caixa de um local ao local
objetivo
–
–
–
–
2.
Acoplamento entre os agentes: muito acoplados
Relação entre os agentes: cooperação ou competição
Tempo de resposta: imediato
Combinações de comportamentos: múltiplos comportamentos ótimos
Dois agentes que necessitam aprender a compartilhar um recurso
– Acoplamento entre os agentes: muito acoplados
– Relação entre os agentes: cooperação
– Tempo de resposta: com atraso (não sabem em um determinado momento
se estão fazendo bem)
– Combinação de comportamentos: único comportamento ótimo
Aprendendo a partir de outros agentes

Aprendendo os papéis de una organização:
– Os agentes necessitam aprender a executar de acordo com os papéis que
irão desempenhar
– Necessitam aprender a estrutura dos papéis da organização para
colaborar com os demais agentes

Aprendendo para se beneficiar da negociação:
– Os agentes necessitam se adaptar às condições do ambiente onde está
ocorrendo a negociação
– Os agentes podem aprender como os demais agentes “pensam” para
tentar melhorar a negociação. Ex: o vendedor aprende quais são os
desejos do comprador

Aprendendo para melhor combater o oponente
– O agente pode aprender quais são os golpes que o oponente executa,
qual é a melhor maneira de se esquivar dos golpes e os pontos de
debilidade do oponente
Aprendizagem e Comunicação I/II

Aprendendo a comunicar-se:
– A aprendizagem é um método para o aprendiz aprender a se comunicar

Comunicação como método de aprendizagem:
– A comunicação é o método utilizado para o aprendiz aprender

O que comunicar?
– Que informação é de interesse para os outros?

Quando comunicar?
– Quanto tempo o agente deve dedicar-se somente a solucionar um
problema antes de comunicar-se com outros agentes?
Aprendizagem e Comunicação II/II

Com quem comunicar?
– Quais agentes estão interessados na informação?
– Quais agentes devem ser perguntados?

Como comunicar?
– Qual linguagem deve utilizada?