Gleiph Ghiotto Lima de Menezes
Definição
Aprender
Ficar sabendo, reter na memória, tomar
conhecimento.
(Michaelis)
Pesquisas: ML e MAS
ML
SMA
Pesquisas: ML e MAS

Inteligência esta diretamente ligada a
autonomia, com o objetivo de tomar
decisões de forma independente.
Pesquisas: ML e MAS
Domínio
desconhecido
Aprender
Aprendizado Distribuído
Agente
Agente
Hipótese
Agente
Agente
Agente
Comunicação?
Cooperação?
Algoritmos?
Aprendizado de um agente Vs
Multi-agente
Algoritmos voltados para um agente
 Agente simples: individual
 Multi-agente: interação com os vizinhos
 Um caso: Agente que não esta ciente de
outros agentes (agente simples)
 Quando utilizar aprendizado distribuido?

Aprendizado On-line Vs Off-line

Métodos On-line (incremental)
 Calcula novas hipóteses
 Base de treinamento

Métodos Off-line
 Case de treinamento que representa um
momento no tempo

Aplicações
Aprendizado reativo





Em sistemas reativos, o comportamento global
surge a partir de interação de comportamentos
individuais.
indivíduos trabalham em informações baseadas
em valor que foi produzido de um convívio social.
Q-Learning
Agente com pouco conhecimento
Baseia-se na reposta do ambiente
Aprendizado reativo
Aprendizado baseado em lógica
Aprendizado Baseado em Explicação
 Lógica de Programação Indutiva

Aprendizado Baseado em
Explicação
Muito utilizado em IA para aumento de
desempenho
 Adquirem conhecimento
 Regras em relação a um evento
 Problemas similares podem ter
diferentes soluções

Lógica de Programação Indutiva

Calcula hipótese indutivas a partir de
bases de treinamento
Conhecimento
do Domínio
Respostas
LPI
Definição
Exemplos de
treinamento
ABE e LPI

O uso destas duas técnicas combinadas
tem demonstrado bons resultados
Aprendizado Social
População já formada
 Benefício das experiências de outros
agentes
 Recém nascido
 Agentes Reais X Agentes de Software

 Prós e Contras
Detector de spans
 Professor

Aprendizado Social

Condições nas quais será vantajoso
para os indivíduos a aprender com os
outros em vez de descobrir coisas por si
mesmos
 Modelos de transmissão cultural
 Na transmissão de geração
 Pastoreio comportamento
Aprendizado Social

Quando o Aprendizado Social é o mais
recomendado?
 Opinião Coletiva
 Risco financeiro
 Agentes de software tomem decisão que
envolva gasto financeiro para o dono
 Situações com grau de dinamismo
intermediário
○ Caso de pequeno e grande dinamismo.
Mecanismos para Aprendizado
Social
As que mais de destacam são as de
imitação
 Dificuldades

Mecanismos de Aprendizado
Social
Contagious behaviour
 Stimulus enhancement
 Observational learning
 Matched-dependent behaviour
 Cross-modal matching

Contagious behaviour
“Se os outros fogem, fuja também”
 Um comportamento como gatilho inicial
 Conjunto de Aves

Stimulus enhancement
“Seguir alguém mais velho que você e
aprender tudo o que acontece”
 Criança seguindo o comportamento dos
pais

Observational learning
“Preste atenção àquilo que os outros
estão fazendo e experimentando, e se
os resultados para eles parecem ser
bons ou maus, em seguida, aprender
com isso.”
 Macacos em uma jaula.

Observational learning
"Preste atenção ao que os outros estão
comendo e faça o mesmo."
 Ratos

Matched-dependent behaviour
Um exemplo é quando os animais são
treinados para determinada ação
realizar uma tarefa
 Ratos e Pombos

Cross-modal matching
Imitação dos sons de aves
 “Se alguém move sua cabeça, então
faça o mesmo movimento”.

Conclusão
A capacidade de aprendizado é
essencial para sistemas inteligentes,
especialmente em SMA.
 Agentes
Baseados
em
Lógica,
vantagem devido a sua facilidade de
aprendizado.

Bibliografia
Learning in Multi-Agent Systems
 Safe learning agents? Logic-based
agents!

Duvidas
Aprendizado em
SMA com BDI
Introdução

Sucesso em aplicações
 Diagnósticos para espaços lineares

Dificuldades
 Carência de aprendizado em SMA.
 Maneira de tratar a complexidade de
agentes e SMA.

Aprendizado em SMA pode auxiliar no
entendimento de sistemas naturais e
artificiais.
Agência BDI

Agente de Software
 Sistema
de computador que
comportamento flexível e autônomo.
exibe
O Modelo BDI

Beliefs
(p-state r1 ok)
(p-at sander free)
(p-at board free)
(p-handfree r1 left)
(p-handfree r1 right)
(p-at sprayer free)
O Modelo BDI

Desires
(achieve(p-sander board))
O Modelo BDI

Intentions
(achieve(p-sander board))
O Modelo BDI

Planos
O Modelo BDI

Pilha de Eventos
 Percepções do agente são mapeados em
eventos que são empilhados.
Agentes BDI Aprendendo

Quais elementos da performance são
melhorados?
 Agentes podem aprender sobre o contexto
do plano
 Não aprendem sobre o plano, mas sim
quando usa-lo
Agentes BDI Aprendendo

Qual representação é utilizada por estes
elementos?
 Fórmulas de crença
○ Literais de primeira ordem
 Fórmulas de situação
○ Anteriores mais, conjunções e disjunções
Agentes BDI Aprendendo

Qual retorno é disponível?
 Ter retorno sobre as respostas dos planos
○ Sucesso ou fracasso
○ log
Agentes BDI Aprendendo

Qual a principal informação disponível?
 Biblioteca de planos
 Rastro de predicados, funções e suas
assinaturas
Agentes BDI Aprendendo

É um caso de aprendizado centralizado
ou distribuído?
 Nível 1
○ Interações com o ambiente
 Nível 2
○ Interações com outros agentes, mensagens
 Nível 3
○ Observação de outros agentes
Árvore de Decisão
Gera Nó (conj. de registros, lista de atributos independentes)
Verificar a quantas classes distintas pertencem os registros
desta partição dos dados;
Se número de classes > 1
Se atributos independentes restantes > 0
Escolher o atributo independente adequado para
representar o nó corrente;
Para cada possível valor do atributo independente que
representa o nó corrente:
Gera Nó (respectiva partição, atributos
independentes restantes);
Senão
Criar folha com a classe predominante e sua taxa de erro;
Senão
Criar folha com a respectiva classe (taxa de erro=0)
Árvore de Decisão
Salário
 5.000
 5.000
Idade
B
 40
 40
T. Empr.
C
Ind., Pesq.
B
Autônomo
A
Exemplo
(acheive (p-sanded board))
 Conjunto de treinamento
 Fundamento teórico
 Configuração da ACE, aprendizado a
partir de um sistema de interpretação

Exemplo
.kb
Exemplo
.kb
Exemplo
rmode? Determina a linguagem
#? Variáveis locais
+? Variáveis que devem ser
instanciadas
.kb
Exemplo
Compact notation of pruned tree:
plan_context(A,B) ?
+--yes: p_state(A,painted) ?
| +--yes: [failure] [2.0/2.0]
| +--no: [success] [3.0/3.0]
+--no: [succes] [1.0/1.0]
Learning in BDI Multi-agent Systems 197
Equivalent logic program:
n1:-plan_context(A,B).
n2:-plan_context(A,B),p_state(A,painted).
class([failure]):-plan_context(A,B),p_state(A,painted).
class([succes]):-not(n1).
class([succes]):-plan_context(A,B),not(n2).
[teste/acertos]
Conclusões
Bibliografia

Learning in BDI Multi-agent Systems
Gleiph Ghiotto Lima de Menezes