Aprendizado Multiagente
Wanderson C. Bragança
[email protected]
Universidade Federal Fluminense
Roteiro
Alguns Conceitos
Características: aprendizado em SMA
Aprendizagem por reforço
Aprendizado em SMA
Conclusões
Aprendizado Multiagente
2
Recordando o que é Aprendizado
Aprendizado em SMA
Aprendizado Multiagente
3
Alguns Conceitos
Inteligência em SMA
Aprendizado Multiagente
4
Categorias de Aprendizado em SMA
Generalizando, existem duas categorias
de aprendizado em SMA:
 Centralizado (ou isolado):
 Descentralizado (ou iterativo):
Aprendizado Multiagente
5
Correntes de Pesquisa
Não existe uma metodologia de
ensino bem-definida para
aprendizado em SMA
Porém existem vários métodos de
aprendizado single-agente que podem
ser aplicados em SMA
Aprendizado Multiagente
6
Tipos de Aprendizado
Aprendizado Supervisionado:
Aprendizado Não-supervisionado:
Aprendizado por Reforço:
 Aprendizado por Reforço é o mais utilizado.
Aprendizado Multiagente
7
Aprendizado por Reforço
Q-Learning
 Exemplo: Suponha que temos 5 salas em um
prédio ligado por algumas portas.
Aprendizado Multiagente
8
Q-Learning
Podemos representar as salas por um
grafo, onde cada sala representa um
nó.
A
B
F
C
E
Aprendizado Multiagente
D
9
Q-Learning
Queremos que o agente saia do
edifício.
B
A
0
100
100
0
0
F
0
0
0
E
D
0
0
Aprendizado Multiagente
10
C
0
100
0
Aprendizado e Coordenação
Correntes de estudo:
 Aprendizado Isolado:
• Pode ser centralizado ou distribuído
 Aprendizado Interativo
Ambas utilizam aprendizagem por
reforço
Aprendizado Multiagente
11
Aprendizado sobre e a partir de outros
agentes
Ao contrário da coordenação,
agora o aprendizado objetiva uma
melhoria individual da
performance do agente
Adivinhar o comportamento do
outros agentes:
Aprendizado Multiagente
12
Aprendizado sobre e a partir de outros
agentes
Vamos conhecer três abordagens:
 Aprender papéis organizacionais
 Aprender em ambientes de mercado
 Aprender a explorar um oponente
Aprendizado Multiagente
13
Abordagem 1: Aprender papéis
organizacionais
Capacitar cada membro do grupo a
identificar seu papel na organização
de uma forma adaptável
Exemplo: Se “dando bem” na noite...
Observando os outros agentes, qual
papel escolher? Exigente, moderado
ou desesperado?
Aprendizado Multiagente
14
Abordagem 2: Aprendendo em ambientes de
mercado
Agentes compram e vendem
informações em um mercado .
O ambiente é dinâmico por natureza.
A qualidade da informação vendida
por diferentes agentes pode não ser a
mesma.
Só é possível verificar a qualidade da
informação após comprá-la.
Aprendizado Multiagente
15
Abordagem 3: Aprendendo a aproveitar-se do
oponente
Procura aprender a estratégia do
oponente observando o seu
comportamento.
A partir daí, adota uma estratégia
mais inteligente.
Exemplo: Jogos...
Aprendizado Multiagente
16
Aprendizado e Comunicação
Aprender a se comunicar:
Comunicação como aprendizado:
As duas abordagens:
 Devem deixar claro o que, quando, como e
com quem se comunicar.
 Necessitam da definição de uma ontologia
comum.
Aprendizado Multiagente
17
Conclusões
Aprendizado multiagente é um tema
vasto, em que muitas e diferentes
abordagens existem
 Muitas questões ainda em aberto...
Aprendizado Multiagente
18
Universidade Federal Fluminense
Referências
 Handbook of Research on MultiAgent Systems:Semantics and Dynamics of Organizational
Models Edited by: Virginia Dignum, Utrecht University, The
Netherlands.
 R. H. Bordini, M. Dastani, J. Dix, and A. El Fallah
Seghrouchni, editors. Multi-Agent
Programming:Languages, Platforms and Applications.
Number 15 in Multiagent Systems, Artificial Societies, and
Simulated Organizations. Springer, 2005.
 Stone, P., Veloso, M., Multiagent Systems: A Survey from a
Machine Learning Perspective, Carnegie Mellon University,
1997
Aprendizado Multiagente
20