Confiança e Reputação em SMA
Rafael Frizzo Callegaro
Joao Eduardo Hornburg
1
29/11/2011
Introdução Fundamentação Teórica





Modelos Computacionais Considerações Finais Referências
Introdução
• Contextualização
• Objetivo da pesquisa
Fundamentação Teórica
• Definição
◦ Confiança
◦ Reputação
• Utilização
• Funcionamento
◦ Classificação, vantagens e desvantagens
 Modelo Conceitual
 Fontes de Informação
 Visibilidade
 Granularidade
Modelos Computacionais de Confiança e Reputação em SMA
 Sporas
 ReGreT
 Castelfranchi & Falconi
 ForTrust
Considerações Finais
◦ Conclusão
Referências
2
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Contextualização
O comportamento coletivo dos agentes em um
sistemas multi-agente (SMA) é utilizado para
atingir objetivos. Nestes sistemas a interação
entre os participantes é função elementar. Como
realizar a avaliação das informações e a escolha
de parceiros em SMA abertos?
3
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Objetivo da Pesquisa

O objetivo desta pesquisa é fundamentar os
conceitos de confiança e reputação em SMA.

Explorar os mecanismos de alguns modelos
computacionais conhecidos.

Comparar a arquitetura dos modelos
explorados.
4
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Definição de Confiança

A confiança
◦ “é a convicção de alguém nas habilidades e intenções de um agente em
prover informações corretas ou executar as ações prometidas”.
(Barber et al. 2003).
5
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Definição de Reputação

Reputação
◦ “ferramenta social com o objetivo de reduzir a incerteza de se interagir
com indivíduos de atributos desconhecidos”. (BROMLEY, 1993).
6
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Comentários

Áreas de pesquisa que tratam do assunto.
◦
◦
◦
◦
◦
Psicologia (Karlins e Abelson 1970; Bromley 1993),
Sociologia (Buskens 1998),
Filosofia (Platão 1955; Hume 1975) e
Economia (Celentani et al.1966; Marimon et al. 2000)
Ciência da computação
 Inteligência artificial
◦ Sistemas multi-agente.
7
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Utilização

A confiança e reputação são utilizadas como:
◦ Mecanismo de busca de parceiros honestos.
◦ Ajuda na tomada de decisão sobre honrar ou não
contratos.
◦ Melhorar os mecanismos de revisão de crenças e de
cooperação.

Em SMA é comum a interdependência entre os agentes
a fim de atingir objetivos, quando estes excedem a
capacidade de agir isoladamente.
8
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Exemplo de utilização


Ag1 tem o objetivo g1
Para atingi-lo deve executar o plano p111
◦
◦
◦
◦
P111= consiste nas ações a1(),a2() ,a4()
Ag1 não sabe executar a2
Ag2 e ag3 são capazes de executar a ação a2;
Se ag1 puder recompensar ag2 ou ag3, pode-se firmar uma
parceria.
Exemplo de Rede de Dependência
SICHMAN; CONTE, 2002
◦ Qual dos dois agentes escolher para executar a2?
◦ Como saber se um agente é confiável ou não?
9
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
◦ Modelo Conceitual
◦ Fontes de Informação
◦ Visibilidade
◦ Granularidade
10
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens

Modelo Conceitual
◦ Baseado na Teoria de jogos
◦ Cognitivo
11
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Modelo Conceitual
◦ Cognitivo
 Processo interno de inferência que dá origem à
reputação atribuída a um alvo.
 Confiança e reputação são compostas de crenças
subjacentes e são uma função do grau destas
crenças.
 Nesta abordagem, os estados mentais que levam
a confiar em outro agente ou atribuir uma
reputação, bem como as consequências de uma
decisão e o ato de contar com um outro agente,
são parte essencial do modelo.
 Mais adaptáveis. (qualitativo)
 Esfandiari e Chandrasekharan, 2001
12
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Modelo Conceitual
◦ Teoria de jogos
 Confiança e reputação são consideradas
probabilidades subjetivas pelo qual um
individuo A espera que um indivíduo B execute
uma ação do qual depende o seu bem estar.
 Manipulações estritamente numéricas.
(quantitativo)
 Confiança e Reputação não são resultado do
estado mental do agente, mas de um jogo
mais pragmático (fatos), com funções de
utilidade e agregação numérica de interações
passadas.
 Simples, porém menos adaptativo.
 Depende da escolha dos outros indivíduos.
 Proposto por Gambetta, 1990
13
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Fontes de Informação
◦ Experiências Diretas
◦ Testemunhos
◦ Informação sociológica
◦ Preconceito (sentido de ideia préconcebida)
14
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Fontes de Informação
◦ Experiências Diretas
 Fonte de informação mais relevante e confiável.
 Utilizada por basicamente todos os modelos.
◦ Interação direta com outro agente.




Prioridade para interações recentes
Depende do numero de interações
Também pode depender da variação dos valores.
Grau de confiabilidade pode crescer até atingir um nível
intimo.
◦ Interação observada de outros membros da comunidade
(restrita a senários que estão dispostos a permitir isso).
 Interações diretas nem sempre são possíveis
◦ Ex: agente recém chegado ou sociedade muito grande.
15
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Fontes de Informação
◦ Testemunhos
 Também chamada de
interações indiretas.
 Informações vem de
outros membros da
comunidade.
 Mais abundante do que as
diretas porém mais
complexo.
X
X
X
B’s reputation
X
A
A’s reputation = 0,7
X
B
X
X
X
X
C
Fonte de informação baseado em
testemunhos
16
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Fontes de Informação

Testemunho
◦ Em um mundo ideal, esta informação sendo correta é tão
relevante quanto a direta.
◦ No entanto:
 Informação falsa: ou a informação de outro agente não
é exata ou o agente esta mentindo.
 O agente não pode presumir que a informação é
completa.
 Evidências correlacionadas: opiniões de diferentes
testemunhas são baseadas em um mesmo (s) evento
(s).
 Os agente não sabe como os testemunhos estão
relacionados.
 Testemunhos podem manipular ou esconder
informações para seu próprio benefício.
◦ Pode-se evitar analisando as relações sociais entre os agentes
testemunhos.
17
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Fontes de Informação
◦ Informações sociológicas
 Com base nas relações sociais entre os agentes e
o papel que eles tem na sociedade.
 Exemplo de relações: dependência, comércio,
concorrência, cooperação.
 O indivíduo também pode desempenhar um papel
na sociedade. (policial, bombeiro, professor,
vendedor)
 Os modelos baseados nestas informações
baseiam-se em técnicas de análise de rede social
(conjunto de métodos para analisar as relações
sociais/aspectos relacionais).
◦ A utilização destes métodos está condicionada a
disponibilidade das relações sociais. (Scott, 2000).
18
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Fontes de Informação
◦ Preconceito (sentido de conceito préconcebido.)
 Mecanismo de atribuição de propriedades
(como por exemplo a reputação) a um
indivíduo baseado em sinais que
identificam o indivíduo como membro de
um determinado grupo.
 Exemplo: uniforme, comportamento .
19
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Visibilidade

Global

Individual
20
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Visibilidade

Global
◦ Compartilhada por todos os observadores.
◦ Calculada a partir das opiniões dos indivíduos que no
passado interagiram com o indivíduo alvo.
◦ Valores disponíveis publicamente a todos os
membros.
◦ Atualizado cada vez que um membro emite uma nova
avaliação do indivíduo.
21
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Visibilidade
Global
◦ Vantagens
 A reputação é sempre conhecida.
 A reputação está sempre
atualizada pois é calcula através
da informação que recebem de
outros agentes.
◦ Desvantagens
 Os agentes não são capazes de
armazenar as reputações dos
agentes com os quais
interagiram
 Não existe mecanismo para
verificar se a informação é
verdadeira ou falsa.
 Não consideram o contexto.
A
B
B’s reputation = **
A’s reputation = ***
A’s reputation ?
C
***
Reputation System

22
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Visibilidade

Individual
◦ Subjetiva, avaliada por cada indivíduo.
◦ Cada indivíduo atribui um valor de confiança e
reputação de acordo com seu ponto de vista, baseado
em interações diretas, testemunhas, relações
conhecidas entre agentes.
23
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Visibilidade

Individual

Vantagens:
◦ Os agentes, que podem estar
executando em um sistema multiagentes de larga escapa e distribuído,
não necessitam se comunicar com um
mecanismo centralizado
◦ Cada agente é capaz de armazenar a
reputação dos outros agente desde
seu ponto de vista

Desvantagens:
◦ É necessário interagir com o agente
primeiro para depois conhecer sua
reputação.
◦ A reputação que um agente conhece
de outro agente pode não estar
atualizada se faz tempo que os
agentes não interagem.
B’s reputation
A
A’s reputation = 0,7
B
C
A’s reputation ?
24
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Classificação, vantagens e desvantagens
Granularidade
◦ Reputação/confiança de acordo com o
contexto.
 Dependente do contexto
◦ Difícil encontrar informações suficientes para
calcular confiança/reputação
◦ No entanto é possível que a complexidade dos
agentes aumente necessitando deste modelo.
 Não dependente do contexto
◦ Mais utilizado
◦ Menor complexidade
◦ Normalmente temos sistemas/tarefas delimitadas
25
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Sporas

Versão sofisticada dos mecanismos de reputação presentes
em sites de comércio eletrônico tipo ebay.

Pioneiro em SMA(ZACHARIA, 1999).

Centralizado/Teoria de Jogos/Testemunho/não
dependente de contexto/somente reputação

Novos usuários tem um valor mínimo inicial.

Pontuação: 0 a 3000.
◦ +1, 0, -1

Reputação não pode ser inferior a inicial, por isso não há
vantagens em abandonar o sistema.
26
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
ReGreT

ReGreT (SABATER; SIERRA, 2001)

Individual/Teoria de Jogos/Direta + Testemunho + social
/dependente de contexto/Confiança e reputação

Usa uma base de dados de resultados para armazenar
contratos anteriores e o seu resultado. (ODB)

Informações recebidas de outros agentes. (DIB)

Armazenamento de grafos (sociogramas) que definem o
ponto de vista do agente social no mundo. (SDB)
27
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone
CASTELFRANCHI; FALCONE, Principles
of Trust for MAS, 1998
 Baseado em 2 elementos:

◦ Confiança
◦ Delegação
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone
Em geral confiança é pré-requisito
para delegação
 Exceções:

◦ Confiança sem delegação
◦ Delegação sem confiança
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone

C&F – Delegação
◦ Para atingir um objetivo g, x delega a
tarefa t para y
◦ Delegação fraca:
 y não sabe que recebeu a tarefa de x, nem
conhece g
◦ Ex: ponto de ônibus
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone

Delegação
◦ Delegação forte:
 y sabe a respeito da delegação
 pode haver negociação
 precisa haver comprometimento de y
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone

Confiança
◦ Estado mental - BDI
◦ Conjunto de crenças
◦ Restringe-se a uma tarefa
 x confia em y para realizar a tarefa t
◦ y não precisa ser um agente
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone

Confiança
◦ Não é absoluta - pode ter vários níveis
◦ Delegação acontece a partir de um certo
nível
◦ Reajustada levando em conta o resultado
da tarefa t (sucesso ou fracasso)
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone

Crenças
◦ Competência
 x acredita que y tem competência para
realizar a tarefa t
◦ Disposição
 x acredita que y vai de fato realizar a tarefa t
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone

Crenças
◦ Dependência
 x acredita que depende de y para realizar a
tarefa t
◦ Cumprimento
 derivado das 3 crenças anteriores
 x acredita que o objetivo g será realizado
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone
Estado mental
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
Castelfranchi & Falcone
◦ Crenças delegação fraca
◦ Determinação (willingness)
 x acredita que y decidiu fazer t
◦ Persistência
 x acredita que y não vai mudar de ideia
quanto a t
◦ Autoconfiança
 x acredita que y crê que é capaz de atingir o
objetivo g (do qual t faz parte)
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
For Trust

HERZIG et al; A logic of trust and
reputation

Baseado no C&F

Dois tipos de confiança
◦ y vai agir imediatamente
◦ y vai agir assim que algumas condições
forem atingidas
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
For Trust
Crenças

Objetivo
◦ x tem o objetivo g

Capacidade
◦ y é capaz de realizar a tarefa t (necessária
para atingir g)
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
For Trust

Crenças
Competência
◦ y tem competência para executar t com
qualidade satisfatória

Intenção
◦ y está decidido a realizar t
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelos computacionais de confiança e reputação
For Trust
Reputação

Crenças de Grupo
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Modelo
Conceitual
Fonte de
Informação
Visibilidade
Granularidade
Tipo do
Modelo
S. Marsh
Teoria de
Jogos
Direta
Subjetiva
Dependente do
Contexto.
Confiança
Sporas
Teoria de
Jogos
Testemunho
Global
Não depende do
contexto.
Reputação
Histos
Teoria de
Jogos
Direta +
Testemunho
Subjetiva
Não depende do
contexto.
Reputação
Yu and Sign
Teoria de
Jogos
Direta,
Testemunho
Subjetiva
Não depende do
contexto
Confiança e
Reputação
AFRAS
Teoria de
Jogos
Direta +
Testemunho
Subjetiva
Não depende do
contexto
Reputação
Castelfranchi
and Falcone
Cognitivo
Não informa
Subjetiva
Dependente do
Contexto
Confiança
ReGreT
Teoria de
Jogos
Direta +
Testemunho
+ Social +
preconceito
Subjetiva
Dependente do
Contexto
Confiança e
reputação
forTrust
Cognitivo
Não informa
Subjetiva
Dependente do
Contexto
Confiança e
Reputação
Quadro comparativo entre os modelos
42
Introdução Fundamentação Teórica
Modelos Computacionais Considerações Finais Referências
Conclusão

Foi possível definir os conceitos e observar que confiança e reputação
estão diretamente relacionadas porém é possível diferenciá-las.

Informações diretas e baseados em testemunhas são as fontes mais
utilizadas, porém para aumentar a eficiência dos modelos é necessário
utilizar os aspectos sociológicos.

Sistemas com arquitetura mais simples e centralizados são os mais
utilizados, porém poderá haver um aumento na demanda por sistemas
com maior robustez.

Ficou claro que a maioria dos modelos são baseados na teoria de
jogos, porém esta abordagem pode ser demasiadamente restritiva.
Uma solução seria a utilização de modelos cognitivos ou uma
combinação de ambos.

A necessidade da Delegação gera a necessidade dos conceitos de
confiança e reputação.
43
Introdução Fundamentação Teórica
Modelos ComputacionaisConsiderações Finais Referências
Congressos, Workshops

International Workshop on Multi-Agent Systems and Agent-Based
Simulation (MABS)

Trust, Reputation and User Modeling Workshop (TRUM)

Workshop on Trust and Reputation (Inerdisciplines)

Workshop-Escola de Sistemas de Agentes, seus Ambientes e
aplicações (WESAAC)

International Conference on Autonomous Agents and Multiagent
Systems (AAMAS)

Simpósio Brasileiro de Inteligência Artificial (SBIA)

Workshop on Deception, Fraud and Trust in Agent Societies
44
Introdução Fundamentação Teórica
Modelos ComputacionaisConsiderações Finais Referências
Referências
BROMLEY, D. B. Reputation, Image and Impression Management. [S.l.]: John Wiley & Sosns Ltd., 1993.
CASTELFRANCHI, C.; FALCONE, R. Principles of trust for MAS: Cognitive anatomy, social importance and
quantification. ICMAS, v. 1, p. 72–79, 1998.
HERZIG, A. et al. Prolegomena for a logic of trust and reputation. In: 4th ForTrust Meeting. [S.l.: s.n.], 2008.
J. SICHMAN, R. CONTE, 2002. Multi-Agent Dependence by Dependence Graphs. Proceedings of the 1st
International Joint Conference on Autonomous Agents and Multi-Agent Systems. 483-492. ACM Press.
SABATER, J.; SIERRA, C. Review on computational trust and reputation models. Kluwers Academic Publishers, v. 1,
p. 27, 2005.
SABATER, J.; SIERRA, C. Reputation and social network analysis in multi-agent systems. In Proceedings of First
International Conference on Autonomous Agents and Multiagent Systems (AAMAS), pages 475–482, 2002.
SCIHMITZ, T. Crenças de Grupo como Instrumento de Formação da Reputação: Uma Arquitetura Baseada em
Agentes e Artefatos. Dissertação (Mestrado) Universidade Federal de Santa Catarina, 2011.
SILVA, V. On-line 29/11/2011: www.ic.uff.br/~viviane.silva/2010.1/isma/util/aula09_1.ppt
ZACHARIA, G. Collaborative Reputation Mechanisms for Online Communities. Dissertação (Mestrado) —
Massachusetts Institute of Technology, 1999.
45