Agente de reputação para ART Testbed Andrew Diniz da Costa [email protected] Agenda • Introdução • Art Testbed • Trabalho relacionado • Considerações finais • Referências © LES/PUC-Rio Introdução • Porque modelar confiança e reputação ? • agentes devem escolher com quem interagir • objetivo de capacitar os agentes a fazer a escolha correta. • Diversos algoritmos na área de confiança e reputação • como compará-los ? • quais as características principais © LES/PUC-Rio ART Testbed • Competição entre agentes • Experimentos independentes • AAMAS • Permite comparações de códigos • Apresenta vantagens e desvantagens © LES/PUC-Rio Modo competição • Competidores registrados na conferência AAMAS • Cada participante controla um agente • Comparações de diferentes estratégias • Duas etapas – preliminar: pelo menos 6 jogos de 30 a 60 minutos – final: 10 jogos entre 5 finalistas © LES/PUC-Rio Domínio: Art Appraisal • Agentes são avaliadores de pintura com níveis variados de perícias em Eras (categorias) artísticas diferentes • Clientes solicitam avaliações para pinturas de Eras diferentes • Agentes avaliadores podem pedir opinião de outros • Agentes avaliadores podem comprar reputação de outros avaliadores • Objetivo de produzir avaliação mais precisa possível © LES/PUC-Rio Etapas da simulação Alocação dos clientes • Clientes não são agentes; eles são gerados pelo simulador • Determinada as pinturas pertencentes a alguma Era (categoria) • Avaliadores recebem clientes que pagam um preço fixo por avaliação © LES/PUC-Rio Etapas da simulação Transação Reputação • Avaliadores conhecem o próprio nível de perícia em cada Era artística • Avaliadores não conhecem os níveis de perícias de outros avaliadores • Avaliadores podem comprar reputações de outros avaliadores • Reputações são valores entre zero e um © LES/PUC-Rio Etapas da simulação Transação Opinião • Para uma única pintura, um avaliador pode solicitar opiniões de quantos avaliadores desejar • O agente Provider fornece o nível de perícia (Certainty Assessment) sobre a pintura (0 a 1) • As opiniões podem ser falsas © LES/PUC-Rio Etapas da simulação • Avaliação final – Após pagar as opiniões e antes de recebê-las, o avaliador envia ao simulador uma relação com a reputação dos avaliadores (peso). – O simulador coleta as opiniões de cada avaliador (valor de cada pintura) – Simulador calcula "avaliação final" como uma média ponderada das opiniões recebidas – O valor verdadeiro da pintura e o cálculo da avaliação final é revelado ao avaliador – Os avaliadores mais precisos recebem mais clientes na próxima sessão © LES/PUC-Rio Modo Experimentação • Utilizado para medir desempenho. • Definição de: – número de agentes – número de sessões da simulação – número de categorias (Era) – ... © LES/PUC-Rio ART Testbed em ação © LES/PUC-Rio ART Testbed em ação © LES/PUC-Rio Trabalho relacionado • Framework para o Cálculo de Reputações de agentes de software baseado em Testemunhos © LES/PUC-Rio Considerações finais • Entendimento do conceito reputação • Agente para a competição ART-Testbed • Políticas de reputação. • Entendimento do framework de reputação do LES • Avaliação do framework © LES/PUC-Rio Referências 1. ART Testbed Team. Agent Reputation and Trust Testbed. http://www.lips.utexas.edu/˜kfullam/competition/, 2005. 2. Karen K. Fullam, Tomas B. Klos, Guillaume Muller, Jordi Sabater, Andreas Schlosser, Zvi Topol, K. Suzanne Barber, Jeffrey S. Rosenschein, Laurent Vercouter, and Marco Voss (2006) “The Agent Reputaion and Trust (ART) Testbed Game Description”, April 4. 3. Fernanda Duran, Viviane Torres da Silva, and Carlos J. P. de Lucena (2006) “Using Testimonies to Enforce the Behavior of Agents”. 4. José de S. P. Guedes Viviane Torres da Silva, and Carlos J. P. de Lucena (2006) “A Reputation Model Based on Testimonies”. © LES/PUC-Rio Fim!