Aprendizagem Viviane Torres da Silva [email protected] http://www.ic.uff.br/~viviane.silva/isma Introdução Sistemas de aprendizagem são sistemas adaptáveis e com técnicas de aprendizagem O conjunto de situações é tão grande que não definimos todas as possibilidades quando descrevemos o problema Aprendizagem: melhora do comportamento futuro baseada na experiência passada Normalmente dizemos que se o agente inteligente então é porque ele tem a capacidade de aprener. E se tem a capacidade de aprender então é porque o agente é inteligente. Aprendizagem Aprendizagem de um agente – O agente tem a capacidade de aprender e melhorar seu rendimento e o rendimento do sistema Aprendizagem do sistema multi-agente – Não é simplesmente a soma da aprendizagem de todos os agentes do sistema de maneira isolada – A aprendizagem de um agente é influenciada pelos demais agentes – Vários agentes podem aprender de uma maneira distribuída e interativa como se fossem um único corpo Categoria principal Processo de aprendizagem: planejamento, inferência e passos de decisões Aprendizagem centralizado (aprendizagem isolada) – Todos as etapas do processo de aprendizagem são executadas por um único agente que não interage com os outros – O agente é completamente independente dos outros Aprendizagem descentralizada (aprendizagem interativa) – Vários agentes estão envolvidos no processo de aprendizagem – As atividades do processo de aprendizagem são executadas por diferentes agentes Características da aprendizagem I/IV Grau de descentralização – Distribuição e paralelismo das atividades do processo de aprendizagem Características especificas da interação – Nível de interação (desde pura observação até diálogos complexos como a negociação) – Persistência da interação (desde pouca até muita) – Freqüência da interação (desde pouca interação até muita) – Padrão de interação (desde completamente não estruturada até hierárquica) – Variedade da interação (desde fixa até variável) Características específicas do envolvimento – Relevância do envolvimento – Papel desempenhado na interação (generalista, aquele executa todas as tarefas do processo de aprendizagem, ou especialista, que executa somente algumas) Características da aprendizagem II/IV Características específicas do objetivo – Tipo de melhora que o agente deseja alcançar com a aprendizagem – Compatibilidade entre os objetivos de aprendizagem dos agentes Método ou estratégia de aprendizagem – Aprendizagem direta (implantação do conhecimento sem necessidade de inferência do aprendiz) – Aprendizagem a partir de um conselho ou instrução (aprende quando recebe um conselho, não foi una experiência do agente) – Aprendizagem por exemplos ou práticas (extração ou refinamento do conhecimento a partir de experiências positivas ou negativas) – Aprendizagem por analogia (conhecimento adquirido a partir de soluções de problemas similares) – Aprendizagem por descoberta (conhecimento adquirido a partir de observações, execuções de experimentos, teste de hipóteses,…) Características da aprendizagem III/IV Reação da aprendizagem – Aprendizagem inspecionada • a resposta enviada pelo aprendiz especifica as atividades desejadas • o objetivo da aprendizagem é encontrar as ações desejadas – Aprendizagem por reforço • a resposta somente informa a utilidade da atividade realizada pelo aprendiz • o objetivo da aprendizagem é maximizar a função de utilidade – Aprendizagem não inspecionada • Nenhuma resposta é fornecida • O objetivo é encontrar atividades úteis e desejadas utilizando o processo de tentativa e errp Características da aprendizagem IV/IV Reação da aprendizagem – As respostas à ações são fornecidas pelo ambiente ou por outros agentes do sistema – São eles que “ensinam” o agente no caso de aprendizagem inspecionada – São eles que “criticam” o agente no caso de aprendizagem por reforço – São eles que “observam” o agente no caso de aprendizagem não inspecionada Problema da atribuição de créditos e culpas A resposta do ambiente e dos outros agentes avaliam o comportamento do agente A resposta dará crédito para os comportamentos bons e punirá o agente por mal comportamento Avaliação inter-agente: – Avalia todo o comportamento em geral (varias ações de uma só vez) – Problema no caso de sistemas multi-agente: Como saber qual agente executou qual tarefa? Avaliação intra-agente: – Avalia uma determinada ação do agente Problema da aprendizagem por reforço em SMA Aprendizagem por reforço pode ser utilizada quando: – Os agentes têm pouco ou nenhum conhecimento do domínio – Os agentes têm pouca informação sobre as capacidades e os objetivos dos outros agentes Problemas: – Pouca informação sobre os outros agentes torna a coordenação ainda mais difícil – Quando os agentes necessitam comunicar-se para coordenar-se, se a qualidade da comunicação é má, a coordenação é afetada Características da aprendizagem por reforço em SMA Acoplamento entre os agentes: – Uma ação de um agente pode afeta muito ou pouco os planos de outros agentes Relação entre os agentes – Os agentes podem estar agrupados para alcançar um objetivo – Os agentes interagem através do recurso que utilizam – Os agentes tem interesses distintos Tempo de resposta – O tempo de resposta do ambiente depois que a ação foi executada pode variar de um domínio para outro Combinações de comportamentos – Quantas combinações de comportamento irão encontrar um solução ótima? Exemplos 1. Os agentes aprendem a empurrar uma caixa de um local ao local objetivo – – – – 2. Acoplamento entre os agentes: muito acoplados Relação entre os agentes: cooperação ou competição Tempo de resposta: imediato Combinações de comportamentos: múltiplos comportamentos ótimos Dois agentes que necessitam aprender a compartilhar um recurso – Acoplamento entre os agentes: muito acoplados – Relação entre os agentes: cooperação – Tempo de resposta: com atraso (não sabem em um determinado momento se estão fazendo bem) – Combinação de comportamentos: único comportamento ótimo Aprendendo a partir de outros agentes Aprendendo os papéis de una organização: – Os agentes necessitam aprender a executar de acordo com os papéis que irão desempenhar – Necessitam aprender a estrutura dos papéis da organização para colaborar com os demais agentes Aprendendo para se beneficiar da negociação: – Os agentes necessitam se adaptar às condições do ambiente onde está ocorrendo a negociação – Os agentes podem aprender como os demais agentes “pensam” para tentar melhorar a negociação. Ex: o vendedor aprende quais são os desejos do comprador Aprendendo para melhor combater o oponente – O agente pode aprender quais são os golpes que o oponente executa, qual é a melhor maneira de se esquivar dos golpes e os pontos de debilidade do oponente Aprendizagem e Comunicação I/II Aprendendo a comunicar-se: – A aprendizagem é um método para o aprendiz aprender a se comunicar Comunicação como método de aprendizagem: – A comunicação é o método utilizado para o aprendiz aprender O que comunicar? – Que informação é de interesse para os outros? Quando comunicar? – Quanto tempo o agente deve dedicar-se somente a solucionar um problema antes de comunicar-se com outros agentes? Aprendizagem e Comunicação II/II Com quem comunicar? – Quais agentes estão interessados na informação? – Quais agentes devem ser perguntados? Como comunicar? – Qual linguagem deve utilizada?
Download
