Avaliação e Controle de Sistemas de Informação Abordagem Sistemática Guilherme Amaral Avelino [email protected] Abordagem Sistemática Embora cada projeto seja único, o uso de uma abordagem sistemática facilita a identificação das características do sistema e evita a ocorrência de erros comuns. Abordagem Sistemática 1. Definição dos objetivos e planos de análise Reuniões de planejamento que devem resultar em: Definição clara dos objetivos da Avaliação e Controle de Sistemas de Informação Cronograma para realização do estudo Recursos necessários Abordagem Sistemática 2. Definição do Sistema O sistema deve ser estudado detalhadamente Características do sistema a ser analisado Documentações disponíveis Conversa com especialistas no assunto Conversa com as pessoas que operam o sistema As fronteiras que delimitam o sistema A escolha dos limites do sistema afetam tanto a carga de trabalho como as métricas. Uso de técnicas de decomposição em análises mais complexas Dado o mesmo software e hardware o sistema pode mudar de acordo com o objetivo do estudo Ex: Dado dois CPUs Tempo de resposta de um serviço em rede Melhor unidade de processamento Abordagem Sistemática 3. Enumeração dos serviços e resultados do sistema Cada sistema provê um conjunto de serviços Para um dado sistema a ser estudado devem ser identificados seus: Serviços realizados Resultados esperados Esta lista é importante para seleção correta das métricas e carga de trabalho 4. Seleção de métricas de desempenho Determinam a forma de se medir um sistema Volume do trabalho produzido Velocidade Precisão Disponibilidade do sistema Taxa de erros Abordagem Sistemática 5. Enumeração dos parâmetros da análise Valores que determinam o comportamento do sistema Estão relacionados a características do sistema e da carga de trabalho Deve-se planejar uma coleta de dados para determinar os parâmetros Monitoração do sistema real Projeções sobre um sistema a ser desenvolvido Parâmetros identificados durante a execução do projeto pode ser adicionado a lista Abordagem Sistemática 6. Seleção dos fatores a serem estudados Parâmetros variáveis durante a análise Deve se iniciar com uma quantidade pequena de fatores e níveis e estender este número numa próxima fase do projeto se os recursos permitirem Ex: Seus valores são denominados levels (níveis) Ex: Diversos tamanhos de memória Fatores: Quantum e número de usuário Levels: pequeno e grande Restrições políticas, financeiras, tecnológicas e impostas pelos tomadores de decisão Abordagem Sistemática 7. Seleção da carga de trabalho Define o tipo de serviço e a carga de serviço ao qual sistema deve ser submetido Deve ser considerada na análise a carga típica do sistema e a carga em momentos de pico Pode variar dependendo da técnica de avaliação escolhida Modelagem analítica: normalmente expressa pela probabilidade de várias requisições Simulação: investigações sobre as requisições feitas por um sistema real Medição: scripts de usuário a serem executados pelo sistema 8. Definição do modelo conceitual do sistema Utilizando as informações coletadas nos passos anteriores, elaborar um modelo conceitual do sistema que especifica a concepção atual do sistema e tudo que foi assumido Os detalhes do sistema dependem de: Objetivos do projeto Métrica Disponibilidade dos dados Credibilidade das informações obtidas Limitações dos recursos computacionais Limitações temporal e financeira Abordagem Sistemática 9. Seleção de técnicas de modelagem Medição de um sistema real Modelagem analítica Simulação Escolha da ferramenta adequada Ferramenta de modelagem Ferramenta de modelagem Custo da ferramenta Custo do projeto Linguagens de programação: Java, C++, etc Menor Maior Maior Menor Software de cálculos matemáticos Pacotes de simulação: Arena, Promode, Comnet, Optnet, etc Ferramentas de monitoração Abordagem Sistemática 10. Realização da modelagem Escolhida a técnica de modelagem e a ferramenta a ser utilizada, o desenvolvimento do modelo analítico ou de simulação deve ser feito obedecendo as definições do documento do modelo conceitual do sistema 11. Definição e projeto dos experimentos Escolher os diversos níveis (ou valores) dos fatores que afetam o desempenho do sistema, entre os quais a carga a ser submetida ao sistema e aqueles que determinam características do sistema. Abordagem Sistemática 12.Validação do Modelo Realizar execuções piloto para validar o modelo. Utilizar, caso exista, dados de outro sistema do qual se possua medida de desempenho e com o qual o sistema possa ser comparado. A equipe que desenvolveu a simulação, bem como o especialista, deve revisar o modelo e verificar se os resultados estão corretos e dentro do esperado Utilizar análises de sensibilidade para determinar quais fatores tem impacto mais significativo sobre as medidas de desempenho e devem ser modelados com maior cuidado Se o modelo não for válido voltar à etapa dois Abordagem Sistemática 13. Análise e interpretação dos resultados Os resultados dos experimentos são valores aleatórias e que exigem uma analise estatística para sua correta interpretação 14. Documentação e apresentação dos resultados Deve ser documentado: O modelo conceitual do sistema e tudo que foi assumido em termos de parâmetros e fatores. O programa correspondente ao modelo analítico ou de simulação. A análise dos resultados. Os resultados devem ser apresentados aos gerentes e às demais pessoas envolvidas na tomada de decisões, evitando o uso de jargão técnico/estatístico, através de relatórios e apresentações com: Animações do modelo; Gráficos e tabelas das análises; Discussão da construção do modelo e do processo de validação para promover a suacredibilidade. Utilizar os resultados nos processos de tomada de decisão se estes forem válidos e tiverem credibilidade. Exercícios Dado um sistema para estudo de performance. Descrever o sistema e as informações relevantes para a avaliação deste: Serviços Métricas de desempenho Parâmetros de sistema Parâmetros do Workload Fatores e seus níveis Técnica de avaliação Workload
Download
