Avaliação e Controle de Sistemas de Informação
Abordagem Sistemática
Guilherme Amaral Avelino
gavelino@gmail.com
Abordagem Sistemática
Embora cada projeto seja único, o uso de uma abordagem
sistemática facilita a identificação das características do
sistema e evita a ocorrência de erros comuns.
Abordagem Sistemática
1. Definição dos objetivos e planos de análise

Reuniões de planejamento que devem resultar em:



Definição clara dos objetivos da Avaliação e Controle de
Sistemas de Informação
Cronograma para realização do estudo
Recursos necessários
Abordagem Sistemática
2. Definição do Sistema

O sistema deve ser estudado detalhadamente
Características do sistema a ser analisado

Documentações disponíveis
Conversa com especialistas no assunto
Conversa com as pessoas que operam o sistema



As fronteiras que delimitam o sistema

A escolha dos limites do sistema afetam tanto a carga de trabalho
como as métricas.
Uso de técnicas de decomposição em análises mais complexas


Dado o mesmo software e hardware o sistema pode mudar de
acordo com o objetivo do estudo

Ex: Dado dois CPUs



Tempo de resposta de um serviço em rede
Melhor unidade de processamento
Abordagem Sistemática
3. Enumeração dos serviços e resultados do sistema
 Cada sistema provê um conjunto de serviços
 Para um dado sistema a ser estudado devem ser identificados seus:


Serviços realizados
Resultados esperados
Esta lista é importante para seleção correta das métricas e carga de
trabalho
4. Seleção de métricas de desempenho
 Determinam a forma de se medir um sistema






Volume do trabalho produzido
Velocidade
Precisão
Disponibilidade do sistema
Taxa de erros
Abordagem Sistemática
5. Enumeração dos parâmetros da análise
 Valores que determinam o comportamento do sistema
 Estão relacionados a características do sistema e da carga
de trabalho
 Deve-se planejar uma coleta de dados para determinar os
parâmetros



Monitoração do sistema real
Projeções sobre um sistema a ser desenvolvido
Parâmetros identificados durante a execução do projeto
pode ser adicionado a lista
Abordagem Sistemática
6. Seleção dos fatores a serem estudados
 Parâmetros variáveis durante a análise




Deve se iniciar com uma quantidade pequena de fatores e
níveis e estender este número numa próxima fase do
projeto se os recursos permitirem
Ex:



Seus valores são denominados levels (níveis)
Ex: Diversos tamanhos de memória
Fatores: Quantum e número de usuário
Levels: pequeno e grande
Restrições políticas, financeiras, tecnológicas e impostas
pelos tomadores de decisão
Abordagem Sistemática
7. Seleção da carga de trabalho
 Define o tipo de serviço e a carga de serviço ao qual
sistema deve ser submetido
 Deve ser considerada na análise a carga típica do sistema
e a carga em momentos de pico
 Pode variar dependendo da técnica de avaliação escolhida



Modelagem analítica: normalmente expressa pela probabilidade
de várias requisições
Simulação: investigações sobre as requisições feitas por um
sistema real
Medição: scripts de usuário a serem executados pelo sistema
8. Definição do modelo conceitual do sistema
 Utilizando as informações coletadas nos passos
anteriores, elaborar um modelo conceitual do sistema
que especifica a concepção atual do sistema e tudo que
foi assumido
 Os detalhes do sistema dependem de:






Objetivos do projeto
Métrica
Disponibilidade dos dados
Credibilidade das informações obtidas
Limitações dos recursos computacionais
Limitações temporal e financeira
Abordagem Sistemática
9. Seleção de técnicas de modelagem
 Medição de um sistema real
 Modelagem analítica
 Simulação
 Escolha da ferramenta adequada

Ferramenta de modelagem
Ferramenta de modelagem
Custo da ferramenta
Custo do projeto
Linguagens de programação: Java, C++,
etc
Menor
Maior
Maior
Menor
Software de cálculos matemáticos
Pacotes de simulação: Arena, Promode,
Comnet, Optnet, etc

Ferramentas de monitoração
Abordagem Sistemática
10. Realização da modelagem
 Escolhida a técnica de modelagem e a ferramenta a ser
utilizada, o desenvolvimento do modelo analítico ou de
simulação deve ser feito obedecendo as definições do
documento do modelo conceitual do sistema
11. Definição e projeto dos experimentos
 Escolher os diversos níveis (ou valores) dos fatores que
afetam o desempenho do sistema, entre os quais a carga a
ser submetida ao sistema e aqueles que determinam
características do sistema.
Abordagem Sistemática
12.Validação do Modelo
 Realizar execuções piloto para validar o modelo. Utilizar, caso
exista, dados de outro sistema do qual se possua medida de
desempenho e com o qual o sistema possa ser comparado.
 A equipe que desenvolveu a simulação, bem como o
especialista, deve revisar o modelo e verificar se os resultados
estão corretos e dentro do esperado
 Utilizar análises de sensibilidade para determinar quais fatores
tem impacto mais significativo sobre as medidas de
desempenho e devem ser modelados com maior cuidado
 Se o modelo não for válido voltar à etapa dois
Abordagem Sistemática
13. Análise e interpretação dos resultados
 Os resultados dos experimentos são valores aleatórias e que exigem uma analise estatística
para sua correta interpretação
14. Documentação e apresentação dos resultados
 Deve ser documentado:




O modelo conceitual do sistema e tudo que foi assumido em termos de parâmetros e fatores.
O programa correspondente ao modelo analítico ou de simulação.
A análise dos resultados.
Os resultados devem ser apresentados aos gerentes e às demais pessoas envolvidas na
tomada de decisões, evitando o uso de jargão técnico/estatístico, através de relatórios e
apresentações com:



Animações do modelo;
Gráficos e tabelas das análises;
Discussão da construção do modelo e do processo de validação para promover a suacredibilidade.
Utilizar os resultados nos processos de tomada de decisão se estes forem válidos e
tiverem credibilidade.

Exercícios
Dado um sistema para estudo de performance. Descrever o
sistema e as informações relevantes para a avaliação deste:
 Serviços
 Métricas de desempenho
 Parâmetros de sistema
 Parâmetros do Workload
 Fatores e seus níveis
 Técnica de avaliação
 Workload
Download

Abordagem Sistemática