Avaliação do Produto
Requisitos do Processo de Avaliação
As actividades de avaliação durante o processo de
desenvolvimento de um programa
Carolina Sismeiro nº 12198
Rui Sabença nº 13517
Conteúdos

Requisitos do Processo de Avaliação

Requisitos Gerais




Identificação dos Requisitos de Qualidade
Especificação da Avaliação






Planeamento da Avaliação Externa
Planeamento da Avaliação Interna
Execução da Avaliação


Requisitos de Qualidade Externos
Requisitos de Qualidade Internos
Desenho da Avaliação


Requisitos Organizacionais
Requisitos do Projecto
Avaliação Interna
Avaliação do Produto Final
Revisão da avaliação da qualidade e “feedback” para a organização
Caso Prático
ISO/IEC 14598-3:2000(E)
2
Conteúdos

Requisitos do Processo de Avaliação

Requisitos Gerais




Identificação dos Requisitos de Qualidade
Especificação da Avaliação



Requisitos Organizacionais
Requisitos do Projecto
Requisitos de Qualidade Externos
Requisitos de Qualidade Internos
...
ISO/IEC 14598-3:2000(E)
3
Requisitos Gerais (1)

Requisitos Organizacionais


Infra-estrutura que permita não só o registo de
dados, como também de alterações baseadas na
análise de dados previamente realizada;
Requisitos do Projecto

Processo disciplinado que permita o planeamento e a
direcção da avaliação e medição do software;

Deve:


ser elaborado tendo em conta experiências anteriores;
coordenar avaliação e reparação;
ISO/IEC 14598-3:2000(E)
4
Conteúdos

Requisitos do Processo de Avaliação

Requisitos Gerais




Identificação dos Requisitos de Qualidade
Especificação da Avaliação



Requisitos Organizacionais
Requisitos do Projecto
Requisitos de Qualidade Externos
Requisitos de Qualidade Internos
...
ISO/IEC 14598-3:2000(E)
5
Requisitos de Avaliação(1)

Identificação dos Requisitos de Qualidade

A ter em conta:








As necessidades do utilizador;
Experiência organizacional;
Experiência na área do trabalho que vai ser desenvolvido;
Requisitos de integridade do software;
Padrões (standards) requeridos;
Regulamentos;
Leis;
...
ISO/IEC 14598-3:2000(E)
6
Requisitos de Avaliação(2)

Requisitos do Sistema



Custos;
Garantias;
Restrições do plano pré estabelecido;
ISO/IEC 14598-3:2000(E)
7
Requisitos de Avaliação(3)

E ainda:


Todas as partes envolvidas no projecto devem
participar na identificação e prioritização de
requisitos, assim como na resolução de conflitos;
A organização deve fazer uma análise da
praticabilidade dos requisitos, e assegurar que estes
são viáveis, razoáveis, alcançáveis e verificáveis;
ISO/IEC 14598-3:2000(E)
8
Conteúdos

Requisitos do Processo de Avaliação



...
Identificação dos Requisitos de Qualidade
Especificação da Avaliação



Desenho da Avaliação



Requisitos de Qualidade Externos
Requisitos de Qualidade Internos
Planeamento da Avaliação Externa
Planeamento da Avaliação Interna
...
ISO/IEC 14598-3:2000(E)
9
Especificação da Avaliação(1)

“Medição” dos requisitos de qualidade:


Escolhe-se um ou mais atributos externos para
representar cada requisito;
Para cada requisito externo um ou mais atributos
internos são seleccionados para representar aquele
requisito.
ISO/IEC 14598-3:2000(E)
10
Especificação da Avaliação(2)

Requisitos de qualidade externos

A organização deve definir:





Em que processos do ciclo de vida e actividades a medição
e avaliação devem ser implementados;
Entidades a serem medidas e avaliadas;
Atributos externos a serem medidos;
Valores objectivo para cada métrica;
Condições debaixo das quais a medição deve ser efectuada.
ISO/IEC 14598-3:2000(E)
11
Especificação da Avaliação(3)

Requisitos de qualidade externos

A organização deve ainda:



Identificar métricas para cada requisito de qualidade, a
partir das entidades e dos atributos externos;
Executar uma análise refinada da praticabilidade dos
requisitos de qualidade;
Assegurar que os requisitos são tecnicamente razoáveis,
alcançáveis, verificáveis;
ISO/IEC 14598-3:2000(E)
12
Especificação da Avaliação(4)

Requisitos de qualidade internos

A organização deve definir:






Em que processos do ciclo de vida e actividades a medição e
avaliação dos atributos internos devem ser implementados;
Entidades a serem medidas e avaliadas;
Atributos externos a serem medidos;
Um conjunto de atributos internos que se relacionam com todos
os atributos externos – Estes atributos são usados como
indicadores de qualidade;
Valores objectivo para os atributos internos, sempre que
necessário;
Condições mediante as quais a medição deve ser realizada;
ISO/IEC 14598-3:2000(E)
13
Especificação da Avaliação(5)

Requisitos de qualidade internos

A organização deve definir um conjunto de atributos
internos que:



Sejam adequados no domínio da aplicação e no método a
ser usado no desenvolvimento;
Abranja cada produto intermediário e actividade relevantes;
Abranja riscos de desenvolvimento e o produto
identificado;
ISO/IEC 14598-3:2000(E)
14
Conteúdos

Requisitos do Processo de Avaliação


...
Especificação da Avaliação



Desenho da Avaliação



Requisitos de qualidade externos
Requisitos de qualidade internos
Planeamento da Avaliação Externa
Planeamento da Avaliação Interna
Execução da Avaliação

...
ISO/IEC 14598-3:2000(E)
15
Desenho da Avaliação(1)

Planeamento da Avaliação Externa


A avaliação externa diz respeito aos requisitos de
qualidade externos.
A organização deve


Especificar os procedimentos de levantamento de dados a
realizar para obter os valores para cada métrica externa;
Definir a precisão da medição;
ISO/IEC 14598-3:2000(E)
16
Desenho da Avaliação(2)

Planeamento da Avaliação Interna


A avaliação interna diz respeito à monitorização da
qualidade interna e controlo durante o
desenvolvimento.
A organização deve definir:


A precisão da medição especificando modelos estatísticos e
incluindo os requisitos dos dados, estratégias de amostragem;
Acções imprevisíveis, tais como avaliação extra, apenas se os
resultados medidos forem inconclusivos ou alarmantes.
ISO/IEC 14598-3:2000(E)
17
Desenho da Avaliação(3)

Planeamento da Avaliação Interna

A organização deve:


Especificar os procedimentos de levantamento de dados a
realizar para obter os valores para cada métrica interna;
Ter cuidado com quaisquer alterações nas actividades de
desenvolvimento do software, uma vez que podem implicar
uma alteração neste processo devido á necessidade de
aquisição de dados.
ISO/IEC 14598-3:2000(E)
18
Conteúdos

Requisitos do Processo de Avaliação


...
Desenho da Avaliação



Execução da Avaliação




Planeamento da Avaliação Interna
Planeamento da Avaliação Externa
Avaliação Interna
Avaliação do Produto Final
Revisão da avaliação da qualidade e “feedback” para a
organização
Caso Prático
ISO/IEC 14598-3:2000(E)
19
Execução da Avaliação(1)

Relacionar o levantamento de dados referentes á
qualidade, tal como planeado e comparar com os
valores predefinidos como os valores objectivo.

Avaliação Interna

A organização deve:


Recolher valores reais da medida para atributos internos
definidos de acordo com as acções definidas do
levantamento de dados;
Acautelar-se para assegurar a qualidade dos dados
recolhidos;
ISO/IEC 14598-3:2000(E)
20
Execução da Avaliação(2)

Avaliação Interna

A organização deve:




Comparar os valores recolhidos com aqueles predefinidos;
Estimar a qualidade do produto final com os valores dos
indicadores;
Usar os valores actuais para conferir tendências e assim
identificar riscos;
Analisar os valores actuais com o propósito de identificar
valores “outlier”;
ISO/IEC 14598-3:2000(E)
21
Execução da Avaliação(3)

Avaliação do Produto Final


A avaliação da qualidade de um produto de software ocorre
quando a fase de desenvolvimento estiver terminada.
A organização deve:





Recolher valores reais da medida para atributos externos
definidos de acordo com as acções definidas do levantamento de
dados;
Acautelar-se para assegurar a qualidade dos dados recolhidos;
Comparar os valores recolhidos com aqueles predefinidos;
Fazer uma avaliação dos resultados da avaliação;
Documentar o resultado da avaliação;
ISO/IEC 14598-3:2000(E)
22
Conteúdos

Requisitos do Processo de Avaliação


...
Desenho da Avaliação



Execução da Avaliação




Planeamento da Avaliação Interna
Planeamento da Avaliação Externa
Avaliação Interna
Avaliação do Produto Final
Revisão da avaliação da qualidade e “feedback” para a
organização
Caso Prático
ISO/IEC 14598-3:2000(E)
23
Revisão da avaliação da qualidade e
“feedback” para a organização

A organização deve:



Disponibilizar os dados recolhidos para reutilização;
Rever os resultados da avaliação, a validade do
processo de avaliação, os indicadores e métricas
aplicadas.
O “feedback” obtido após a revisão deve ser
usado para aperfeiçoar os processos e os
métodos de avaliação.
ISO/IEC 14598-3:2000(E)
24
Caso Prático
Software Educacional
Caso Prático

Requisitos Gerais

Requisitos Organizacionais

Pelo menos dois computadores com as seguintes
características mínimas:







Windows 2000 (SP2) ou XP (SP2)
Processador Pentium® IV
1024 MB de memória RAM
Leitor e Gravador de DVDS
Placa de som compatível CL Sound Blaster (16 bits)
Placa gráfica AGP (milhares de cores a 1024x768)
80 GB de disco rígido
ISO/IEC 14598-3:2000(E)
26
Caso Prático

Requisitos Gerais

Requisitos do Projecto
Process Table Key: X = Responsibility; R = Review; A = Approval required
Software Development Process
Project Manager
Software
Quality
Schedule
Software Developer
User
(fill in your dates)
Step 1: Concept Development
Determine User Requirements
X
Software Request for Proposal (RFP)
X
RA
Software Contract Package
X
RA
RA
RA
X
RA
RA
X
R
R
Developer Qualifications Review
R
Step 2: Defining Requirements
Software Planning Documents
Step 3: Design
Software Prototype & Review
RA
X
Design Document (DD)
RA
X
ISO/IEC 14598-3:2000(E)
27
Caso Prático

Requisitos Gerais

Requisitos do Projecto
Process Table Key: X = Responsibility; R = Review; A = Approval required
Schedule
Software Development Process
Project Manager
Software Quality
Software Developer
User
(fill in your dates)
Step 4: Implementation
Project Plan Status Review
RA
X
Code Software
Create Solved Examples
X
RA
R1
Unit, System, and Integration Tests
X
X
Draft Documentation
RA
R1
X
Verification & Validation (V&V)
RA
R1
X
Step 5: Alpha & Beta Test
Alpha Test (Developer)
X
Alpha Test (Required if Alpha version going to customers)
RA
RA
X
R
Beta Test (Required for all software going to customers)
RA
RA
X
R
Note: 1 = Reviewed at the Final Acceptance Test (Step 6)
ISO/IEC 14598-3:2000(E)
28
Caso Prático

Requisitos Gerais

Requisitos do Projecto
Process Table Key: X = Responsibility; R = Review; A = Approval required
Schedule
Software Development Process
Project Manager
Software Quality
Software Developer
RA
X
User
(fill in your dates)
Step 6: Final Acceptance Test
Set up Software Distribution
X
Final Acceptance Test
R
Step 7: Support & Maintenance
Software Support
Software Enhancements & Bug Fixes
RA
R
X
RA
ISO/IEC 14598-3:2000(E)
X
29
Caso Prático

Identificação dos Requisitos de Qualidade

Pertinência em relação ao programa curricular


Utilização de recursos computacionais


O software educacional deve ser adequado e pertinente em relação a
uma disciplina específica ou a um contexto educacional e permitir a
identificação do modelo de aprendizagem que privilegia, deixando
explícitos os seus objectivos pedagógicos.
O software educacional deve aproveitar as qualidades únicas do
computador como meio. A simples transferência de conteúdos para
um programa não traz ganhos para a educação.
Avaliação da aprendizagem

É importante que o software permita que o(a) docente ou os pais
verifiquem se e quais os conceitos estão a ser aprendidos pelos alunos
ou seja, a efectividade da aprendizagem.
ISO/IEC 14598-3:2000(E)
30
Caso Prático

Identificação dos Requisitos de Qualidade

Interacção


Adaptabilidade


O software educacional deve proporcionar uma boa condução da
criança durante a interacção com as diferentes interfaces, que facilite a
aprendizagem e utilização do programa, e, consequentemente, melhore
o desempenho e diminua o número de erros.
Um software educacional não consegue abranger a todo momento
todo o seu público-alvo, mas pode ser capaz de adaptar-se às
necessidades e preferências de diferentes perfis de utilizador.
Controlo e autonomia do utilizador

O controlo e liberdade do utilizador referem-se tanto ao controle que
os utilizadores devem ter sobre o processamento de acções solicitadas
quanto à liberdade que devem ter sobre a utilização destas acções.
ISO/IEC 14598-3:2000(E)
31
Caso Prático

Identificação dos Requisitos de Qualidade

Recursos apelativos


Gestão de erros


O uso de recursos apelativos (figuras, sons, animações) tem grande
importância em software do tipo educacional. Estes recursos podem
estimular os jovens e proporcionar o aumento da vida útil do programa
ao fazer com que eles desejem usá-lo mais vezes.
O software educacional deve tratar os erros que ocorrerem de forma
diferenciada, dependendo da sua classificação: erros de utilização ou
erros conceituais.
Carga de trabalho

A carga de trabalho refere-se a toda informação contida nas interfaces
do software educacional que serão utilizadas para a realização de
tarefas.
ISO/IEC 14598-3:2000(E)
32
Caso Prático

Identificação dos Requisitos de Qualidade

Conteúdo


Significado de códigos e denominações


O software educacional deve apresentar seu conteúdo, ou seja, toda a
informação contida no software que se intenciona transmitir aos
jovens, de forma objectiva e adequada a uma proposta pedagógica.
O significado de código e denominações refere-se à correspondência
entre o objecto apresentado e a respectiva informação apresentada.
Consistência e Padrões

Consistência e padrões referem-se à uniformidade na apresentação de
elementos e informações de um software, que ajuda a evitar que a
criança tenha dúvidas se palavras, situações ou acções diferentes no
software significam ou não a mesma coisa.
ISO/IEC 14598-3:2000(E)
33
Caso Prático

Identificação dos Requisitos de Qualidade

Correspondência entre o software e o mundo real


A correspondência com o mundo real refere-se à escolha e uso de
padrões, convenções ou associações familiares ao utilizador no
software educacional. A utilização destas convenções fazem a
informação aparecer numa ordem lógica e natural para o utilizador,
facilitando a compreensão e utilização do programa.
Documentação

O software educacional pode fornecer documentação direccionada
tanto para pais/docentes quanto para os jovens. No caso de adultos, a
documentação refere-se à descrição do software (identificação,
recursos necessários, objectivos, entre outros) e ao uso (instalação e
instrução), enquanto para os jovens, a documentação refere-se
somente ao uso do programa (instrução).
ISO/IEC 14598-3:2000(E)
34
Caso Prático

Especificação da Avaliação

Requisitos de Qualidade Externos


Quando o produto está quase finalizado, pronto para ser testado por
utilizadores externos, devem ser definidas as condições em que este será
testado, por exemplo uma escola onde os alunos testaram o programa e no final
preencheram um inquérito em que dão a sua classificação a vários níveis como
por exemplo interacção, interesse, aprendizagem e mais medidas de avaliação
do produto, podem fazer-se dois testes, um com os alunos sozinhos e outro
com ajuda de professores. Todos estes testes devem ter em conta resultados de
testes feitos anteriormente para outros produtos, para se conseguir alcançar o
objectivo da melhoria contínua.
Requisitos de Qualidade Internos

Quem fez o produto deve definir em que alturas este deve ser avaliado dentro
da empresa, por exemplo quando se acabou uma parte interface, ou uma parte
de conteúdos, tem que se definir como é avaliada cada uma e com que valores,
para depois serem analisados; deve dar-se prioridade às partes que já têm
informação interna na empresa.
ISO/IEC 14598-3:2000(E)
35
Caso Prático

Desenho da Avaliação

Planeamento da Avaliação Externa


As métricas externas são adquiridas através de inquéritos feitos aos alunos e
professores. Devem-se tentar fazer inquéritos individuais sempre que possível,
principalmente em relação aos alunos pois estes têm a tendência a debaterem
entre si o que responder, o que pode levar a uma amostra menos precisa.
Planeamento da Avaliação Interna

A organização define os pontos do trabalho que devem ser analisados por
outros programadores, tendo em conta métricas por ele estipuladas e que devem
ser recolhidas por um sistema que a própria empresa possa ter de documentação
interna. Se por exemplo os resultados não derem valores conclusivos ou derem
resultados muito extremos, podem-se usar beta testers. Caso haja alterações no
desenvolvimento do programa, esta avaliação pode sofrer alterações.
ISO/IEC 14598-3:2000(E)
36
Caso Prático

Execução da Avaliação

Avaliação Interna


Avaliação do Produto Final


A organização deve recolher os dados internos, verifica que são de qualidade,
que não foram adulterados, analisando os dados para ver se está tudo como foi
definido ou se foram encontrados problemas.
A organização deve recolher os resultados externos, neste caso os inquéritos
feitos na escola, analisar, tirar conclusões em relação ao produto. E guardar os
resultados da análise dos dados recolhidos para poderem servir para outros
produtos, como informação.
Revisão da avaliação da qualidade e “feedback” para a
organização

Após a análise dos testes feitos ao produto, ainda em fase de desenvolvimento, e
do resultado das entrevistas feitas a alunos e professores, devemos guardar essa
informação para ajudar na produção de futuros produtos na empresa, que se
possam basear em informações obtidas por esta análise, para melhorar cada vez
mais a qualidade dos produtos produzidos.
ISO/IEC 14598-3:2000(E)
37
Processo de Avaliação de
um Produto
Questões?
FIM!