International Standart
ISO/IEC 14598 – 5
Software Product
Evaluation - Process for
Evaluators
[email protected]
[email protected]
For QPP Class of 05/06
1
Agenda
Visão Geral – Road Map
 Utilização, Beneficios, Caracteristicas
ISO/IED 14598 – 5
 O processo de Avaliacão
 Case-Study
 Conclusões
 Perguntas & Respostas

For QPP Class of 05/06
2
Road Map - Histórico
1986 *ISO /IEC 8402 – Definição Geral de
Qualidade
 1991 * ISO /IEC 9126 – Software Product
Evaluation
 1994 * Revisão da ISO /IEC 9126,
separação 9126-1, 9126-2, 9126-3.
 1998-2001 * Separação de produto e
processo, criação da serie ISO /IEC
14598-1, 14598-2, 14598-3, 14598-4,
14598-5, 14598-6

For QPP Class of 05/06
3
Road MAP – Visão Geral

Parte da Tabela extraida do “ Guia para utilização das normas sobre Avaliação de Qualidade de Produto de Software –
Iso/Iec 9126 e Iso/Iec 14598”
For QPP Class of 05/06
4
Road MAP – Visão Geral
For QPP Class of 05/06
5
What

ISO/IED 14598 é uma série de standards
que oferecem e descrevem métodos para
medição, aplicação e avaliação de
produtos de software

ISO/IED 14598 – 5, descreve a
implementação do processo do ponto de
vista do Avaliador.
For QPP Class of 05/06
6
Why
Com o crescimento da aplicação de
software a situações criticas (segurança,
suporte de vida, cálculos económicos)
torna-se importante um meio de medir
qualidade de software.
 A avaliação providencia um resultado
entendido por todas as partes.

For QPP Class of 05/06
7
When

A avaliação de qualidade de software pode
ser realizada em qualquer ponto do ciclo
de desenvolvimento ou comercial.
For QPP Class of 05/06
8
Who




Requesters
Fornecedores de
software
Fabricantes de soft
Utilizadores - Clientes
Equipas de integração




Evaluators
Laboratórios de teste
Entidades internas de
fabricantes, fornecedores ,
compradores ou equipas de
integração
Organizações que fazem
comparações
Consultores Externos
For QPP Class of 05/06
9
Benefits of evaluation




O produtor pode utilizar os resultados para
aplicar acções correctivas
Para o fornecedor pode oferecer mais confiança
no produto que oferece. Pode usar a informação
para fins de marketing
Para os compradores de software, podem ter uma
base para fundamentar a escolha de um software
Para a industria, a generalização da qualidade
pode ser usado com factor de marketing que leva
a que o mesmo seja usado entre todos os
produtos
For QPP Class of 05/06
10
Evaluation process - Characteristics
Repetição
 Reciprocidade
 Imparcialidade
 Objectividade

For QPP Class of 05/06
11
Evaluation process – Life cycle
For QPP Class of 05/06
12
Evaluation process -Process (cont)
For QPP Class of 05/06
13
Purpose of the specification of
evaluation
Definição do âmbito da avaliação
 Definição das métricas a utilizar em qual
ou quais componentes
 Definição dos níveis de avaliação

For QPP Class of 05/06
14
Elaboration of evaluation
specification
Analise da descrição do produto ou
componentes
 Especificação das métricas a serem
aplicadas no produto ou componentes
 Verificação da analise versus
conformidade com os requisitos da
avaliação

For QPP Class of 05/06
15
Purpose of design of evaluation
Definição dos procedimentos de avaliação
a realizar
 Definição e especificação dos recursos a
utilizar

For QPP Class of 05/06
16
Elaboration of the evaluation plan
Documentação dos procedimentos e
realização de planeamento
 Optimização do plano de avaliação
 Calendarização da avaliacão

For QPP Class of 05/06
17
Purpose of execution evaluation

Obtenção de resultados através de
métricas e verificações sobre o produto,
com base nos requerimentos e
planeamento da avaliação
For QPP Class of 05/06
18
Execution of the evaluation






Gestão dos componentes a verificar
Gestão dos dados da avaliação
Gestão das ferramentas de avaliação
Gestão das técnicas de avaliação
Avaliação do local (se for fora do local acordado)
Realização de avaliações e relatórios
For QPP Class of 05/06
19
Purpose of conclusion of evaluation
Revisão do relatório, conjunta entre
avaliador e clientes, da avaliação
 Destino final dos dados da avaliação (
destruição, arquivamento, …)
 Entrega da avaliação ao cliente

For QPP Class of 05/06
20
Case study

Qseal Consortium methodology
At the end of 1994 the Qseal Consortium was founded. The
Consortium is composed by Etnoteam, Cesvit, Ismes,
Tecnopolis Csata acting as testing laboratories (CNR
participated an external partner) and IMQ acting as a
certification body.
For QPP Class of 05/06
21
QSEAL – Evaluation process



O processo de avaliação foi estruturado em cinco
passos que devem ser realizadas pelo avaliador.
Passo 1: Analisa os requisitos do cliente por
forma a identificar o propósito da avaliação
Passo 2: Especifica a avaliação de modo a
identificar as partes e caracteristicas do software
a serem analisadas
For QPP Class of 05/06
22
QSEAL – Evaliation process



Passo 3: Especificação da avaliação a qual irá
incluir as ferramentas, instrumentos e tecnicas
para alem da calendarização de todo o processo
Passo 4: realização da avaliação, ou seja, as
mediçoes, testes e registos
Passo 5: gerar o relatório de toda a actividade.
No final o relatorio será entregue ao cliente e terá
o selo do Qseal
For QPP Class of 05/06
23
Qseal - The quality model
Passos 1 e 2 – Analise dos objectivos
e definição dos atributos
Funct ionality
Reliability
Efficiency
Usability
Portabilit y
Maint ainability
For QPP Class of 05/06
Accuracy
Compliance
Interoperability
Security
Suitability
Fault tolerance
Maturity
Recoverability
Resource behaviour
Time behaviour
Learnability
Operability
Understandability
Adaptability
Installability
Replaceability
Analysability
Changeability
Stability
Testability
24
Qseal - The evaluation levels
Passo 3 – Especificação da Avaliação
Level
Environmental
Personal
Economic
1
Small damage to property
No risk to people
Negligible economic loss
No specific risk
2
Local pollution
Few people injured
Significant economic loss
Protection against error
risk
3
Recoverable
environmental damage
Threat to human lives
Large economic loss
Protection of critical data
and services
4
Unrecoverable
environmental damage
Many people killed
Financial disaster
Protection of strategic
data and services
For QPP Class of 05/06
Security
25
Qseal - The measurement records
Passo 4 – Realização da Avaliação
C
h
a
r
SCh
a
L
e
v
id
Checklist item
Notes
How
Answe
r
M
A
I
AN
A
1
1,
2
Is there a complete description of the
functionality performed by each high
level architecture component?
X=(high level architecture
components
completely
defined) /
(total number
high
level architecture
components)
LIN
M
A
I
AN
A
3
3,
1
Has a programming
established?
M
A
I
AN
A
4
4,
12
Are all machine
commented?
M
A
I
CH
A
2
2,
8
standard
been
Inspection
YN
dependent
units
X= number of machine
dependent
units
with
comments/ total number of
machine dependent units
LIN
Is the naming of each data item consistent
throughout the component/ unit?
X= number of data item
with consistent names/total
number of data item
LIN
For QPP Class of 05/06
R
E
A
R
D
D
T
D
A
T
U
M
S
I
S
C
Q
A
M
C
1
1
1
1
1
26
P
I
Qseal - The measurement records
Passo 4 – Realização da Avaliação
For QPP Class of 05/06
27
Qseal - Why the Qseal Consortium
methodology should be a success?
(Qseal point of view )




O projecto é open-source
As métricas e os métodos de medida são simples
de modo a serem facilmente utilizados para
avaliações e certificações
As suas metodologias tiram partido dos últimos
resultados em projectos a nível internacional.
Vários elementos deste projecto fizeram parte de
vários outros projectos, logo, espera-se uma
maior harmonia
For QPP Class of 05/06
28
Conclusões
A norma constitui uma agregação das
restantes normas 14598 e 9126, no
sentido que as utiliza.
 O focus no processo é o rigor, a isenção e
a definição de regras que levam a que a
avaliação seja aceite pelos actores.

For QPP Class of 05/06
29
Any questions ?
Thanks for your atention !
For QPP Class of 05/06
30