Comparação de Sistemas Usando
Amostragem de Dados
por:
Tiago A. E. Ferreira
Amostragem vs. População
População
Milhões de
números
Amostragem
X1, X2, ..., Xn
Média 
Média X
Desv. Pad. 
Desv. Pad. s
Objetivo: Determinar parâmetros a partir das estatisticas
Intervalo de Confiança
• Em estatística, inferências (a partir de dados) não
são definitivas inquestionáveis: devem ser sempre
apresentadas com os intervalos de confiança
associados
• Nós apenas medimos os fenômenos do mundo real
em observações discretas e generalizamos as
conclusões para todo o domínio
• Há sempre um erro ao processo de generalização
Intervalo de Confiança
• P(a    b) = 1 - 
onde:
– :valor esperado do parâmetro (desconhecido)
– (a,b):intervalo de confiança (variável aleatória)
– :
nível de significância
– 100(1 - )
nível de confiança
– (1 - )
coeficiente de confiança
Métodos para se Determinar o
Intervalo de Confiança.
• Quantis de k médias
• Teorema Central do Limite (a partir de 1 média)
– Aproximação pela distribuição normal
(n30)
– Aproximação pela distribuição t de Student
(n<30)
Exemplo: Quantis de 100 Médias
a 90% de Nível de Confiança-1
• Tomam-se 100 amostras {x1 , x2,.., xn} de n exemplos
• Calculam-se as 100 médias
• Colocam-se as 100 médias em ordem crescente
{ y1, y2 ,, y100 }
• Toma as [1+0,05(100-1)] e [1+(1-0,05)(100-1)]-ésimas
médias como limites inferior e superior
{ y1,, y5 , y6 ,, y95 , y96 , y100}
a
b
Intervalo de Confiança –
Distribuição Normal - N(0,1)
• Faz-se a transformação para a normal reduzida N(0,1)
 Xn  x 
Zn  
 n
 s 
• Consulta-se na tabela o quantil z[1-/2] da normal reduzida
• Encontra o intervalo de confiança (a,b)






s
s
(a, b)   x  z(1 2 ) 
, x  z(1 2 ) 

n
n 



Exemplo 1
Suponha uma certa distribuição de pontos que tenha:
Queremos um intervalo de
confiança sobre a média de 90%!
x = 3.90
s = 0.95
100(1-) = 90   = 0.1
n = 32
Temos, Z[0.995] = 1.645, o que implica um intervalo de confiança
3.62,4.17   3.90  1.645 0.95


3.62
3.90
, 3.90  1.645 0.95




32 
32


4.17
Intervalo de Confiança –
Estatística de t-Stundent
• Faz-se a transformação para a t de Student com  graus
de liberdade
N (0,1)
t ( ) ~
 ( ) 
2
• Consulta-se na tabela o quantil t[1-/2;] da t de Student
• Encontra o intervalo de confiança (a,b)






s
s
(a, b)   x  t(1 2;n1) 
, x  t(1 2;n1) 

n
n 



Exemplo 2
Suponha a amostragem: {-0.04, -0.19, 0.14, -0.09, -0.14, 0.19,
0.04, 0.09}. Temos,
Queremos um intervalo de
x=0
confiança sobre a média de 90%!
s = 0.138
100(1-) = 90   = 0.1
n=8
Temos, t[0.95;7] = 1.895, o que implica um intervalo de confiança
 0.0926,0.0926   0  1.895 0.138

-0.0926

0
, 0  1.895 0.138  



8
8


0.0926
Teste de Média Zero
médias
0
Intervalos de
Confiança que
incluem o zero
Intervalos de
Confiança que não
incluem o zero
Exemplo 3
A diferença de tempo de processamento para duas diferentes
implementações do mesmo algoritmo é dada pela amostragem:
{1.5, 2.6, -1.8, 1.3, -0.5, 1.7, 2.4}
n = 7; x = 1.03; s2 = 2.57 ; s = 1.60
Intervalo de Confiança de 99% : 100(1-) = 99,  = 0.01, 1-/2 = 0.995
1.03  t0.995;6  1.60   1.03  0.605t0.995;6    1.21,3.27
7

t0.995;6   3.707
Procedimentos Estatísticos para
Comparação de Dois Sistemas
• Observações Emparelhadas
Se n experimentos são realizados sobre dois sistemas, e
existe uma relação um para um entre o i-ésimo teste do
sistema A e o i-ésimo teste do sistema B, estas observações
são ditas emparelhadas
• Observações Não Emparelhadas
Se não existir uma correspondência entre as amostras dos
sistemas A e B, as observações são ditas não em
parelhadas.
Observações Emparelhadas
Seis medidas similares foram aplicas a dois sistemas, e obtemos:
{(5.4, 19.1), (16.6, 3.5), (0.6, 3.4), (1.4, 2.5), (0.6, 3.6), (7.3, 1.7)}
Um Sistema é melhor do que o outro?
A diferença de rendimento constitui ma amostragem das seis
observações: {-13.7, 13.1, -2.8, -1.1, -3.0, 5.6}
X = -0.32; s = 9.03; IC(90%) = -0.32  t0.95 (3.69), t0.95 = 2.015
IC(90%) = (-7.75, 7.11)
O intervalo de Confiança incluí o zero, desta forma os dois
sistemas não são diferentes!
Observações Não Emparelhadas
É necessário realizar uma estimativa da variância e dos graus de
liberdade:
Receita: Procedimento teste-t
1) Calcular as médias
1
xa 
na
1
xb 
nb
na
x
ia
i 1
nb
x
i 1
ib
Observações Não Emparelhadas
2) Calcular os Desvios Padrões:
sa

2 
2


x

n
x
   ia 
a
a
 i 1

 
na  1



sb

2 
2


x

n
x
   ib 
b
b
 i 1

 
nb  1



na
nb







1







1
2
2
Observações Não Emparelhadas
3) Calcula a diferença das médias:
xa  xb
4) Calcular o desvio padrão da diferença das médias:
s
2
a
2
b
s
s

na nb
Observações Não Emparelhadas
5) Calcular o número efetivo de graus de liberdade:
2
s
s 
  
na nb 



2
1  sa2 
1  sb2 
  
 
na  1  na  nb  1  nb 
2
a
2
b
Observações Não Emparelhadas
6) Calcule o intervalo de confiança para a diferença das
médias:
xa  xb   t1 ; s
2
7) Se o intervalo de confiança incluir o zero, a diferença é não
significativa em um nível de confiança de 100(1-)%. Se o
intervalo de confiança não incluir o zero, então o sinal da
diferença das médias indicará qual sistema é o melhor!
Exemplo – Observações não
Emparelhadas
O tempo de processador requerido para executar uma tarefa foi
medido em dois sistemas:
Sistema A: {5.36, 16.57, 0.62, 1.41, 0.64, 7.26}
Sistema B: {19.12, 3.52, 3.38, 2.50, 3.60, 1.74}
Sistema A:
Sistema B:
Média xa = 5.31
Média xb = 5.64
Variância sa2 = 37.92
Variância sa2 = 44.11
na = 6
nb = 6
Exemplo – Observações não
Emparelhadas
Diferença das médias: xa – xb = -0.33
Desvio Padrão para diferença das médias: s =3.698
Número efetivo de graus de liberdade:  = 11.921
t[0.95; 12] = 1.71
Intervalo de confiança = (-6.92, 6.26)
O intervalo de confiança inclui o zero! Assim sobre este nível de
confiança os sistemas são iguais!
Teste Visual
1) Os CI’s não se sobrepõem, o sistema vermelho é melhor.
2) Os CI’s se sobrepõem e as médias estão dentro do CI do
sistema oposto. Os sistemas são iguais!
3) Os CI’s se sobrepõem, mas as médias não estão dentro do
CI do sistema oposto. É necessário o procedimento do
teste-t!
Intervalo de Confiança Unilateral
Se desejarmos comparar uma grandeza x com um determinado
valor, para sabermos, por exemplo, se ela é maior que este valor.
Só necessitamos de um lado do intervalo de confiança. Assim,
pode-se definir:
s
s 



, x  ou  x , x  t1 ;n1
 x  t1 ;n1

n 
n


Exemplo – IC Unilateral
O tempo de resposta a um estimulo foi medido para um sistema A e
um sistema B.
No de
medidas
Média
Desv.
Padrão
A
972
124.10
198.20
B
153
141.47
226.11
Sistema
Procedimento Teste-t:
xa  xb  17.37 s = 19.35
 = 191.05 ( > 30)
IC = (-17.37, -17.37+1.28*19.35) = (-17.37, 7.402)
z0.90=1.28
Intervalos de Confiança para
Proporções
Estatística de Dados Categóricos – Probabilidades associada às
Categorias. Tais probabilidade são chamadas de proporções!
Dado que n1 das n observação são do tipo 1, o IC para a
proporção é dado por:
p  z1
2
p1  p 
n1
, onde p  ,
n
n
se np  10
Exemplo - Proporções
Um experimento foi repetido 4 vezes em dois sistemas. O sistema A
foi superior Ao sistema B em 26 repetições. O sistema A é superior
com uma confiança de 99%?
P = 26/40 = 0.65; s = 0.075 ; z0.995 = 2.576
O que dá um IC = 0.62  (2.576)(0.075) = (0.46, 0.84)
Como o ponto 0.5 pertence ao IC não pode-se afirmar que o
Sistema A é superior ao Sistema B com 99% de certeza!
Determinação do Tamanho das
Amostras
•Tamanho da amostra para determinação da média:
Se queremos um precisão de r% e um IC de 100(1-)%
s
r 

 100zs 
xz
 x 1 
  n

n
 100
 rx 
2
•Tamanho da amostra para determinação de proporções:
Se queremos um precisão de r% e um IC de 100(1-)%
p1  p 
2 p1  p 
pr  p z
,  nz
n
r2
Determinação do Tamanho das
Amostras
•Tamanho da amostra para IC’s que não se sobrepõem:
 0.0051  0.005 
Sistem a A  0.005 1.960

n


2
 0.0061  0.006 
Sistem a B  0.006 1.960

n


Assim,
2
 0.0051  0.005 
 0.0061  0.006 
0.005 1.960
  0.006 1.960

n
n




n  84340
2
2