Ponto de Partida
ERC | III Conferência Anual, 2009 | António Salvador
2
Dinâmica criada pelas sondagens de opinião
Esta conclusão, do relatório em referência, remete para uma
questão inicial:
Qual a relevância das sondagens “políticas” no mundo dos
estudos de mercado e opinião?
ERC | III Conferência Anual, 2009 | António Salvador
3
O negócio das sondagens políticas e eleitorais
Para a maioria das empresas de estudos de mercado e opinião,
sobretudo as maiores, o negócio das sondagens “políticas” é residual
ou inexistente (em Portugal e em todo o mundo).
Não será este, no entanto, o caso de algumas empresas credenciadas
pela ERC (18, no total):
Empresas Credenciadas /
Associadas
Nº
Empresas
Total Volume
Facturação
(2008)
(000€)
Média
(000€)
ERC e não APODEMO
8
4.092
511
APODEMO
29
89.404
3.083
ERC | III Conferência Anual, 2009 | António Salvador
4
E os inquéritos de opinião de cariz não eleitoral?
A Lei 10/2000, de 21 de Junho, limita a sua aplicação a sondagens e
inquéritos relativos a assuntos de carácter eleitoral (mais do que
político, como é habitual referir-se), o que empola a importância
deste tipo de inquéritos de opinião.
Porquê?
É por ser necessário obter a informação sobre o peso eleitoral dos
candidatos de forma fidedigna e inquestionável?
ERC | III Conferência Anual, 2009 | António Salvador
5
E os inquéritos de opinião de cariz não eleitoral?
Não faz sentido.
Neste caso, vai haver um resultado
nacional e indesmentível na eleição.
Porque
não
regular
informação,
eventualmente importante para a
governação do país, sobre a qual não
vai existir informação nacional e
inquestionável?
ERC | III Conferência Anual, 2009 | António Salvador
6
Os resultados das sondagens influenciam o eleitor?
Só há uma explicação para a Lei 10/2000 limitar a sua aplicação a
sondagens e inquéritos relativos a assuntos de carácter eleitoral: é
para impedir que os resultados das sondagens possam influenciar,
de forma distorcida, o voto dos eleitores.
Alguém alguma vez, incluindo a ERC, promoveu algum estudo de
carácter
científico
sobre
a
influência
das
sondagens
no
comportamento eleitoral em Portugal?
Quanto mais não fosse, analisar o que lá fora se produziu de
científico sobre o assunto?
ERC | III Conferência Anual, 2009 | António Salvador
7
Os resultados das sondagens influenciam o eleitor?
Aposto que a maioria dos políticos, jornalistas e demais
comentadores acredita na tese do Bandwaggon (ter um score
elevado nas sondagens faz ter mais votos).
Paulo Portas terá certamente
sido, na sequência das
eleições europeias, um dos
grandes responsáveis pela
existência desta comissão de
diagnóstico sobre a situação
das sondagens.
ERC | III Conferência Anual, 2009 | António Salvador
8
Os resultados das sondagens influenciam o eleitor?
Também Santana Lopes
parece seguir o mesmo
raciocínio.
ERC | III Conferência Anual, 2009 | António Salvador
9
Os resultados das sondagens influenciam o eleitor?
Mas só às vezes!
ERC | III Conferência Anual, 2009 | António Salvador
10
Como conhecer melhor o comportamento eleitoral?
Pegando neste célebre caso de Santana Lopes e João Soares, não
terá havido antes uma outra consequência, conhecida como
“abstenção por certeza de vitória”?
E o caso “Nuno Melo” nas eleições europeias, não poderia ser um
caso de underdog (o eleitor votar num candidato que aparece
demasiado fraco nas sondagens)?
ERC | III Conferência Anual, 2009 | António Salvador
11
Os resultados das sondagens influenciam o eleitor?
Em princípio, devia ser fácil analisar estes fenómenos. Vejamos, por
exemplo, as eleições europeias.
Se o PS teve mais, em quase todas as sondagens, do que veio a ter
na eleição, deverá ter havido abstenção por certeza de vitória.
No caso de Nuno Melo, era normal concluir-se por um caso de
underdog.
E podíamos analisar estas evoluções de cada vez que houvesse
eleições, se…
ERC | III Conferência Anual, 2009 | António Salvador
12
Os resultados das sondagens influenciam o eleitor?
Se… estivéssemos a pensar bem.
Mas a generalidade da Comunicação Social, dos políticos e dos
demais
intervenientes
nestas
temáticas
perceberam
logo
a
verdadeira realidade. Afinal, não houve abstenções por certeza de
vitória nem underdogs, a verdadeira explicação era bem menos
sofisticada: eram as sondagens que estavam todas erradas.
Porquê?
ERC | III Conferência Anual, 2009 | António Salvador
13
Sondagem e previsão
Porque a generalidade da Comunicação Social, dos políticos e dos
demais intervenientes nestas temáticas sabem muito bem que a
intenção de voto não varia nos quinze dias de campanha eleitoral.
Logo, as sondagens deviam ter dado todas o PSD a ganhar e Nuno
Melo com os votos que veio a ter.
Os tipos das sondagens são uns brincalhões: só acertam nas
sondagens de boca-de-urna. Nas outras, andam a brincar com o país.
ERC | III Conferência Anual, 2009 | António Salvador
14
Sondagem e previsão
Esta confusão entre sondagem e previsão é a verdadeira razão
porque estamos todos aqui.
E a maior fonte de prejuízo para a credibilidade das empresas de
sondagens.
Temos que nos entender: vamos começar por partir do pressuposto
de
que,
independentemente
das
hipotéticas
influências
das
sondagens sobre o comportamento eleitoral, temos que proteger o
eleitor de sondagens de má qualidade?
ERC | III Conferência Anual, 2009 | António Salvador
15
Vamos proteger o eleitor
Partamos assim do pressuposto da protecção do eleitor. O que
significa obrigar a que as sondagens sejam de qualidade.
Como se mede a qualidade de uma sondagem? Alguém sabe dizer?
Sobretudo quando 6 empresas diferentes têm aproximadamente as
mesmas metodologias e dão resultados diversos?
Só existe uma forma objectiva de avaliar uma sondagem: é através
das sondagens de “boca-de-urna”.
ERC | III Conferência Anual, 2009 | António Salvador
16
Sondagens de “boca-de-urna”
in Correio da Manhã, 12 de Outubro 2009
O que, mesmo assim, parece nem sempre ser fácil….
ERC | III Conferência Anual, 2009 | António Salvador
17
Sondagens de “boca-de-urna”
in Correio da Manhã, 12 de Outubro 2009
ERC | III Conferência Anual, 2009 | António Salvador
18
Sondagens de “boca-de-urna”
Legislativas 2002
SIC/Eurosondagem
RTP/U. Católica
TVI/Intercampus
RESULTADOS
Partidos
Previsão
Desvio
Previsão
Desvio
Previsão
Desvio
FINAIS
PSD
42,0
1,8
39,5
0,7
40,3
0,1
40,2
PS
37,4
0,4
38,5
0,7
38,0
0,2
37,8
PP
7,3
1,4
8,8
0,1
8,3
0,4
8,7
CDU
7,3
0,4
6,8
0,1
6,8
0,1
6,9
BE
2,7
0,0
3,5
0,8
2,9
0,2
2,7
Desv. Médio
4,0
2,4
1,0
média dos d.m.
0,8
0,5
0,2
0,5
Legislativas 2005
SIC/Eurosondagem
RTP/U. Católica
TVI/Intercampus
RESULTADOS
Partidos
Previsão
Desvio
Previsão
Desvio
Previsão
Desvio
FINAIS
PSD
25,2
3,5
27,0
1,7
28,1
0,6
28,7
PS
48,8
3,7
47,0
1,9
46,2
1,1
45,1
PP
7,0
0,3
6,0
1,3
6,8
0,5
7,3
CDU
8,4
0,8
7,0
0,6
7,7
0,1
7,6
BE
7,0
0,6
7,0
0,6
6,4
0,0
6,4
Desv. médio
8,9
6,1
2,3
média dos d.m.
1,8
1,2
0,5
1,2
ERC | III Conferência Anual, 2009 | António Salvador
19
Sondagens de “boca-de-urna”
Legislativas 2009
SIC/Eurosondagem
RTP/U. Católica
TVI/Intercampus
RESULTADOS
Partidos
Previsão
Desvio
Previsão
Desvio
Previsão
Desvio
FINAIS
PSD
28,8
0,3
27,0
2,1
28,3
0,8
29,1
PS
38,3
1,7
38,0
1,4
38,0
1,4
36,6
PP
8,8
1,7
10,0
0,5
10,1
0,4
10,5
CDU
7,6
0,3
8,5
0,6
7,5
0,4
7,9
BE
10,1
0,2
10,5
0,6
10,0
0,1
9,9
Desv. médio
4,2
5,2
3,1
média dos d.m.
0,8
1,0
0,6
0,8
ERC | III Conferência Anual, 2009 | António Salvador
20
Sondagens de “boca-de-urna”
Europeias 2004
SIC/Eurosondagem
RTP/U. Católica
TVI/Intercampus
RESULTADOS
Partidos
Previsão
Desvio
Previsão
Desvio
Previsão
Desvio
FINAIS
PS
46,0
1,5
45,0
0,5
44,7
0,2
44,5
PSD/PP
32,0
1,3
34,0
0,7
32,8
0,5
33,3
CDU
11,0
1,9
9,0
0,1
8,7
0,4
9,1
BE
6,0
1,1
5,0
0,1
5,8
0,9
4,9
Desv. médio
5,8
1,4
2,0
média dos d.m.
1,5
0,4
0,5
0,8
Europeias 2009
SIC/Eurosondagem
RTP/U. Católica
TVI/Intercampus
RESULTADOS
Partidos
Previsão
Desvio
Previsão
Desvio
Previsão
Desvio
FINAIS
PSD
31,1
0,6
31,5
0,2
32,4
0,7
31,7
PS
29,6
3,0
30,5
3,9
26,1
0,5
26,6
PP
8,4
0,0
8,5
0,1
8,0
0,4
8,4
CDU
10,4
0,3
10,5
0,2
11,2
0,5
10,7
BE
12,5
1,8
10,5
0,2
11,3
0,6
10,7
Desv. médio
5,7
4,6
2,7
média dos d.m.
1,1
0,9
0,5
0,9
ERC | III Conferência Anual, 2009 | António Salvador
21
Sondagens de “boca-de-urna”
Autárquicas 2009
CONCELHO
PARTIDO
SIGLA PARTIDO
SIC
Resultados
oficiais
RTP
TVI
Lim
mínimo
Limite
Máximo
PM
DV
Lim
mínimo
Limite
Máximo
PM
DV
Lim
mínimo
Limite
Máximo
PM
DV
38,0
36,0
-2,7
34,7
40,3
37,5
1,2
LISBOA
Lisboa com Sentido
PPD/PSD.CDS-PP.MPT.PPM
38,7
36,9
41,1
39,0
-0,3
34,0
110600
B.E.
B.E.
4,6
3,9
6,1
5,0
-0,4
3,0
5,0
4,0
-0,6
3,0
5,6
4,3
0,3
CDU
PCP-PEV
8,1
6,6
8,8
7,7
0,4
8,5
10,5
9,5
1,4
7,1
10,7
8,9
-0,8
PS
PS
44,0
41,2
45,4
43,3
0,7
44,0
48,0
46,0
2,0
42,8
48,4
45,6
-1,6
1,8
6,7
3,9
PORTO
B.E.
B.E.
5,0
3,9
5,7
4,8
-0,2
4,0
6,0
5,0
0,0
3,3
6,9
5,1
0,1
131200
CDU
PCP-PEV
9,8
7,9
10,1
9,0
-0,8
8,5
10,5
9,5
-0,3
7,8
11,4
9,6
-0,2
O Porto em Primeiro
PPD/PSD.CDS-PP
47,5
43,3
47,1
45,2
-2,3
45,0
49,0
47,0
-0,5
44,9
50,5
47,7
0,2
PS
PS
34,7
35,5
39,3
37,4
2,7
33,0
37,0
35,0
0,3
31,2
36,8
34,0
-0,7
6,0
17,1
1,1
13,0
16,0
14,5
1,2
MATOSINHOS
Matosinhos merece Melhor
PPD/PSD.CDS-PP
-2,6
11,9
130800
B.E.
B.E.
2,7
2,0
4,0
3,0
0,3
1,4
PS
PS
42,3
38,0
42,0
40,0
-2,3
38,0
CDU
PCP-PEV
4,4
4,0
6,0
5,0
0,6
2,6
Narciso Miranda Matosinhos Sempre
I
30,7
32,0
36,0
34,0
3,3
OEIRAS
MAIS OEIRAS
PPD/PSD.CDS-PP.PPM
16,4
13,0
16,0
14,5
111000
Isaltino, Oeiras mais à Frente
I
41,5
41,0
45,0
B.E.
B.E.
3,9
3,0
PS
PS
25,8
CDU
PCP-PEV
7,3
16,5
14,2
2,9
4,0
2,7
0,0
43,6
40,8
1,5
5,2
3,9
0,5
32,2
37,8
35,0
-4,3
1,9
14,2
18,8
16,5
43,0
-1,5
40,0
45,6
42,8
1,3
5,0
4,0
-0,1
2,4
5,0
3,7
-0,2
25,0
29,0
27,0
-1,2
23,3
28,9
26,1
0,3
6,0
8,0
7,0
0,3
5,0
8,6
6,8
-0,5
9,1
9,2
5,0
Abstenção
41,0
36,3
39,9
38,1
2,4
21,9
16,7
5,5
4,2
7,8
7,8
5,1
3,9
3,9
2,6
Média 4
concelhos
Média de 2
concelhos
0,1
-2,9
ERC | III Conferência Anual, 2009 | António Salvador
36,0
41,0
38,5
-2,5
38,0
43,0
40,5
-0,5
22
Sondagem e previsão
No caso das sondagens pré-eleitorais, vamos partir do pressuposto
que é possível avaliar a qualidade de uma sondagem (chamem-lhe o
que quiserem: precisão, exactidão) através da comparação do seu
resultado com o da eleição 8 ou 15 dias mais tarde?
Aparentemente, toda a gente acha que sim.
ERC | III Conferência Anual, 2009 | António Salvador
23
Sondagem e previsão
Infelizmente, até o relatório da ERC agora proposto acha que sim:
ERC | III Conferência Anual, 2009 | António Salvador
24
Sondagem e previsão
O próprio relatório em referência, em vários momentos, estuda os
“desvios” das sondagens face aos resultados verificados, como se,
de previsões se tratasse. E, para cúmulo, sem cuidar de analisar o
timing de realização do trabalho de campo, comparando trabalhos
de campo realizados antes e depois do inicio da campanha eleitoral.
Fazer uma previsão (só conheço um caso em Portugal, efectuado
pelo Pedro Magalhães) é antecipar o resultado de uma eleição,
independentemente do que vier a acontecer durante a campanha
eleitoral. À semelhança de autores americanos, PM fê-lo cerca de
seis meses antes da eleição.
ERC | III Conferência Anual, 2009 | António Salvador
25
Sondagem e previsão
O que é muito diferente da medição da intenção de voto num
determinado momento (que é o objectivo das sondagens préeleitorais).
As chamadas sondagens pré-eleitorais não podem ser um bom
avaliador da qualidade das sondagens, e quando analisadas ou
comparadas, deverão ser com base em resultados brutos (sem
ponderações por voto anterior, redistribuição de indecisos, ou outros
procedimentos que as aproximam do conceito de previsão).
ERC | III Conferência Anual, 2009 | António Salvador
26
Sondagem e previsão
Sistematicamente, são
realizados “rankings”
para a melhor sondagem
(pré-eleitoral) com base
nas menores diferenças
face ao resultado efectivo
(o que, em teoria,
significaria que a melhor
sondagem pré-eleitoral
seria a que não tivesse
desvios…).
in Correio da Manhã, 12 de Outubro 2009
ERC | III Conferência Anual, 2009 | António Salvador
27
Conceitos
Fala-se muito, e o próprio relatório contribui para essa confusão,
sobre se os resultados com anulação de indecisos são, ou não, uma
“previsão”.
Distinguiria 3 conceitos diferentes:
1. Intenção de voto no momento – resultados brutos da
sondagem (com indecisos); diz o que se passa no momento;
2. Previsão – trabalho de modelização, de carácter científico, que
pode ter, ou não, sondagens de intenção de voto na sua base; diz o
que vai acontecer no futuro;
ERC | III Conferência Anual, 2009 | António Salvador
28
Conceitos
3. Extrapolação – resultados da sondagem (sem indecisos –
qualquer que seja o método); a não ser que se assuma que se trata
de uma previsão, esta extrapolação permite comparar intenções de
voto com um número diferente de indecisos. Com efeito, para
contornar
esse
problema,
pode
anular-se
os
indecisos
e
compararmos só os votos expressos.
Há quem defenda que se trata “do resultado que teria existido se as
eleições fossem nesse dia”. O que já é mais inteligente do que
pensar que se trata do resultado que vai acontecer daí a 10 dias.
ERC | III Conferência Anual, 2009 | António Salvador
29
Conceitos
No entanto, nem isso é verdade.
Porque se a eleição tivesse sido nesse dia, as pessoas indecisas
tinham pensado, pelo menos nas horas anteriores, em como iriam
votar. O que não fizeram, por não adivinhar que o entrevistador lá ia
a casa.
Supor que os indecisos não votam, ou que o seu voto se repartirá
como o dos “decididos”, pode implicar distorções que são de evitar.
ERC | III Conferência Anual, 2009 | António Salvador
30
O erro
A margem de erro constante na ficha técnica, e obrigatoriamente
difundida pelos OCS, também não ajuda nada.
Com efeito, a apresentação do erro não faz sentido. Por várias
razões:
1. Porque estamos a falar de um erro (de amostragem) que não se
pode aplicar às amostras que utilizamos.
ERC | III Conferência Anual, 2009 | António Salvador
31
O erro
Com efeito,
(a) parte da amostragem praticada não é probabilística (e o erro de
amostragem só se pode calcular nestes casos);
(b) mesmo nas amostras ditas “probabilísticas”, o erro só se devia
calcular se não houvesse recusas; o que é virtualmente impossível.
2. Porque estamos a falar de um erro (de amostragem) que não é o
verdadeiro erro em que toda a gente pensa: o desvio possível em
relação aos valores apresentados.
ERC | III Conferência Anual, 2009 | António Salvador
32
O erro
Com efeito, quem é que entende o que é o erro de amostragem?
Ninguém, as pessoas pensam num erro global.
Ora, o erro global é o somatório do erro de amostragem e do erro de
medida. E este, não só é normalmente muito superior ao primeiro,
como não é mensurável.
Não é estar a levar as pessoas ao engano?
ERC | III Conferência Anual, 2009 | António Salvador
33
Amostra e erros de medida
“Aconselhar” as empresas a “reduzir os erros sistemáticos” parece
partir
do
pressuposto
de
que
esses
erros
são
fácil
e
consensualmente detectáveis e elimináveis e que há assim “erros”
que as empresas de sondagens poderiam facilmente detectar. E a
verdade é que não são.
ERC | III Conferência Anual, 2009 | António Salvador
34
Erros de medida
Há dois aspectos especialmente importantes na realização de uma sondagem
de intenção de voto:
1. O modo como a pergunta é formulada
2. O local onde a pergunta é colocada
ERC | III Conferência Anual, 2009 | António Salvador
35
O erro
No entanto, o próprio relatório em referência continua a fazer
questão da presença deste elemento nocivo, quer por cientificamente
não fazer qualquer sentido, quer por reforçar a ideia de previsão.
ERC | III Conferência Anual, 2009 | António Salvador
36
Conclusão
Terminaria, dizendo que estou convencido de que tem havido
omissão das questões essenciais e tem sido dada demasiada
importância ao acessório.
Como é o caso da enorme dificuldade, seguramente reconhecida por
todos, em medir a abstenção.
A questão da abstenção, embora crítica, não pode ser vista como
sendo possível de estimar através de uma sondagem. Só com
métodos previsionais (sondagem + modelo cientifico). Mais uma
vez, onde estão esses modelos?
ERC | III Conferência Anual, 2009 | António Salvador
37
Conclusão
No entanto, mais uma vez, o próprio relatório em referência continua
a fazer questão em prolongar as dificuldades
(…)
(…)
ERC | III Conferência Anual, 2009 | António Salvador
38
Conclusão
E como é o caso das casas decimais dos resultados.
ERC | III Conferência Anual, 2009 | António Salvador
39
Conclusão
O que, em nossa opinião, pode aumentar ainda mais a confusão.
Por exemplo, no caso dos pequenos partidos, uma diferença de
0,01% pode criar diferenças que não serão de todo insignificantes.
Dia d
Dia d+7
Partido X
4,49 %
4%
4,5%
5 % (+1)
Partido Y
4,50 %
5 % (+1)
4,49%
4%
ERC | III Conferência Anual, 2009 | António Salvador
40
Conclusão
Termino com uma sugestão.
Vamos usar as sondagens pré-eleitorais para conhecer melhor o
comportamento dos eleitores portugueses. Ou seja, para estudar.
E não para criticar o que desconhecemos e não compreendemos, ou,
o que ainda é mais grave, para usar o trabalho tão exigente de
pessoas honestas com o objectivo de proceder a manobras e jogos
políticos – normalmente oriundos dos políticos perdedores – que não
contribuem em nada para o desenvolvimento deste país.
ERC | III Conferência Anual, 2009 | António Salvador
41
ERC | III Conferência Anual, 2009 | António Salvador
42