Objetivar a subjetividade
O Método Funcional: uma teoria de testes desenvolvidos especificamente
para a construção de provas de avaliações subjetivas
F. Gendre & R. Oswald
1. Introdução
Os testes, que sejam de aptidões (testes de desempenho máximo) ou de atitudes (testes de
avaliação subjetiva) são construídos, tratados e interpretados de acordo com as teorias
concebidas para testar habilidades em uma seleção, que seja, as das antigas formas paralelas, a
habitual da amostra de um construto ou a mais recente teoria de resposta ao item (TRI).
Em um teste, que seja de aptidão ou de atitude, tudo está nos itens, a informação que transmitem
e no processo de resposta assumido, latente. No entanto, tanto a natureza dos itens quanto o
processo de resposta são muito diferentes em uma prova de aptidão e um teste de atitude.
Na realidade, as provas de aptidão são constituídas de itens simples, incluindo uma resposta
objetiva, verdadeira e sensata a inventariar uma única aptidão subjacente. Suas características
são: o nível de dificuldade, de discriminação (correlação item total ou inclinação da curva
característica no ponto de inflexão da TRI) e o grau de adivinhação (percentagem de respostas
corretas encontradas por acaso ou probabilidade de acertar uma resposta para um nível de
ignorância ou nenhuma capacidade na TRI), baseado no número de alternativas e de sua
credibilidade nos questionários de múltipla escolha. O processo de resposta é modelado por uma
função; nos mais recentes modelos, esta função é logística e linear no contexto da amostragem de
um construto. Na prática, os escores são obtidos adicionando as respostas corretas ou as aptidões
latentes que são associadas a estas respostas, que podem ser consideradas em uma métrica
absoluta mais especificamente no modelo da TRI. As provas de aptidão são, portanto, em uma
métrica uni-variada.
Quanto aos testes de atitudes eles são compostos de itens complexos, sem qualquer objetivo real
de resposta, mas comportam respostas subjetivas, expressas em uma escala ordinal, comparando
o significado do item à imagem global que o respondente quer revelar. Suas características são a
popularidade, a discriminação (ou correlações existentes entre os itens e as grandes dimensões
que estruturam o construto) e a adivinhação às expectativas do beneficiário (falsificação ou
desejabilidade social / laboral), que depende muito do contexto no qual o teste é utilizado:
aconselhamento, colaboração ou seleção e competição. Tradicionalmente, os resultados são
obtidos pela soma das respostas em conformidade com uma grade de correção, mas de um ponto
de vista puramente matemático as somas a partir de escalas ordinais não fazem sentido! Os testes
de atitudes estão, portanto, em uma perspectiva não métrica, multivariada.
É para repercutir estas diferenças fundamentais entre as provas de aptidão e as provas de atitudes
que Francis Gendre, pesquisador na Universidade de Lausanne, Suíça, desenvolveu uma nova
teoria especificamente adaptada aos testes de atitudes a partir da década 90. Em uma primeira
etapa se concentrou nas provas utilizadas no contexto de aconselhamento. Isto permitiu evacuar
© 2009 Moityca Eficiência Empresarial Ltda.
o espinhoso problema da falsificação. Por isso, ele desenvolveu o método de síntese, depois o
Método Funcional para chegar finalmente no Método Funcional generalizado.
2. O método de síntese
Ao trabalhar com a adaptação em francês do ACL (Adjective Check List) de Gough, Gendre
percebeu que havia, para seus itens, um grande número de informações inutilizadas. Depois,
durante a cotação dos escores nas escalas dos estados do ego de Berne baseadas em avaliações
clínicas, percebeu que o cálculo consistia praticamente em calcular a correlação existente entre os
vetores de valores dos itens e o vetor resposta do sujeito, desde que os vetores de valores estejam
padronizados em escores Z.
Assim nasceu o método de síntese: trata-se de modo a refletir à natureza complexa dos itens das
suas atitudes envolvendo um vetor de características, construído a partir de todas as informações
disponíveis, resumidas e ortogonalizadas. O processo de resposta é modelado por uma equação de
regressão múltipla, que é chamado de "estratégia de resposta", em referência às técnicas de
modelagem do ensaio clínico ou a utilização de comportamento econômico da época.
O método de síntese foi a base para o estabelecimento de ORUS, um sistema de apoio à decisão
profissional. O sistema ORUS é modelado a partir da teoria de Royce para identificar três
conjuntos de "possíveis": o possível pessoal (o que é desejável) ou as preferências (ou optar por
interesses profissionais), os potenciais profissionais (o que é provável) ou de competências
necessárias para satisfazer às exigências do mundo profissional (implícitas ou explícitas) e o
possível emocional (o que é aceitável) ou da personalidade e dos valores (ou adaptação para ter
sucesso). Este sistema utiliza uma linguagem comum aos três tipos de “possíveis” baseada na
teoria da Holland, completada por Gottfredson (nível e sexo) e composta por 10 dimensões
obtidas por rotações ortogonais procusteanas. Este sistema tem sido utilizado por vários anos na
orientação vocacional dos centros dos cantões suíços de língua francesa antes de serem
substituídos por novos testes construídos utilizando o modelo de Método Funcional.
3. O Método Funcional
No Método Funcional, o universo de itens é definido, como na teoria da amostragem de um
construto, pelo conjunto de todos os itens possíveis e o teste como uma amostra aleatória deste
conjunto.
O Método Funcional é a construção de um espaço de medição o mais possível exaustivo,
abrangente e objetivo, em uma métrica “absoluta”. Este espaço é uma hiper-esfera ortonormada
à superfície da qual se situam às extremidades dos vetores que representam os itens. As
características dos itens (ou assinaturas) são as coordenadas (ou saturação) no espaço de medição
e expressos em valores absolutos das correlações. Além do espaço de medição, existe o espaço de
resposta constituído por um vetor contendo as respostas do sujeito ao qual os itens foram
apresentados. As respostas são recolhidas sob a forma de uma escala de Likert compreendendo
geralmente 5 categorias de respostas ordenadas.
O processo de resposta é modelado por uma análise de regressões múltiplas das relações entre o
espaço de medição e o espaço de resposta. A equação resultante desta modelização é chamada
de Estratégia de Resposta do sujeito (ou assinatura da estratégia de resposta) e, depois de ter sido
padronizada, pode ser representada por um vetor unidade no espaço de medição. A correlação
múltipla resultante é chamada de coerência da estratégia. É utilizada para avaliar a adequação do
modelo para refletir as respostas do sujeito. A Fidelidade da estratégia pode ser obtida através da
divisão da prova em duas partes funcionalmente paralelas e calculando em cada uma delas a
estratégia de resposta, é possível em seguida, pelo produto escalar dos dois vetores normados
obtidos, calcular a correlação entre as duas estratégias parciais.
© 2009 Moityca Eficiência Empresarial Ltda.
As relações (correlações ou produtos escalares) entre o vetor da estratégia de resposta e os
vetores dos itens são chamadas de atratividades dos itens e podem ser usadas para calcular os
escores das diversas escalas (ou grupos de itens). Estas escalas são também representadas por
vetores unidades no espaço de medição (centroíde do cluster). As coordenadas desses vetores são
chamadas de assinaturas das escalas e o produto escalar da assinatura das escalas, e da estratégia
de reposta é usada para calcular os escores das escalas que são correlações.
4. A criação do espaço de medição
Para determinar as características dos itens (a sua discriminação) ou coordenadas no espaço de
medição, o Método Funcional utiliza conjuntamente os três principais métodos de construção de
testes: racional (julgamento de peritos especialistas no assunto tratado), fatorial (estrutura
implícita das respostas de uma grande amostra de indivíduos heterogêneos) e empírico (validação
conceitual dos itens em relação aos instrumentos (re)conhecidos). Estas três abordagens
determinam sucessivamente três espaços de medição parciais que são finalmente integrados para
fornecer o espaço de medição total. O espaço de medição total aproxima razoavelmente o espaço
teórico completo, absoluto e sem erro que fundamenta o método. O valor do Método Funcional
depende do rigor com o qual o espaço de medição é construído.
5. A objetivação da subjetividade
O Método Funcional requer transformar em métricas as categorias de respostas, inicialmente
apenas ordinais, para torná-las absolutas e, assim, permitir a sua utilização na análise métrica,
como a análise das regressões.
Para que o espaço de resposta se torne objetivo e absoluto como o espaço de medição, é
necessário transformar a escala de resposta proposta, não métrica, subjetiva e ordinal em uma
escala métrica, objetiva e absoluta.
Uma escala ordinal não permite a utilização de qualquer uma das 4 operações (adicionar, subtrair,
multiplicar e dividir), mas só permite a utilização da álgebra das desigualdades. Ao considerar as
diferenças entre os rankings, uma escala ordinal já é transformada em uma escala métrica de
intervalo.
Uma escala de intervalo permite o uso da adição e da subtração, e permanece invariável sob
qualquer transformação linear, o que torna possível a padronização (estandardização) e o cálculo
das correlações.
Se, para pelo menos uma linha (rank), é possível estimar a variância de um zero absoluto, a escala
é transformada em uma escala de razão, métrica, objetiva, conhecida como absoluta.
Uma escala de razão autoriza o uso das quatro operações, a interpretação direta do resultado, as
comparações diretas entre e dentro de indivíduos, inter e intra-instrumentos e fornece acesso a
todo o arsenal de métodos matemáticos e estatísticos.
Os valores absolutos de uma escala ordinal podem ser encontrados calibrando a escala ordinal em
relação a uma variável externa "absoluta", olhando para os valores a atribuir às categorias de
respostas para maximizar a correlação com esta variável. As dimensões da medição fornecem
variáveis externas consideradas como absolutas, e para cada uma delas, buscamos os valores que
maximizam esta correlação (éta). Acontece que esses valores absolutos ou escala de respostas do
sujeito, são as médias dos pontos atribuídos a cada categoria de respostas. Existem tantas escalas
com dimensão absoluta e todas essas escalas são as assinaturas das categorias de resposta (que
podem ser consideradas como estratégias parciais).
© 2009 Moityca Eficiência Empresarial Ltda.
Estes diferentes níveis de respostas absolutas são integrados pela soma ponderada das
componentes padronizadas para chegar a uma Escala Absoluta de resposta do sujeito. As
ponderações utilizadas para essa integração são uma função das correlações entre as várias
escalas de medição e de cada um do absoluto parcial (ou a importância das dimensões da
estratégia de resposta ao tópico)
6. Outros fatores específicos ao Método Funcional
No âmbito do Método Funcional, foram também definidas as características dos itens super ou
sub estimados em relação à estratégia de resposta, o que pode indicar erros de transcrição, uma
falta de atenção ou reais contradições e fornecer uma base para uma discussão sobre eles.
Também foi desenvolvido um processo para considerar os valores inexistentes (itens omitidos),
substituindo-os com suas imagens obtidas a partir da estratégia de resposta calculada sem eles. O
Método Funcional foi também desenvolvido para a criação de formas curtas que poderiam melhor
servir como base para a criação de testes sob medida (os chamados testes adaptativos).
O Método Funcional serviu de base para a criação dos testes L.A.B.E.L., INTERESSES, IVPG e
COMPER, os três primeiros substituindo ORUS nos serviços de orientação profissional, na Suíça
francesa. Estes testes podem ser encomendados on-line no site da Moityca
(www.moityca.com.br) e os manuais também podem ser consultados, bem como vários textos
sobre o Método Funcional.
7. O Método Funcional generalizado
Para chegar ao Método Funcional generalizado, foi necessário alargar o Método Funcional em três
dimensões.
A primeira direção diz respeito à criação de espaços de medição generalizados que podem conter
os itens de vários testes e escalas, pertencentes à família das atitudes. Isto permite a estimativa
direta de respostas a um teste a partir de outro, a determinação de singularidades cruzadas, o
cálculo da convergência (correlação entre as diferentes estratégias de provas) e a criação de uma
linguagem "natural" comum aos diversos testes utilizados, evitando os problemas de "forçar" uma
teoria, problemática que foi evidenciada no sistema ORUS.
A segunda direção diz respeito à generalização do Método Funcional nos processos seletivos. Isto
necessitou a modelização da estratégia de falsificação, que se sobrepõe à estratégia espontânea
"honesta", quando existe uma situação de desafio (contratação, promoção, etc.). Foi evidenciado
que, quando o coeficiente de "ousadia" permanece modesto e que a falsificação é moderada, a
uma estratégia real, "honesta" pode ser reconstituída. Este modelo é puramente teórico, foi
modelizado, mas ainda não foi testado em grande escala.
A direção final diz respeito à aplicação do Método Funcional às provas de aptidão ou de
desempenho máximo. De fato, se um método uni-variado não pode ser generalizado e
extrapolado para um sistema multivariado, um sistema multivariado admite, como caso particular,
uma situação uni-variada. Isto implica ter um espaço de medição uni-variado constituído de um
vetor, que chamamos de vetor da verdade (o item é verdadeiro ou falso) e um espaço de resposta
constituído de respostas que exprimem um nível de certeza do sujeito sobre a veracidade do item,
utilizando uma escala de Likert composta geralmente 5 níveis. Em seguida é necessário então
render métrica a resposta, calculando para cada um dos itens, sua escala absoluta de resposta,
maximizando a correlação (éta), com o escore verdadeiro (estimadas pela correlação vetor de
medição da resposta ou aptidão latente).
© 2009 Moityca Eficiência Empresarial Ltda.
8. Síntese e conclusões
Em resumo, o Método Funcional nasceu da constatação da inadequação das teorias que regem a
construção dos testes e da interpretação, pois concebidas para provas de aptidão e também
utilizadas para os testes de atitudes, enquanto os primeiros são métricos e uni-variados e os
segundos não-métricos e multivariados.
O Método Funcional consiste na criação de dois espaços: um espaço de medição objetivo, métrico,
absoluto e sem erros (sempre que for possível), contendo todos os itens e todas as escalas
construídas a partir deste conjunto de elementos e de um espaço para respostas subjetivas e nãométrica (ordinais).
O espaço de medição, uma vez construído a partir do julgamento de peritos ou juízes, das
respostas dos sujeitos e dos estudos de validação conceitual e criterial, é fixo. Se trata de uma
hiper esfera ortonormada (de raio 1), na qual os itens são representados por vetores, bem como
todas as escalas usadas.
O espaço de resposta tem de ser transformado em uma métrica compatível com a métrica do
espaço de medição e é este espaço de medição que vai servir para calibrar as categorias (ou
ranking) de respostas para alcançar este resultado, maximizando a correlação entre as respostas
dos sujeitos e cada dimensão do espaço de medição.
O espaço de medição e o espaço das respostas podem ser relacionados por regressão múltipla, o
que projeta o sujeito (a sua estratégia de resposta) no espaço de medição e permite executar
qualquer ação desejada sobre os Itens ou as escalas.
Se o contexto o exigir, tais medidas absolutas podem em seguida serem postas em perspectiva
para permitir comparações com grupos de pessoas possuindo características específicas em
relação à idade, escolaridade, nível sócio-econômico, sexo, etc. ...
O Método Funcional cria medidas próprias como a coerência, a fidelidade, as singularidades e a
convergência. O Método Funcional permite a criação de espaços generalizados, pode ser aplicado
aos testes de competências e propõe um contexto apropriado para compreender o que acontece
na seleção.
Temos, portanto, demonstrado que é possível desenvolver uma teoria de testes voltados
especificamente para a avaliação subjetiva , dando resultados mais ricos, mais fidedignos e mais
válidos do que utilizando as teorias “clássicas”. Isto resulta do fato de que o Método Funcional
explora melhor as informações contidas nos itens e “purifica” as respostas observadas utilizando a
imagem destas respostas, eliminando algumas componentes de erro. Apesar da sua aparente
complexidade, o Método Funcional simplifica a interpretação, porque, todo o sistema sendo
baseado na estratégia de resposta, a dimensão dos resultados são as ilustrações das implicações
da estratégia de resposta. Isto implica, no entanto, a compreensão do modelo subjacente e seus
conceitos e as medidas específicas a este modelo ...
Embora o Método Funcional tenha sido criado e desenvolvido sem referência direta à teoria da
resposta ao item, o resultado final pode ser comparado. Na TRI, as respostas de um sujeito a um
conjunto de itens de aptidões "calibrados" (isto é, cujos parâmetros característicos das suas curvas
são conhecidos com precisão) são utilizados para inferir a capacidade do sujeito em uma métrica
absoluta, independente da escolha de itens aos quais ele responde.
© 2009 Moityca Eficiência Empresarial Ltda.
Na teoria funcional, as respostas de um sujeito a um conjunto de itens de atitudes "calibrados"
(isto é, cujas características na hiper esfera ortonormada são perfeitamente conhecidas), permite
também inferir a atitude do sujeito em uma métrica absoluta, com base nos itens aos quais
respondeu.
Os resultados do Método Funcional são mais complexos do que um teste "clássico", mas também
carregam muito mais informações, sugerem interpretações originais e suscitam uma reflexão
cuidadosa para integrar os resultados das duas abordagens possíveis, absoluta e relativa. Na
verdade inicialmente pode parecer confuso dispor para cada escala dois escores: um absoluto
(escore bruto comparável ou correlação) e um escore relativo (escore padronizado G) podendo
gerar as seguintes situações. O escore absoluto pode ser baixo, médio ou alto, indicando a sua
importância na hierarquia intra pessoal do sujeito e o escore padronizado pode ser por sua vez
baixo, médio ou alto, indicando a sua importância inter pessoal, em relação a um determinado
grupo de referência o que caracteriza nove possíveis casos de diferentes interpretações.
Por exemplo, um sujeito em um questionário de interesse pode obter um escore absoluto
relativamente baixo na função Realista o que tende a indicar que ele dá pouca atenção a esta
dimensão ou um escore G elevado para essa dimensão, o que sugere que, geralmente, se
concentra fortemente sobre esta dimensão. Na verdade não é assim, e será importante rever anos
e anos de interpretações erradas: ele rejeita a dimensão Realista (absoluta), mas a sua rejeição é
menor do que a maioria dos indivíduos no grupo de referência, e por isto seu escore G é elevado,
mas em nenhuma circunstância indica um interesse real nessa dimensão.
No entanto, não podemos nos enganar, e este exemplo tende a demonstrar que a avaliação
psicológica é uma disciplina muito mais complexa do que o simples ato de comparar um escore
bruto a uma amostra de referência.
BIBLIOGRAFIA
Dupont, J.B. & Gendre, F. (1993). Nouvelles procédures pour un bilan. Issy-les- Moulineaux : E.A.P.
Gendre, F. (1970). L’orientation professionnelle à l’ère des ordinateurs. Neuchâtel : Delachaux et
Niestlé. 261 p.
Gendre, F. (1980). L’évaluation des individus, In Levy-Leboyer C. (Eds.) Le psychologue et l’entreprise.
Paris : Masson.
Gendre, P. (1982). Les développements contemporains dans la construction de mesures
psychologiques. Revue internationale de Psychologie appliquée, 31, 1, 91-115.
Gendre, F. (1985). An Introductory Manual for Multivariate Analysis. Institute of Personality
assessment and Research, University of California : Berkeley.
Gendre, F. (1985). Vers une orientation professionnelle individualisée : la méthode « synthèse».
Revue de Psychologie Appliquée, 35 (1), 19 - 34.
Gendre, F. & Chaghaghi, F. (1985). Application de la méthode synthèse à l'inventaire de personnalité
GIPX. Psychologie et Psychométrie, 6 (2), 7 - 26.
Gendre, F. & Chaghaghi, F. (1985). Application de la méthode synthèse au questionnaire d'intérêts
BIVAP. Psychologie et Psychométrie, 6 (2), 27 - 50.
Gendre, F. (1987). Etude de la stabilité intra et interpersonnelle de l’ACL de Gough. Revue de
psychologie appliquée, 37, 8, 235-260.
© 2009 Moityca Eficiência Empresarial Ltda.
Gendre, F. (1988). L’orientation rationnelle unifiée synthétisée (O.R.U.S.) : un modèle d’aide à la
décision professionnelle assistée par ordinateur. Revue de psychologie appliquée, 38 (1), 5 30.
Gendre, F. (1988). Les intérêts conçus comme des décisions professionnelle simulées. Psychologie &
Psychométrie, 9 (1), 5 - 30.
Gendre, F. & Capel, R. (1993). Caractéristiques individuelles, choix professionnels et adaptation au
travail. Psychologie & Psychométrie, (numéro spécial). 14 (2)
Gendre, F. ; Capel, R. ; Salanon, A. & Vuilleumier, N. (1995). Intérêts et décision : élaboration d'un
inventaire de décisions professionnelles simulées. Revue Suisse de Psychologie, 54 (1), 19-33.
Gendre, F. ; Capel, R. & Salanon, A. (1997). O.R.U.S. Orientation Raisonnée Unifiée et Synthétique,
Manuel de l'Utilisateur. Actualités psychologiques. Edition spéciale, 108 p.
Capel, R. & Mazumdar, D. (1998). O.R.U.S., Un système informatisé au service de l'orientation
professionnelle de demain. Psychologie & Psychométrie, 19(2), 35-56.
Gendre, F. & Capel, R. (1998). L'évolution de l'outil informatique modifiera-t-elle la fonction du
psychologue conseiller ? Actualités psychologiques. 4, 99- 112.
Gendre, F. ; Capel, R. & Monod, D. (2002). L.A.B.E.L. Un instrument d’évaluation. de la personnalité à
visée universelle. Psychologie & Psychométrie, 28, 1/2.
Gendre, F. , Capel, R. , & Oswald, R. (2009) Manual Prático do L.A.B.E.L.. São Paulo, Edição Moityca.
130 p.
Gendre, F. ; Capel, R. & Richina, O. (2001). IVPG, Manuel pratique. Institut de psychologie, Université
de Lausanne.
Gendre, F. & Capel, R. (2001). LIMET, Manuel pratique. Institut de psychologie, Université de
Lausanne.
Gendre, F. & Capel, R. (2002). LIVAP, Manuel pratique. Institut de psychologie, Université de
Lausanne.
Gendre, F. , Capel, R., Rossé, R. &. Richina, O. (2007) Vers une métrique absolue dans les épreuves
d’évaluations subjectives, Pratiques psychologiques.
© 2009 Moityca Eficiência Empresarial Ltda.