RELATÓRIOS DE PESQUISA EM ENGENHARIA DE PRODUÇÃO, v.13, Série C, n. 2, p. 12-21.
DETALHAMENTO DE UMA METODOLOGIA DE CLASSIFICAÇÃO
BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
Annibal Parracho Sant’Anna
Universidade Federal Fluminense
Resumo
Este artigo detalha, passo a passo, um procedimento de classificação de uma opção identificada
pelos valores de certo número de atributos ou de avaliações segundo certo número de critérios ou
avaliadores. As classes são previamente determinadas por alguns perfis de referência, isto é, por opções
fictícias com valores dos referidos atributos ou avaliações que as identificam. A ideia básica para o
procedimento é que todas as medidas envolvidas não são números exatos, mas, sim, valores de variáveis
aleatórias. A composição probabilística é usada para calcular probabilidades de um vetor de variáveis
aleatórias com parâmetros de posição dados pelos valores da opção apresentar valores respectivamente
acima e abaixo dos valores apresentados pelas variáveis aleatórias centradas nos valores dos perfis de
referência. A opção é alocada na classe para a qual esses dois valores são mais próximos um do outro.
Um exemplo de aplicação é construído para tornar mais compreensível o procedimento.
Palavras-chave. Composição Probabilística de Preferências, Computação, Apoio à Decisão
Multicritério
Artigo submetido em 19/8/2013. Versão final recebida em 21/9/2013. Publicado em 30/9/2013.
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
13
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
1. Introdução
A Composição Probabilística de Preferências (CPP), proposta por Sant’Anna e
Sant’Anna (2001) e desenvolvida mais detalhadamente em Sant’Anna (2009) é uma
metodologia para composição de múltiplos critérios que leva em conta a imprecisão nas
medidas dos atributos ou nas manifestações de preferência. As avaliações iniciais segundo cada
critério são tratadas como parâmetros de posição de distribuições estatísticas. Depois de
precisamente especificadas essas distribuições, a comparação entre as opções segundo cada
critério resulta na determinação de probabilidades de preferência.
A ideia de comparar com base na composição de probabilidades de preferência é
aplicada em Sant’Anna et al. (2012) para classificar opções identificadas por múltiplos critérios
em classes predeterminadas por perfis de referência. Neste caso, em vez de comparar as opções
entre si, basta compará-las com os perfis representativos de cada classe. Tanto as avaliações das
opções segundo os múltiplos critérios, quanto os dos perfis de referência, que são dados por
avaliações fictícias segundo os mesmos critérios, são, para realizar-se a comparação, tratados
como estimativas de parâmetros de localização de variáveis aleatórias.
A modelagem dessas variáveis pode ser desenvolvida livremente de modo a representar
adequadamente os fatores que provocam a imprecisão nas avaliações. Para constituir um
padrão, adotam-se neste artigo distribuições normais. Os valores observados fornecem as
médias para essas distribuições. Seus desvios padrão são estimados pelos desvios padrão das
amostras de valores usados para representar avaliações segundo o critério respectivo nos perfis
de referência.
O número de critérios e de perfis representativos de cada critério é também de livre
escolha. Como em Sant’Anna (2013), o que é chamado de avaliação segundo um critério pode
ser o valor de um atributo ou de uma medida de preferência extraída de qualquer forma de
qualquer conjunto de avaliadores.
Também se pode escolher entre as diferentes formas de composição de preferência
sugeridas em Sant’Anna (2013). Pode-se usar, por exemplo, a probabilidade de as avaliações
segundo todos os critérios estarem de um mesmo lado, acima ou abaixo dos perfis
representativos a classe ou a probabilidade de as avaliações segundo pelo menos um critério.
Formas alternativas de composição são usadas para encapsular a classificação em um
intervalo entre dois extremos. O extremo inferior é obtido aplicando uma forma de
classificação mais exigente e outro, aplicando uma forma de classificação mais benevolente. O
uso destes dois adjetivos corresponde à ideia de que as classes estão ordenadas com uma classe
estando acima de outra quando os valores dos seus perfis representativos apresentam valores
maiores que os da outra.
A seguir são detalhados os sucessivos passos do procedimento. Depois se aplica a
metodologia a um exemplo de classificação dos alunos de uma turma em cinco classes com
base em critérios derivados das notas finais em sete disciplinas.
2. O Procedimento Passo a Passo
2.1. Primeira Etapa. Modelagem do Problema
A etapa inicial, de modelagem, envolve a escolha dos atributos, critérios ou avaliadores
a serem empregados, do número de classes e dos perfis representativos de cada classe e da
distribuição de probabilidades para as perturbações estocásticas que se supõe afetarem as
medições.
14
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
O princípio da parcimônia é o mais importante nesta etapa. Indica evitar critérios
redundantes, não usar mais valores para as avaliações que o suficiente para discriminar
adequadamente as opções a comparar e poucos perfis de referência. Em geral não há
necessidade de mais de um perfil de referência para cada classe nem de mais de cinco classes.
Quanto à distribuição de probabilidades das perturbações, a distribuição normal é a
mais usada para representar erros de medida. A ideia por trás da hipótese de normalidade é a de
que a aleatoriedade decorre da combinação de um grande número de possíveis desvios para um
ou outro lado. Em Sant’Anna (2013) são adotadas distribuições triangulares assimétricas,
tomando por base a ideia de que seriam mais prováveis os desvios em direção aos extremos
mais afastados. Esta hipótese é mais razoável no caso em que o objetivo é escolher uma melhor
opção. No caso de classificação, as opções podendo, em princípio, pertencer a qualquer classe
no espectro considerado, a hipótese clássica de normalidade parece mais natural. Nada impede
que se usem, entretanto, distribuições triangulares ou quaisquer outras que pareçam mais
adequadas a uma situação real.
Na falta de informação mais precisa, o desvio-padrão das distribuições normais é
suposto o mesmo para todas as medições segundo o mesmo critério e estimado pelo desviopadrão da amostra de medidas segundo esse critério nos padrões de referência. A dispersão dos
padrões de referência decorre em parte de caracterizarem classes distintas e pode-se supor que
as medidas de opções de uma classe possam concentrar-se nas proximidades dessa classe, mais
do que os valores observados nos padrões de referência, de modo que se esteja com isto
superestimando levemente os desvios padrão. Como esse possível viés afeta igualmente todas
as medidas, seu efeito sobre as comparações tem-se revelado negligenciável.
Quando se conhecem antecipadamente as alternativas que se pretende classificar, podese orientar a construção dos perfis de referência de modo a evitar que a estimação das
dispersões pelos desvios-padrão observados venha a atribuir maior influência a critérios com
perfis mais concentrados. Pode-se garantir igual espaçamento entre os perfis das diferentes
classes em todos os critérios, usando para construir os perfis os percentis das distribuições
observadas nas avaliações das alternativas segundo cada critério.
Por exemplo, no caso de cinco classes, as coordenadas do perfil representativo da
primeira classe seriam dadas pelos percentis de 10%. As do segundo, pelos percentis de 30%.
As do terceiro, pelas medianas. As do quarto, pelos percentis de 70%. E as do perfil da classe
mais alta pelos percentis de 90%. Em geral, para um número n qualquer de classes, as classes
extremas usariam os percentis de 1/n-1/2n e (n-1)/n+ 1/2n, mantendo-se entre classes
sucessivas distâncias constantes de 1/n.
Cabe observar, ainda, que a distribuição normal é uma distribuição no conjunto dos
números reais e os valores observados costumam ser inteiros positivos. À discretizaçao dos
valores todos estão acostumados, mas, nem sempre é fácil admitir que as medidas de certas
grandezas possam tomar valores negativos. Distribuições truncadas no zero podem ser usadas
para tornar o modelo mais realista, mas, complicam o cálculo desnecessariamente. A
distribuição dos erros afeta pouco a comparação e a possibilidade de erros cada vez mais raros
para os dois lados do centro da distribuição é, geralmente, real.
2.2. Segunda etapa. Construção das Matrizes de Identificação das classes
O número de perfis previamente oferecidos é variável. Para equilibrar a comparação
são adicionados perfis com valores iguais às médias aritméticas dos valores dos perfis iniciais
em número tal que, ao se efetuarem os cálculos todas as classes tenham o mesmo número de
perfis.
Assim, a classe de ordem i é representada por uma matriz Ci de ordem mXn onde m é o
número máximo de perfis oferecido inicialmente para identificar alguma classe e n é o número
15
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
de critérios. Os perfis representativos de cada classe são representados por avaliações em todos
os critérios menores ou iguais às dos perfis das classes acima dela, de modo que essas matrizes
devem obedecer à restrição Ci1(j1,k) ≤ Ci2(j2,k) se i1<i2, para todo par (j1, j2) de valores entre 1 e
m.
2.3 Terceira Etapa. Cálculo das Probabilidades de Dominância
A computação mais delicada da composição probabilística de preferências é a das
probabilidades de dominância. No caso de classificação em classes predeterminadas, esta
computação se simplifica muito, pois não se comparam mais todas as opções de um conjunto
entre si. Cada opção é comparada apenas com o conjunto de perfis de referência de cada classe.
Se há apenas um perfil para cada classe, este cálculo consiste na aplicação direta da
função de distribuição normal acumulada. Para um número maior de perfis em cada classe,
denotando por (Xij1, ... , Xijn) o vetor de variáveis aleatórias representativas do j-ésimo perfil da
i-ésima classe e por (Y1, ... , Yn) o vetor de variáveis aleatórias representativas da opção a ser
classificada, os resultados das comparações são duas matrizes de qXn coordenadas, onde n
continua denotando o número de critérios e q é o número de classes.
As coordenadas da primeira dessas matrizes são as probabilidades, para cada critério k
e cada classe i, de Yk ≥ Xijk para todo j de 1 a m.
Analogamente, as coordenadas da segunda são as probabilidades, para cada critério k e
cada classe i, de Yk ≤ Xijk para todo j de 1 a m.
tem-se:
Denotando por Aik+ a coordenada ik da primeira dessas matrizes e por Aik- a da segunda,
Aik+ = P[Yk ≥ Xijk para todo j]
e
Aik- = P[Yk ≤ Xijk para todo j].
Assumindo independência entre as perturbações, as probabilidades destas duas
interseções são dadas pelos produtos. Assim,
Aik+ = ∏j P[Yk ≥ Xijk]
e
Aik- = ∏j P[Yk ≤Xijk].
Pode ser útil lembrar aqui que a média de Xijk é o valor rijk da avaliação atribuída pelo
critério k-ésimo ao j-ésimo perfil da classe i e a média de Yk é o valor atribuído à opção pelo késimo critério. E que, tanto para Xijk quanto para Yk, usa-se como desvio padrão o desvio padrão
observado no vetor (r11k, ... , r1mk, ... , rq1k, ... , rqmk).
Cada uma das probabilidades do primeiro desses vetores pode ser calculada em uma
planilha Excel usando algum procedimento de cálculo da integral na reta do produto de m+1
fatores, os valores das m funções de distribuição normal acumulada de média rijk e o valor da
fução de densidade normal de média ak, todas com o desvio-padrão acima referido. Para obter o
segundo vetor, basta repetir este cálculo, substituindo rijk por –rijk.
2.4. Quarta Etapa. Classificação
Para cada classe, do vetor de probabilidades de a opção estar acima dos perfis
representativos da classe para os n critérios é obtido, segundo uma regra de composição
probabilística, um escore único. Outro escore combina as probabilidades de a opção estar
16
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
abaixo dos perfis representativos da classe. A opção é classificada na classe para a qual seja
mínimo o valor absoluto da diferença entre esses dois escores.
Usando uma regra de composição pessimista, baseada no cálculo da probabilidade da
interseção dos eventos correspondentes à dominância segundo cada critério, assumindo
independência e denotando por Ai+ e Ai- esses dois escores, tem-se
Ai+ =∏kAik+
e
Ai- =∏kAikA hipótese de independência tem a vantagem de usar de todos Aik+ e Aik-, enquanto a
hipótese de máxima correlação levaria a desprezar todos os valores menos o maior ou o menor.
Além disso, a ausência de correlação entre perturbações em avaliação é muito mais comum que
a de existência de correlação. Já o ponto de vista pessimista, que leva a calcular probabilidades
de a alternativa estar acima por todos os critérios ou abaixo por todos os critérios, só tem a
vantagem de conduzir a valores mais espaçados. Pode ser usada concomitante com o ponto de
vista otimista, conduzindo a duas estimativas centrais para a posição da alternativa. A
divergência entre essas duas classificações eventualmente reforçará a conveniência de usar uma
classificação intervalar em vez da classificação pontual.
O escore derivado do ponto de vista otimista para substituir Ai+ baseia-se na
substituição do evento: estar acima dos perfis da classe por todos os critérios pelo
complementar do evento: estar abaixo dos perfis da classe por todos os critérios. Analogamente
para a probabilidade de estar abaixo.
Assim, como variante para Ai+ e Ai-, temos
ai+ = 1 - ∏k(1-Aik+)
e
ai- = 1 - ∏k(1-Aik-)
Outras regras de composição podem ser aplicadas. Para ter uma informação sobre
limites a que se pode chegar mudando a regra de cálculo, pode ser oferecido, junto com a
classificação pontual, um classificação intervalar, situando a alternativa entre os dois extremos
de um par de classificações, uma extremamente benevolente e outra extremamente exigente. O
limite inferior é dado pela classificação obtida usando, em lugar de Ai+, o mínimo entre as
probabilidades de a opção estar acima da classe i por algum escore isolado e em lugar de Ai-, o
máximo. Assim a classificação exigente coloca a opção na classe i que minimize o valor
absoluto de
minkAik+ - maxkAikJá o limite superior é dado pela classificação obtida usando em lugar de Ai+ o máximo
entre as probabilidades de a opção estar acima da classe por algum escore isolado e usando em
lugar de Ai- o mínimo. Assim a classificação benevolente coloca a opção na classe i que
minimize o valor absoluto de
maxkAik+ - minkAik-.
3. Exemplo
Como exemplo de aplicação consideremos o problema de, no fim do ano letivo, decidir
o destino dos 24 alunos de uma turma do ensino fundamental com base no seu desempenho em
17
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
sete disciplinas. As opções a classificar são os alunos e os critérios são baseados em atributos
quantitativos, as notas finais dos alunos nas sete disciplinas.
Associadas a cinco possíveis destinos dos alunos no ano seguinte, cinco classes são
consideradas. Para identificar as classes são formados perfis de notas nas disciplinas. Para
ilustrar a possibilidade de identificar as classes por fronteiras entre classes sucessivas,
admitimos neste exemplo perfis iguais em classes sucessivas, os mesmos valores sendo usados
no perfil superior de cada uma dessas classes e no perfil inferior da seguinte.
Assim, três perfis representativos são usados para as três classes centrais, um perfil
inferior, um perfil intermediário e um perfil superior. As classes extremas são representadas por
um único perfil central.
As classes e os respectivos perfis são as seguintes.
A.
Alunos selecionados para inclusão em programa de
acompanhamento de alunos especialmente qualificados, representada por 1
perfil: 90 em cada disciplina.
B.
Alunos promovidos para turma comum da série seguinte,
representada por três perfis: superior, 80, mediano, 70, e inferior, 60, em cada
disciplina.
C.
Alunos promovidos para turma da série escolar seguinte com
acompanhamento de deficiências, representada por três perfis: superior, 60,
mediano, 50, e inferior, 40, em cada disciplina.
D.
Alunos mantidos na série escolar atual, representada por três
perfis: superior, 40, mediano, 30, e inferior, 20, em cada disciplina.
E.
Alunos mantidos na mesma série escolar com
acompanhamento de deficiências, representado por um perfil: perfil, 10 em
cada disciplina.
A primeira etapa, de modelagem do problema, termina com a estimação dos desvios
padrão para as distribuições normais que representarão as avaliações segundo cada critério.
Como os perfis são, neste caso, vetores de sete valores iguais, os desvios-padrão serão os
mesmos para todos os sete critérios. A estimativa comum é o desvio padrão da amostra de 11
coordenadas (10,20,30,40,40,50,60,60,70,80,90), igual a 25 aproximadamente.
A segunda etapa consiste na uniformização dos números de perfis das classes. Desta
etapa resultam cinco matrizes de três linhas e sete colunas. As matrizes da primeira e da última
classe são formadas simplesmente por três replicações dos perfis iniciais
(10,10,10,10,10,10,10) e (90,90, 90, 90, 90, 90,90), respectivamente.
Apenas na terceira etapa se dá entrada aos valores das opções a serem avaliadas. Cada
opção é avaliada separadamente. Sugere-se aqui transferir os valores das avaliações da opção
segundo cada critério para uma quarta linha de cada uma das cinco matrizes de perfis formadas
na etapa anterior e usar essas matrizes como entrada para um procedimento do MATLAB como
o empregado na Etapa 3 da Composição Probabilística de Preferências em Sant’Anna (2013).
Alternativamente, a probabilidade conjunta pode ser calculada por um procedimento
numérico de integração aproximada na própria planilha Excel em que essas matrizes são
formadas como indicado na seção anterior.
O resultado dessa etapa são os vetores de probabilidades de classificação acima e
abaixo de cada classe. Para um aluno com notas (41,55,75,46,45,40,48), as probabilidades de
situar-se em cada um dos sete critérios acima e abaixo de cada uma das classes são dadas nas
Tabelas 1 e 2 a seguir.
18
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
Tabela 1. Probabilidades Aik+ de a opção estar acima de cada classe em cada critério
1
2
3
4
5
6
7
Classe\Critério
0,011
0,034
0,122
0,017
0,016
0,010
0,020
A
0,048
0,114
0,288
0,067
0,063
0,045
0,076
B
0,156
0,288
0,532
0,198
0,189
0,148
0,216
C
0,357
0,532
0,762
0,418
0,406
0,345
0,443
D
0,628
0,780
0,920
0,687
0,675
0,616
0,709
E
Tabela 2. Probabilidades Aik- de a opção estar abaixo de cada classe em cada critério
Classe\Critério
1
2
3
4
5
6
7
0,816
0,675
0,425
0,771
0,780
0,824
0,751
A
0,582
0,406
0,189
0,520
0,532
0,595
0,494
B
0,333
0,189
0,063
0,277
0,288
0,345
0,256
C
0,141
0,063
0,014
0,108
0,114
0,148
0,096
D
0,046
0,016
0,002
0,032
0,034
0,049
0,027
E
A última etapa consiste em compor as probabilidades segundo os sete critérios em
escores globais de localização acima e abaixo das classes e comparar esses escores para obter a
classificação final.
Os escores para a localização acima de cada classe nas composições pelo produto, o
mínimo e o máximo, respectivamente, para o mesmo vetor de notas acima referido, estão na
Tabela 3 e as probabilidades de localização abaixo, na Tabela 4.
Tabela 3. Escores globais Ai+ de localização acima de cada classe
Algum
Classe\Escore
Todos
Mínimo
Máximo
0,000000000003 0,213651638517
0,010
0,122
A
0,045
0,288
0,000000022785 0,536694671844
B
0,000028682315 0,877950609066
0,148
0,532
C
0,003764460778 0,990996250333
0,345
0,762
D
0,091324334882 0,999925846750
0,616
0,920
E
Tabela 4. Escores globais Ai- de localização abaixo de cada classe
Algum
Classe\Escore Todos
Mínimo
Máximo
0,087340011560 0,999924595943
0,425
0,824
A
0,003631380509 0,990733838178
0,189
0,595
B
0,000027924610 0,872961022403
0,063
0,345
C
0,000000022355 0,517177276126
0,014
0,148
D
0,000000000003 0,189658830333
0,002
0,049
E
19
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
Finalmente, para cada forma de composição, se determina qual a classe com as
probabilidades de estar acima e abaixo mais próximas. Um algoritmo de classificação pode ser
empregado para, primeiro, correndo as classes em ordem ascendente (ou descendente),
localizar o par de classes em que a diferença Ai+ - Ai- troca de sinal e depois escolher entre essas
duas classes aquela em que essa diferença é mais próxima de zero.
Uma macro pode ser empregada para realizar de uma vez as classificações para as
opções uma a uma. O resultado da aplicação a uma turma com as notas das sete primeiras
colunas da Tabela 5 gerará as classificações exigente, centrais e benevolente da Tabela 5.
1
100
95
90
85
50
45
43
42
42
41
41
40
40
40
40
39
38
36
34
33
32
21
12
0
2
85
82
92
80
75
50
56
65
45
55
43
52
55
65
48
52
51
70
44
46
65
41
44
15
Tabela 5. Avaliações Iniciais e Classificações Finais
benevolente
3
4
5
6
7
exigente centrais
81 100 90
90
92
5
5
5
5e
68
90
83
85
95
4
5 5
5
59
86
90
88
80
3
5 5
5
80
52
82
88
81
3
4 5
5
70
60
65
55
58
3
4 4
4
71
62
68
63
65
3
4 4
4
64
72
58
63
67
3
4 4
4
73
65
55
65
55
3
3 4
4
75
44
40
45
53
3
3 3
4
75
46
45
40
48
3
3 3
4
77
42
65
46
60
3
3 3
4
79
65
50
55
45
3
3 3
4
67
79
50
51
58
3
3 3
4
58
48
45
69
65
3
3 3
4
75
49
60
47
45
3
3 3
4
80
60
55
62
65
2
3 3
4
72
65
57
41
59
2
3 3
4
80
50
51
53
55
2
3 3
4
71
64
66
55
61
2
3 3
4
76
65
60
60
60
2
3 3
4
75
68
60
48
60
2
3 3
4
65
60
69
65
60
2
3 3
4
52
58
50
45
55
1
3 3
3
15
20
25
30
30
1
1 2
2
4. Conclusão
O desenvolvimento detalhado aqui apresentado demonstra a facilidade de se utilizar
esta metodologia de classificação recorrendo a qualquer aplicativo computacional que forneça
apenas informação sobre os valores da distribuição normal unidimensional. Outras
distribuições e outras hipóteses sobre as correlações entre as variáveis aleatórias podem ser
usadas sem grande acréscimo de dificuldade computacional. No conjunto de dados aqui tratado,
20
METODOLOGIA DE CLASSIFICAÇÃO BASEADA NA COMPOSIÇÃO PROBABILÍSTICA DE PREFERÊNCIAS
tanto quanto em outros conjuntos de dados analisados anteriormente, verificou-se que tais
escolhas da distribuição para tornar os modelos mais apropriados aos dados exercem influência
muito limitada sobre a classificação.
Agradecimento. Este trabalho contou com o apoio do CNPq, por meio de bolsa de
produtividade de pesquisa.
Referências
Sant’Anna, A. P. (2009).A Probabilistic Approach to the Evaluation and Combination of
Preferences. In: Ajith, A., Hassanien, A. e Snasel, V. (Org.). Function Approximation and
Classifications. Berlin: Springer, p. 107-125.
Sant’Anna, A. P. (2013). Procedimento de Cálculo para a Composição Probabilística de
Preferências, Relatórios de Pesquisa em Engenharia de Produção, v. 13,CC, 1, 1-11.
Sant’Anna, A. P., Costa, H. G e Pereira, V. (2012). CPP-TRI: Um método de Classificação
Ordenada baseado em Composição Probabilística. Relatórios de Pesquisa em Engenharia de
Produção, v. 12, n. 8, p. 104-117.
Sant’Anna, A. P. e Sant’Anna, L. A. F. P. (2001). Randomization as a Stage in Criteria
Combining. In Ribeiro, J. L. D., Fogliato, F. S e Guimarães, L. B. M, Production and
Distribution Challenges for the 21th Century. ABEPRO, P. Alegre, p. 248-256.
21