IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008
215
"%,+ *+%++,++-.1)+ ()+%1
S%+$/4FSFU+$ $+1GG+%
! "
#
$
&
! ' ( * !
+
*(
, -! .* ,
-! . /
,
-! .
,
-
F
!"##!$%&()*+%++,++-./
%+0+-. 1 11-. 1 $1#+ 1 +2 $) 13"
*%1-. 4%&() (%+# %+#1$1 "$0+ 1#
1$1)-.1 + /*+%+ 1+,++%+5"++11$%+ # .
1 "# + 1# "# )++ )# %"6 89: 4%&() $+#;!# .#"$"$0+ 1#* )+*+%+ 1+,++%+
)+*+)+1 1 ,6" $"%1# 1$%1 1 $6#" 1 .
1 $6#"8<:= 1##1)+/ *+%+ ++ +% +5"++11"#
1$1%#+ $1 $1 )6) 8>/ ?:= 1# 1)#+ @1 !
)A1)+ )# %&() 1 %10B/ *+%+ + +,++-. 1
1 "++11%1+8C:=11#*%1, .$1#*/*+%+ 1
+,++%+5"++1+ *%1-D1 11,1$ %+% 8E:
1)1$1#1$1/ + +& 1 ( $%"0+ 1#
F*%10+1#1G&5"+FG1G1%+-.1+ G )# "#+ (1%%+#1$+ H$ 1 *1% + *+%+ +
+,++-. 1 #1 1 )+ ()+-. 8I/ J: + !
*+%$)"+%#1$1H$1##6 5"+ 1K $1"#+%+1
1 *%*%-. 1$%1 + )+ 1 " 5"+ 1 1,1 1,+% 1#
) 1%+-. (1%1$1 )" $ 3;11(6) *+%+ (1%1$1 1%% 3+)1%$ 1)+ ()+-.F& 1$+#;!#$1# "$0++*+%++) $%"-.8L:1%1(+#1$1#1 89M:
$%1$+$/ +*1 +% 1 %&() 1%1# ))1$"+#1$1
#*1 /1K $1#,&%+ $1%*%1$+-D1 1%%N1+ + 1"%1 *1$
*%)*+;O1$,1 $1+%$!+*%1 1$+%++& 1
1$%1 )*1FG1G1#"#+"+1#)+%+ 1
;O1$,+/ %1 +$+ + ,+$+1 1 "+ "$0+-. +
+,++-. 1 #1 1 )+ ()+-. +#;!# .
+*%1 1$+ +" *$ 5"1 #"$+ ,101 . #+
$1%*%1$+ 1$%)$1K$1FG1G
$1$%+;+A1 $&%+0++ 1"$1#+1%+P+1-.
/ . %1, + +" ))1$ ;%1 *%;+;+1
Q
+"$%1 +%+1)1#+ +)+ 1(#1$;%+ 1%+ +*1 /S5/
TFSS1TS3U%
S%+$!*2 V"$%+ $$"$"$1)+ G+$1#&$)+ 1
1#*"$+-.+,1% +11.S+"@G3S.+% B4
FSFU+$ $+1GG+% .)1$1 #1 # $$"$V#+ W*%+$/;+$ $+/#)#+%XY)#)" *;%
)O"$+ 1 ))+ *+%+ + +,++-. 1 #1 1
)+ ()+-. + 1-. / ! )"$+ + +,++-. 1
#1 / %1 +$+ + (1%1-+ 1$%1 )+ ()+-. 1
%1+-. + 1-. Z/ ! +*%1 1$+ %&() *%*%+#1$1$/1 $+)++ "+"$0+-.1#FG1G
T+#1$1/ + 1-. Z . +*%1 1$++ + ) 1%+-D1 (+ SUFUF[FF
S+%+"0%"#)+ ()+%/"#+%$#1+*%10+
"*1%, +"$0+"#++# $%+1)+ *+%+ 5"+ 1
)A1)1+)+ ()+-.,1%+1%+++)+ !1 )%$*%
"# )O"$ 1 +$%;"$ S+%+ 1 $"% )+ 1$%1 + * 6,1 )+ ()+-D1 /)++)+ !%$"+)#"#+$%;"$
1 *1)+/ 1#+ )+ 1/ )"O ,+%1 1 %1(1%1# \
)+ ()+-. ,1%+1%+ )+ + %$"+ .
)A+#+ 11K1#* /1++# $%+"$0++*1+%$#
1 +*%10+ *+%+ "0% #1 1 )+ ()+-. !
)A+#++1)O"$11K1#* 1$%1+#1$
F 1"%/ %1 $%%1# + )" . + *%;1#+ 1
)+ ()+-. ;&%+/ / 5"1$1A+# #1$1"+ )+ 1 1#*1%+111%++1/1#+%1# + )+ 1 )#
1 #+ #+1%+ +$"%+ 1 +*%1 1$+% + 1 $+$6 $)+ *+%+++,++-.1"##11)+ ()+-.!
*%#11"#+$+;"+-.)%"0++1$%1+)+ 1*%1, $+*1
#1 1 + )+ 1 %1+ 1K1#* + $+;"+-. !
)A1)+)#$+;1+1)$)+@$+#;!#)A+#++1
#+$%01)(" .B++;1+@+B/!# $%++"#+#+$%01
)$)+ )# (%15^)+ +; "$+ @)$+1#B `"+
"# 1K1#* * $, ! )+ ()+ )# * $,/ 11 !
1#+ ,1%+1% * $, `"+ "# 1K1#*
1+$,!)+ ()+)#* $,/11!1#+(+ * $, #1)+$"%+ #+% ! "$0++ )+ 1K1#* )+ ()+ )#1+$, 1 +$+;1+/ 1 )%%1 *1#/ %1 *1)$,+#1$1/ \ 5"+$+1 1 ,1%+1%3(+ * $,31+$, 1
)%%1 *1#+H#1%11K1#* *%1$ )#
* $, 31+$, 1 1 +H#1%%1+ 1
1K1#* * $, 31+$, ++# $%+ !H#1%1
11#1$ ++# $%+
1,%# )++1$%+++#+$%0# $%++++;1+
@+B *1 $+#+A + +# $%+/ )++ 1$%++ 1 + #+$%0
%1*%1 1$+%& "#+ 1 $#+$,+ + *%;+;+1 )O"$+ +
)+ 1%1+1K1#*1+*%1-.++*1#1S+%+
1;$1%"#+1 $#+$,+#+ )(&,1/1#+# $%+ %+1 !
%1)#1&,1 + "$0+-. 1 "# )O"$ 1*11$1 1
1K1#* 1$1 $1+ $+#+A++# $%+ 1O+*15"1+/
1%+#1$1 "$0+#V 1 #!$ 1 %1+# $%+1#/ $+ )#
,++-. )%"0++ + ,+ #+$%0 ! # $%++ + +;1+
@;B/+5"+ %1*%1 1$++,+%&,1+1+$2%+ 216
IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008
"0
1 %1*%1 1$++,+%&,1 + "#+ )# "#+ )+%+)$1%6 $)+ #6 1 .
"0
1 %1*%1 1$+#+1+-.1 1*11$1#1#"$%+ *++,%+ /+ $%;"-.1
!+ "#+)#(K+@.,+%+)#$1#*B1
1 *1 1%1 $#+++*+%$%)O"$1$%1+#1$,+%
FUF
1 ! 1%+#1$1 )A1) )# *%1,+)+ +
GFa4bFSFFGFTF
)+ 1 @)+ 1 * $,+B T1$+ 1 + "* -./ #1$1
,+%1 . 1)1 &% *+%+ 1 )%1,1% + #+$%0 1
1
)$)+/ *
+ "+ *%;+;+1 .
1*11$1 + *%*%-. 1 1K1#* 1$%1 + )+ 1 @1*11$1 + *%1,+)+ 1 B # 1%&
+;%++1-./1 +!"#+*%*%1+1#*%$+$1+
+,++-. 1 #1 1# #6 )# )+ 1 1 ;++)1++ 13")#(1%1$1 )" $ 1)+ ()+-.
#+#+$%0# $%++++;1+@+B!+*1+ "#+%1V
1 )++ + #+$%0 # $%++ + +;1+ @;B/ 1+ .
15",+1$1 F!# /$++(%#+-.1)1 &%+*+%+
+,++%#11 $&)$+1 + #+$%01 1$+$/"#+
+& 1 #+ %1(++ *1 1% (1$+ *1+ 1)#* -. + *%;+;+1 )O"$+ 1# *%;+;+1 ))+ 1
#+%+ S%;+;+1 ))+ *1# 1% ;$+ +
*+%$%+ 1 ;& )+ 1*%;+;+1P
@ / B d @ c B @ B d @ c B @ B/
+5"+ !+*%;+;+1))+1 1%
,1%+1/+5"1 !,1%+1e#*%$+$1%1 +$+%5"1
/#+ +
"#)O"$11K1#* /$+ 1 + *%;+;+1 *1#
1%1 $#++ )#*%*%-D1 G+ 1 *1)()+#1$1/
+ *%;+;+1 ))+ $+#;!# *1# 1%
)+)"++ *+%+ + 5"+$% 1$%++ + #+$%0 1 *1# 1%
%1*%1 1$++ )##+$%01 F*%;+;+1 !#*%$+$1*+%+" "&%
#1/"#+,105"11+&+*%;+;+115"1+)+ 1
1O+* $,+/+5"1+*%1, .(1$+*1#1!* $,+
+ *%;+;+1 $+#;!# ! )A1)+ )# $%1$+$/1#$1%# 1+,++-.#1/ !
#"$ #+ H$ #+ + ,+$+1 + (+$%+-. 1
1# 1 !5"1 !
))++,+%1 //!))+\*%*%-.1
1K1#* 1$%1 + )+ 1 + *%;+;+1 ))+ !
(%15^1$1#1$1 )A1)+ )# " /
"#+ ,10 5"1 1+ 1 *1)()+ + *%;+;+1 1 5"1 "#+
*%1-. *+%$)"+% ! (1$+ ++ + )%%)+ 1 "#+
; 1%,+-.1 *1)6()+ +*%;+;+1)+5"+$"#
#1 ! )+*+0 1 )%#+% )+ 1$%1 + * 6,1 )+ 1 F!# / + *%;+;+1 #+%+ 1 . + H)+ 5"1.1,,1#/1#+1%++"#+/+ *%1, D1 #1S%1 1#$,/+ $%;"-.1 !1%+#1$1
FZFF
G
F+,++-. 1"##11)+ ()+-.!;+ 1+++
+& 1 + #+$%0 1 )$)+ @" 1 "+ 1%,+-D1 B
#+ + #+1%+ #+ )#" 1 +,++% #1 ! +
1%,+-.1#1+ 5"1/1+"#+#+1%+/$1$+##1%+
f5"++1g#1 + #1+ 1%+#1$1*1# 1%
;$+ + *+%$% + #+$%0 1 )$)+/ %1"0 "+ 5"+$% )!"+ *%)*+ + "# H) 6)1 "#!%) 1
5"++1
1"0%+#+$%01)$)++"#+H)+#1+$1#
+"#+ ,+$+1 +*+%1$1 F*%)*+1+ !5"1 !#+ (&) 1 )A1% f#1A%g 1# $1%# 1 "# H) ,+%
$%1$+$/!)#"#1)$%+%)+ 1#5"1"#+++#1+
! +*%*%++ *+%+ "# *%;1#+/ #+ 1+ ! %%11,+$1 *+%+
"$% +#;!#/ ! )#"# 1)$%+% $"+-D1 1# 5"1 +
+,++-. ! "# *%;1#+ 1 #H$*+ (+)1 / + 5"+ !
* 6,11(%,&%+ #1+ / 1*1%(1$+#1$1* 6,1
5"1"##1 1O+ #1A%5"1"$% *+%+ +"#+ 1 + #1+ /#+ *%)#%1+-.+"$%+ 1 1 )+ /"$0+%
"#+ H)+ #1+ *1 +% + (+ + #*%1 . 1 5"1 1 1#*1A *1 1% +,++ "$0+V 1 +*1+ 1 +
#1+
#1# )#1K1#*+$+K+11%%1)+ ()+-./
"#++ #1+ #+ )#"#1$1"$0++ 1#+*%10+
1 #&5"+ F $+K+ 1 1%% *1 1% )+)"++ + *+%$% +
#+$%01)$)++ 1"$1#+1%+P
K $1# ,&%+ $"+-D1 1# 5"1 + $+K+ 1 1%% 1
)+ ()+-..!+*%*%++*+%+++,++-.1#1 1
)+ ()+-.#+ $"+-.)#"# 1&5"+H#1%1
1K1#* 1# )++ "#+ + )+ 1 ! #"$ 1 ;++)1+
899: S% 1K1#*/ "*A+ 5"1 1# "# + #6 H#1%11K1#* 1"#++ )+ 1 1O+LLi1 1)+ /
!)#"# 1;$1%;+K+ $+K+ 11%%/* "##15"1
1#*%1%1$%++)+ 1#+O%$&%+$1%&"#+$+K+11%%1
+*1+ 9i1$+$/1 1#15"1 1#*%1)+ ()+"#
,1K1#*+)+ 1#+O%$&%+.%&+)1%$+%1A"#+
)+ ()+-.11K1#* +)+ 1#%$&%+
F!# /+ $+K+11%% + "#1)" $ "+ *+%+ 1%% 1# +#;+ + )+ 1 # #"$ #6 ! )#"#
A+,1% (1%1$1 )" $ 1 )+ ()+-. *+%+ + (1%1$1 PRATI et al.: EVALUATING CLASSIFIERS USING ROC
)+ 1 # #1)+/ *% 1K1#*/ )" $ 1 )+ ()+%
)%%1$+#1$1"#*+)1$11$1)# +*+%+"#+++
1-+ %+,1 ! #"$ #+% 5"1 )+ ()+% "# *+)1$1
+ )# 1$1 * / *%#1% )+ / + (+A+ +2 $)*11,+%\#%$1*+)1$1A1)1V 1 )" $ 1 )+ ()+-./ 1 1 *%;1#+ *1 1% %1#1+
*1+ "; $$"-.+$+K+11%%*1)" $#!1 *1%+
89<:$%1$+$/1 1 )" $ 1%+#1$1. .)A1) /
"+$!#1 #*1#,+%+%/1*111(+$%1 1K$1% #"$% *%;1#+!5"1$+$+$+K+11%% 5"+$
)" $ #! 1 *1%+ . 1*11$1 + $%;"-. 1
1K1#* 1$%1+ )+ 1 +#+%++ +*)+-D1 1FG1
G + "#1V 1 5"1 1K1#* *6,1 *+%+ $%1+#1$ ) $$"1# "#+ +# $%+ %1*%1 1$+$,+/ $ !/
1*11$1 1 1$)+#1$1 $%;"6+ + **"+-. 1
)+ 1 1 )+ 1$11V 15"1 + *%*%-. 1 1K1#* +# $%+ *+%+ )++ "#+ + )+ 1 ! 15",+1$1 \
*%*%-.+**"+-.1$1%1 189>:#"$%+ *++,%+ /
+ "#1V 15"1.1K $11A"#,6)++# $%+15"1+
*%*%-.11K1#* *+%+)++"#++ )+ 1 +*%K#+
;1#+*%*%-.1)+ +**"+-.+5"+ 1K1#* (%+#+# $%+ + "* -./#1 #5"1*+" 6,1/.
!/1)1 +%+#1$1/)%%1$+"*A+5"15"1%+# ) $%"%
"# #1 *+%+ %1)A1)1% 1 "#+ ++ 15^)+ 1
+#&) )%%1 *1 ". + "# 11A"#+1 1
)+ /++# $%+.*1$1%+*%*%-. %1+11K1#* /
* . 1)A1)1H#1%$$+111 5"1(%#+#
1#+ A"#+ 1 H#1%O& ( 1 $#+1#9MMMMM/
IMMMM 1 CMMMM/ 1$%1 "$% F 1 $#+$,+ +$"+ ! 1$%1
>MMMM1?MMMM1 1#/1#+$+K+11%%1#)" $
#! 1 *1%+ $# ()+ + 11 +$%;"6 / * ,+%+-D1 +*%*%-.11K1#* @(1%1$11 $#+$,+ H#1% 1 11 B %. +$1%+% ,+%1 + #1+ 1
1 1#*1A/#1 #5"11 1#*1A;+#1.
#"1
+ 1())+ . . 1K)" ,+ + $+K+ 1 1%%
`"+5"1%#1+5"1$1A+)#;O1$,%1"0%++,++-.
1 "# #1 1 )+ ()+-. + "# H) ,+% $1%&/ 1#
#+%"#1%%+"/"#+*1%+1(%#+-.41%+#1$1/+
. 1%5"1 1$1A+##6 )#)%$!% *+%++,++-.
)+%+#1$11( 1 1 $&$) /+ +,++-. 1 "##1
"$0+"#+H)+#1+*11,+%+))" D1 1%%N1+ #"$%+ *++,%+ /.1K $1"#+H)+#1+;+/+.
1% 5"1 1O+ * 6,1 1(%/ *+%+ +5"11 #6/ ()+1;#
F+ 5"1 ) 1%1# +*1+ )+ 1# 5"1 $+$
; 1%,+-D1 5"+$*%1, D1 .;&%+ /#"$ $1#+ 1
+*%10+ (%1)1# "#,+% )$6" *+%+ + *%1, D1 /
#1 #)+ 1#5"1+ )+ 1 . )%1$+ S%1K1#*/
%11 1"%+ 1%+#1$1*%"01#,+%1 1$%101%1"#
S+%+ 1 ;$1% "#+ )+ ()+-./ 1%+#1$1 ))+V 1 "#
#+%+,+%&,11*%1-.+ + *%1-D1 +)#+1 1
#+% .+$%;"6+ +"#++ )+ 1 /1+ *%1-D1 +;+K
1 1#+% .+$%;"6+ \"$%+1 +#+1%+/*+%+"#
+ #+%/ ! * 6,1 1 ;$1% "#+ *%1, . ;&%+ *1+
)%1$0+-. + *%1, . )$6"+ + )%1$0+-.
)$%;")#"#"$%*%;1#+*+%+++,++-.#1
1)+ ()+-.P+1 )A+#+%!+%;$%&%+11%+#1$1
;+ 1+++$+K+11%%F #/)++* 6,1#+%*%"0
"#+ #+$%0 1 )$)+ (1%1$1/ 1/ *% ) 15^)+/
217
(1%1$1 ,+%1 *+%++ #1+ #$1%# 1+,++-./+,! 11 $+;11)1%"##+%
1)+ ()+-.1+,++%#11)+ ()+-.1%,+
1 1#+%/!#+ $1%1 +$1+,++%)##1%1+
1K1#* #;##11,1(+0V1$+#+1%+5"1/
; 1%,+V 1 + ,+%&,1 1 *%1-./ 1K1#* 1 )+ 1 1#1A+$1 1O+#+%"*+ 1#(+K+ )$6"+ 1,+%1 e #*%$+$1 %1 +$+% 5"1/ )# ! * 6,1 1%,+% "#+
)+ ()+-. ))+V 1 "# #+% + ,+%&,1 )$6"+/
+,++% )# 1K1#* . %1+ ! #+ ,+$+O /
* ! 1*11$1 #+% 1 1;+ + +,++-. +
)+ ()+-.
+#;!#!#*%$+$1%1 +$+%5"1/+ #)#+$+K+1
1%% @1 "$%+ #1+ B/ ! * 6,1 1%,+% 1 $+$6 $)+ +
%1 *1$+5"++1+%1+-.#+1 + 1 $+$6 $)+ !
$1 $11%1+-.1j)K# 1%&, $+1-.
Z/1 +1 $+$6 $)+$1#"#+)%%1+-.)#++& 1
$%1$+$/+#1 #+#+1%+5"1+ #1+ *+%+ 1+,++%
#1 1 )+ ()+-./ +,++% + %1+-. 1K1#* )#"#+H)+#1+$+#;!#$1#+ "+ 1 ,+$+1 Z4T
#++$1%+$,+\+,++-."$0+#1+ !" 1
%&() 13" +%+#+ 4%&() *1%#$1# "#+ #1A%
, "+0+-. + #"$#1 ++1 *%;1#+ 1
+,++-. %&() ! ;+ 1+ + *%;+;+1 1
1$1)-./"$+K+1,1%+1% * $, @ B/
1 + *%;+;+1 1 (+ ++%#1 / " $+K+ 1 (+ * $, @ B S+%+ 1 ) $%"% %&()
*$+V 1 1K %1++ 1K 1
1K+ +; ) + 1K ##11)+ ()+-.!%1*%1 1$+*%"#*$
1 *+- S+%+ 1 ;$1% *$ 1 *+- )%%1 *1$1+"##11)+ ()+-./)+)"+V 1+$+K+
1,1%+1% 1(+ * $, @ 1 B1 1#1
+*+%$%+ "+#+$%01)$)+@,11-.1+;1+
B
F" *$ 1 *+-#1%1)1#1 $+5"1*$
%1*%1 1$+ + 1 $%+$!+ 1 ")+ )+ ()+% "#
1K1#* )# * $, G1 5"1 )%%1 *1# + 1 1
*$.+*%1 1$+#1A"#(+ * $,/#+ $+#;!#.
) 1"1# )+ ()+% 1A"# ,1%+1% * $, F
1 $%+$!+ ,1% +/ 1 1#*%1 )+ ()+% "# , 1K1#*
)#* $,/!%1*%1 1$++*1*$ *$ %1*%1 1$+#1*1%(1$//$ 1K1#* * $, 1 1+$, . )%%1$+#1$1
)+ ()+ *$ %1*%1 1$+#15"1
1#*%1 (+0 *%1-D1 1%%++ G1 *%2K# + )+$
(1%% 1 5"1% *1# 1% ) 1%+ k) 1%,+$, kP
11 (+01#"#+)+ ()+-.* $,+ #1$1 1$#%+1
1"%+-++)+ ()+-.#) 15^)+/11 )#1$1#
*") 1%% (+ * $, /#+ (%15^1$1#1$1$#;+K+ $+K+ 1 ,1%+1% * $, G1 *%2K# + )+$
"*1%% %1$ *1# 1% ) 1%+ f;1%+ gP 11 *%101# + )+ 1 * $,+ )# #+% (%15^)+/ 1 $+
#+1%+ 5"1 )+ ()+# + #+%+ 1K1#* * $, 218
IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008
)%%1$+#1$1/ #+ / 1%+#1$1/ )# +$+ $+K+ 1 (+ * $, F A+ ++ + )11$1 V
%1*%1 1$+"##11)#*%$+#1$
1 $)& $)P)++*$ *1 1%;$*1+*%1, .
+)+ 1* $,+)#*%;+;+1 1+)+ 11+$,+
)# *%;+;+1 S$ *1%$1)1$1 +
$%l" "*1%% 1 5"1% + 1 + ++ %1*%1 1$+#
#1 5"11 1#*1A+##1A%5"1+1+$2% 1*$ *1%$1)1$1 +$%l"(1%%%1$%1*%1 1$+##1 *%1 5"1+1+$2%F++1 )11$1 V
%1*%1 1$+ #1 1 )+ ()+-. 5"1
1 1#*1A+# "+#1$1 1# +#;+ + )+ 1 m 1 5"1%+ 1 + A+/ 1 $. #1 5"11 1#*1A+##1A%*+%++)+ 11+$,+1#
1$%#1$ + * $,+ 1/ \ %1$+/ #1 5"1
1 1#*1A+##1A%*+%++)+ 1* $,+1 *+-
1 $&%1*%1 1$+1 5"1#+$)+#1$1+T9
@+BG1 1)+ ()+-.1 *+-
T91 *+-
+T"%+<@+B!# $%+"#%&())#C*$ +%;$%&% %1*%1 1$+C#1 1)+ ()+-.(1%1$1 @ / / / / 1 B/ *+%+ "# )O"$ 1 + $+#;!# +%;$%&% #+ %&*+ *1-. , "+ *1%#$1
+"#+ ) $+$+-D1 1 $1 )+ A*$!$)/ ! #+ ) 1%,+$,1 !#+ ;1%+F!# /!(&)1
*1%)1;1%5"1"#*$1 *+-!#1A%5"1"$% 1
1 #1$1 1111 $&+)#+1\1 5"1%+"$%*$//
$1#"#+#+%$+K+1,1%+1% * $, 1"#+#1%$+K+
1(+ * $, 89?:
@;B1.),1K+
T<G1 1)+ ()+-.1 *+-
F!# / ! * 6,1 # $%+% 5"1 #1 5"1 1
1)$%+# 1,1*1 1K$1% ),1K @ B 5"1
#+ 1+*%K#++*$ M/9MMi /)## $%++
T"%+ <@;B/ . #1 5"1 *1# 1% ) 1%+ 2$# / ++ "#+ )1%$+ )-. *1%+)+ $1%#
)-. *1%+)+ 1;+ (+$%1 )# *%*%-. 1
1K1#* 1$%1+ )+ 1 13")" $ 3;11(6) 1
)+ ()+-. "$% #1 5"1 . (+01# *+%$1 1,1*1 ),1K *1# 1% 1 )+%$+ 89C/ 9E: 1
1,1 + (+$ 1 5"1 )++ )-. *1%+)+ 1(1 +
)+-.1"#+A+1 *+-/)A+#++1A+1
!+%1)1;11 1#1*%5"1$ *$ 5"1(+01#*+%$11 +A+$#"#+)+%+)$1%6 $)+1#)#"#P
PRATI et al.: EVALUATING CLASSIFIERS USING ROC
219
+ $+K+ 1 1%% @" )" $ #! 1 *1%+B ! + #1 #+ F
)+-. 1 + A+ 1 $& %1+)++ + 5"+$ "#
1$1%#+1%%!%1+$,+#1$1#+ #*%$+$15"1"$%
#1 2$# *+%+ "#+ ++ )-. *1%+)+ 1,1
1 $+%1#"#+A+)#1 +)+-.F!# /#1
2$# 1,1 1 $+% #+ *%2K# * 6,1 *$
M/9MMi + "+ *%*%1+1 #*)+# 5"1 #1 2$# 1 $1O+#1,1*1),1KVVV"#+*%,+
1$+A++*1 1%1)$%++1#89E:
+T>!# $%+#1 #%&()+T</)#
++-.1(1%1$1 A+ 1 1 1#*1AF)+-.
+A+1 1 1#*1A# $%+++T"%+>@+B!9 !
15",+1$1+01%5"1 11 +A+%1*%1 1$+%+)-.
*1%+)+ ,1%+1%+/ + *%*%-. 1 1K1#* 1$%1 + )+ 1 @" )" $ 1 )+ ()+% 1%%++#1$1 "# 1K1#*
* $,"1+$,B!+#1 #+1 + )-D1 /#1
" %&+*%1 1$+%+#1%$+K+11%%@"#1%)" $1
)+ ()+-.B [&*+%+ %&() # $%+ +T"%+>@;B/ +
)+-. + )"%,+ ! 1 M/C 1 1 + A+ %1*%1 1$+% + )-D1 *1%+)+ ,1%+1%+ /+)+ 1* $,+ 1%&"+ ,101 #+ **" +@")" $1)+ ()+%1%%++#1$1"#
1K1#*+)+ 1* $,+ 1%&"+ ,101 #+%B5"1+)+ 1
1+$,+1 + )-D1 /+#; #1 / " 1 /
. 2$# / / $# + #1 #+ $+K+ 1 1%%3)" $ 1
)+ ()+-. ;+ $1 5"1/ 1$+$/ + $+K+ 1 1%%
1*+%++ *% )+ 1 . (1%1$1 *+%+ )++ "# 1 1 #1 #+ "$%+ ,+$+1# 1 1 "$0+% + )"%,+ 1 $& +
+,++-. + %1+-. 1K1#* / + ,! +
)+ ()+-. 1 1 )+ / )# 1 )%$ + 1-. / $1#+ 1 +*%10+ . *%10 + )+ 1/ #+ "# ,+%
)$6""%+/1/*+%+ 1)%+%#11)+ ()+-./
1 1,+%)$6"*1 1%;+%0+*1+1 )A+1"#
#+%1)+ ()+-. $%1$+$/ 5"+ 11 $+;11)1"#
#+%1 *1)6()/+ "#1V 1"#)1%$)#*%# 1$%1 +)1%$ 1 1%% 1 )#*%# *1 1% +,++
"$0+V 1++& 11)"%,+ F,! 1 11 )A1%"##+%+%;$%&%1%1*%1 1$+%
1 1#*1A $1#+*+%+"#+#6)#"#H)
*$1 *+-/*1V 1f #"+%g+1 )A+1,&% #+%1 1 1)+ /,+%+V 1#+%1#$ 1"1 *1)$%/
1 1,+%#+ %1 $%$,+$!,+%#+ ;1%+1 +
#+1%+/ + +& 1 ! (1$+ 1*11$1#1$1 + 1 )A+ #+% 1 1#*1A $1#+ ! 1$. %1*%1 1$+ *%
"#+)"%,+1 *+- +)"%,+F#+1%+#+ 1()1$111%+%1 +)"%,+!%1+%$ )+ 1$1 $1
1+)%)#,+%)$6"*%1$*1#1F*+%$%
1 1 )O"$ %1+/ *+%+ )++ )+ 1 1 )O"$ 1
1"V 11 +%1#/&V 1"#*+ 1$+#+A
9
+%1-.1K # 11K1#*(%* $,""#*+ 9
1$+#+A
)+ 1K1#* 1O+1+$,
$%&
`"+$#+ $+$1+)"%,+1 $,1%+++*%)*+/
#1A% 1%& 1 1#*1A $1#+ 1 +*%10+ *+%+
+5"11#6F 1)#*+%+%"+ @"#+ B)"%,+ /)+ .A+O+1A"#+$1% 1)-./+)"%,+5"1#+ 1+*%K#+
*$ M/9MMi !+1#1A%1 1#*1A+ A+O+
$1% 1)-D1 /)++"# $1#+ $1#"#+(+K+*1%+)+
+5"+!#1A%5"1"$%1+#1$1/+)"%,+1,1 1%
),1K+1 1#*%1)%1 )1$1
@+B" $ "+ *+%+1K1#* * $, 11+$, @;BF)+ 1* $,+!"+ ,101 #+ )" $ +5"1+)+ 11+$,+
T>(1%1$1 A+ 1 1 1#*1A#*)+#
(1%1$1 #1 2$# + T"%+ ?/ . # $%+ +" 1K1#* 1 )"%,+ $15"1+T"%+?@+B .A&$1% 1)-D1 1$%1+ )"%,+ 1 1)+ /#1 1)+ ()+-.1%,+ +*+%$%
+)"%,+#+ *%2K#+*$ M/9MMi 1%. 1#*%1
#1A%1 5"1 #1 1%,+ +*+%$%+"$%+)"%,+/
1*11$1#1$1+ )-D1 *1%+)+ [&)+ +
T"%+?@;B/1#5"1A&"#+$1% 1)-.1$%1+ )"%,+ *1%$
*$ ?Mi/IMi / #1 1 )+ ()+-.
220
IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008
1%,+ \1 5"1%+1 1*$ 1%. #1A%1 1(%1# "-. 1(+$! 1"%+1 ;11(6)++& 1
1%,+ +)"%,+5"1 ;1#+ *%2K#+1K # /1+ # "#+/+*%#1%+,+$+1#++& 1!5"1 1
"$%+)"%,+ 1(%1#1%,+ \%1$+
*1 (+01% "#+ +& 1 1*11$1#1$1 1 )1%$+ )-D1 / $+ )# #+% 1 )+ ()+-./ )" $ %1+)+ \ )+ ()+-D1 1%%N1+ 1 \ $%;"-. + )+ 1 ++& 1!%1+0++, "+0+V 1
)#*%# 1$%1 1 1# "# %&()
;#1 +F 1"+,+$+1#!5"1++& 1*1
1% "$0++ *+%+ + )+;%+-. 1 +O" $1 1 #1 1
)+ ()+-./5"+1)1 &%
+ "+ *%*%1+1 .\ ,101 #+$1%*%1$++ e
)#"# 1)$%+% +(%#+$,+ 1 5"1 + +& 1 !
1*11$1+ $%;"-.11K1#* 1$%1+ )+ 1 +
%1++1/1 +.!"#+)+%+)$1%6 $)+++& 11# /
#+ "#+ ) 15^)+ + +*)+-. + 1 ;& )+ +
*%;+;+1)$++ +1-.+ #1$1!,1%+1%+ 1/
)# $ + 1-. / + "#%# + $%;"-. 1 )# )+%+)$1%6 $)+ #6 F +& 1 ! #
,+%+$1\*%*%-.11K1#* 1$%1+ )+ 1 1 15"1
1 + "* -. 1O+ ,1%+1%+ $%1$+$/1 +*%*%1+1
.!,&+1#)+ 1#5"11 + "* -..!,&+/$+ )#1#+"#+ +*)+-D1 1#5"1A&#"+-+1))1$
@))1*$%($89I:BG"$+ ,101 /1 +)(" .!1#*%1++
)#"#+)%6$)+\+& 189J:1$+$/1 +#&
@+B"%,+ 1#$1% 1)-.
$1%*%1$+-.1 $&%1+)++#"$#+ )#+#1$+
@1)%%1$11) 1%+%,1%+1%+"#+(+ + "* -.B
5"1)##!$`"+*%*%+#1$1"$0++/++& 1
!"#+(1%%+#1$+*1% +*+%+++,++-.1 $1#+ 1+*%10+/*%)*+#1$11##6 *+%+ 5"+ .
1*1#1(%+ )-D1 *1%+)+ )#*%1) .89L:
#+"$%+)1K.1$%1+)"%,+1+%1+-. 1K1#* 1 $&%1+)++)#+&%1++;+K+)"%,+VVV
F @ '
(! B #+ ,10 5"1 + &%1+
+;+K+)"%,+!"#+(%+-.+&%1+1"#5"+%+1
+ "#/ 1" ,+% 1 $& 1#*%1 1$%1 M 1 9 # 8<M: !
# $%+ 5"1 1 + &%1+ ! "#1%)+#1$1 15",+1$1 \
1 $+$6 $)+ 1 j)K F!# / + F $+#;!# !
"#1%)+#1$1"+\*%;+;+11/+ 1K1#* 1 )+ 1 $$+ / 1K1#* * $, 1O+ %1+
*%#1%+#1$15"1"#1K1#*1+$,89:FF$+#;!#
1 $&)%%1+)++)#)1()1$148<9:
FF,1#%++$,+#1$1+A+1 *+-)##1+
1 +,++-. 1 #1 1# +*%10+ 1 #&5"+ 1
#1%+-.1+ F*1 +%1/)# )"$+1-./+
+,++-.1"##1*%"#+H)+#1+. 1%+#+ +*%*%++/+F$1##1 1())+ 5"1+$+K+1
@;B"%,+)#$1% 1)-.
1%%1)+ ()+-.8<<:$%1$+$/ 1#*%15"1* 6,1/!
%1)#1&,1*$+%1++ +%+)"%,+ #1 T?K1#* 1)"%,+ +#;!#!#*%$+$1%1 +$+%5"1/+ #)#+$+K+1
+ "# H) #1 1O+ %1+#1$1 1)1 &%/ + "+ 1%% 1 )+ ()+-./ + F 1 + )"%,+ . ,+%&,1 1%,+-.*1 1%(1$+)#;+ 1++& 1+)"%,+/ +1+$2%+ 1/*%$+$/1,1# 1%1 $#++ 1+)#*+A++ 1
++ +V 1 * 6,1 )#*%# 1$%1 + +"#+#1+1,+%+-.FF!%#+#1$11 $#++
)+ ()+-D1 * $,+ 11+$,+ F!+;& )+!+#1 #+ +#1 #+#+1%+5"1+$+K+11%%@%#+#1$1"$0+V
+ A+ 1 V1 1#*1A++"#+)-.*1%+)+ 1,++-.)%"0++B $#+%+)"%,+1# !"#*")#+ @1*%) 15^)+"#+A+1 V1 1#*1AB/!* 6,1 )#*1K/"#+,105"11+!;,+%++/" 1O+/1,,1+ 1%,+%#+%+*%*%+*+%++5"1+)-.*1%+)+ "+ ,+%&,1 / 1 1 1)+ / *1V 1)+)"+%
1 +#+1%+/!* 6,1)+;%+%#1*+%++ )-D1 $+$+,+%l)+)#%1+-.+ / "+#;+ #
*1%+)+ %1+ / + ,! +5"1+ "$0++ "%+$1 + 89>:/!+*%1 1$++"#+1 )%-.1 1 $% #!$ *+%+ 1
PRATI et al.: EVALUATING CLASSIFIERS USING ROC
1 $#+%+)"%,+#!++TC/!# $%++"#+)"%,+
)#1 $#+$,+1,+%l)+(1$+)#*+)$1@5"1
*1 1%;$1#A$$*P33;(#*V ;#*13*%O1)$ 3%)%3B/
1 1,,+*+%+ ($n+%1@5"1*1 1%;$1#A$$*P33
nnn%V*%O1)$%B )O"$ 1 A+ )%%1 *1 +
,1% + )"%,+ )+)"++ )#(1%1$1 )O"$ 1$1 $1
+ ,++-. )%"0++/ # $%+ + ,+%l)+ + )"%,+ )#
%1 *1$\ "+ ,+%&,1 TCF)"%,+)#,+%l)+
#+ + *%)*+ 1 ,+$+1 1 1 "$0+% %&() !+ "+#$+-.*+%++*1+ "+ )+ 1 F*1 +%1 *%)6* ;& ) 1%1# #1 # /H#1%11K )%1 )1
1K*1)+#1$1)#H#1%1)+ 1 1$+$/*+%+
%1"0%++& 1*+%+"+ )+ 1 /+"#+ +*%K#+-D1 .
* 6,1 /)#+"#V)$%+V$ Zo
4%&() ) $$"1#"#+(1%%+#1$+#"$H$*+%++
, "+0+-. 1 +,++-. 1 #1 1 )+ ()+-. 1 $+#;!# . "$0+ *+%+ 1 +,++% )# "# $1#+ 1
+*%10+!)+*+01%1+% 1K1#* /*1%#$"#+
+& 1 1*11$1 #+% 1 )+ ()+-. + 1O+
1)1 &%1%,+%"##11)+ ()+-./++& 1
$+#;!#*1%#$15"1 1O+(1$++)+;%+-./*%#11A+ 1 V1 1#*1A/ *+%+ + )-D1 *1%+)+ #+ +*%*%++ +#6++*)+-.
F +& 1 *%, "#+ +,++-. #+ %)+ 5"1
#*1 #1$1+,++%#11)+ ()+-.+*+%$%1"#+
H)+ #1+ $%1$+$/ *+%+ + "+ )%%1$+ "$0+-./ !
1)1 &%5"1 1)A1-+# "+ )+%+)$1%6 $)+ 1#$+-D1 1 $1$%+;+A((1$+"#+$%"-.\+& 11$%
)$1K$ 1 +*%10+ 1 #&5"+/ ;1# )# (%+#
1 $+)++ 1 1K1#*()++ +"#+ 1 "+ #$+-D1 1
1%% 1 $1%*%1$+-. *1%+# 5"1 *$ +5"
1,+$+ 1O+#H$1 *+%+("%++#+ +"$0+-.+
221
+& 1 1$% + )#"+1 1 FG 1 G +
F#!%)++$+
TbF
89: [ S +/ ! # ! #
1np%q/FPF)+1#)S%1 /9LIC
8<: 4%11+[Fn1$ / #
! ## F$ / FP S1 "+ S"; A/
9LJL
8>: rVs aA"/ t G) A/ + F ;")An q/
)!
)![Aj1u
v )/<MM<
8?: F,+/G4+$$+ /SS+%,+A/f+ (
$+%u " "1 1K$"%1 + 41#1$%u #*"$1%01#%+*Au#+1 PS%1#+%u1 "$ g/
+$ F#1%)+ %+ +)$ / Z </ </ **
ICVJM/<MM?
8C: [ 4+ $n%$A/ fF 11%+ 1($ ( $A1 %10
)"%,1g/%
/,>L/E/**9M>Iw>L/9LI9
8E: tGu1/f1) V#+q(%#*%;+;$u(%1)+ $ ;+ 1 (%1)+ $ ,+"1g/ )
'
/
,L/**>MIw>9C/<MM<
8I: FSU%+1u/fA1" 1($A1+%1+"1%$A1)"%,1
$A11,+"+$(#+)A11+%+%$A# g/
/,>M/I/**99?Cw99CL/9LLI
8J: tF*+)q#+/f+1$1)$$A1%uPZ+"+;1$ (%1,+"+$")$,11+%g/ !
* + ,- )
.
/+).012324
G%+t+"(#+/9LJL/**9EMw9E>
8L: S%+$+ST+)A/fP++%$A#(%%"1
1+%;+ 1++u g/ !
$ +
5 '
+ /+5'+678894/ ;"%A @tB/ <MMC/ **
J<>wJ<J
89M: S T+)A + j"/ f1*+% ))+,$1 )"%,1 g/ ! $+
5'
+/+5'+078894/
;"%A@tB/<MMC/**IM<wIMI
899: 4FSFU+$ $+/S%+$/+GG+%/fF
$"u ( $A1 ;1A+,% ( 1,1%+ #1$A (% ;++)
#+)A1 1+% $%+ +$+g/ +&:%
/
,E/9/**<Mw<L/<MM?
89<: q+/fA1("+$ () $V 1 $,11+%g/
! 1;+
5
'
+G%+ t+"(#+/<MM9/ **
LI>wLIJ
89>: [T1 /
)!
!/
<11np%q@FBP[Aj1uv /9LJ9
89?: T+n)1$$/ fF $%")$ $ %+*A g/ .,<I/J/**JE9VJI?/<MME
89C: TS%, $/T+n)1$$/+tA+,/fA1)+ 1++ $
+))"%+)u1 $#+$(%)#*+%")$+%$A# g/
! < +
)
.
/+).012234jPG%+t+"(#+/
+T%+) )/F/9LLJ/**??Cw?C>
89E: T S%, $ + T+n)1$$/ f;" $ )+ (1% (%
#*%1) 11,%#1$ g/)
.
/,?</
>/**<M>w<>9/<MM9
89I: [ 4+#+ + 4 + $/ f1+% n$A )+ %($
1$1)$g/ ! +
'!
!
)
!'
/')'0788*4/
222
1% 1)$"%1 $1 #*"$1% )1)1/ , ?ML>
*%1%/<MME/**?<wCC
89J: 4j1;;+tG/f$A1+**)+$(
++u $ *%1)$ )+ ()+$ *1%(%#+)1 "1%
,+%u)+ $%;"$ g/ )
.
/,CJ/
9/**<Cw></<MMC
89L: T+n)1$$+SFT+)A/fF %1 * 1$j1;; +
x $A1 +**)+$ ( ++u $ *%1)$
)+ ()+$ *1%(%#+)1 "1% ,+%u )+ $%;"$ g/)
.
/,CJ/9/**>>w
>J/<MMC
8<M: [Fs+1u+U[G)1/fA1#1++" 1(
$A1+%1+"1%+%1)1,1%*1%+$)A+%+)$1% $)@B
)"%,1g/
!#/,9?>/**<Lw>E/9LJ<
8<9: [ s+ + / fF #*1 11%+ +$ ( $A1
+%1+"1%$A1)"%,1(%#"$*1)+ )+ ()+$
*%;1# g/ )
.
/ , ?C/ </ ** 9I9w
9JE/<MM9
8<<: r/[s"+/+saA+/fFP+ $+$ $)+u
) $1$ + #%1 )%#+$ #1+ "%1 $A+
+))"%+)ug/ +5'+/44$$;+j+ A/G%+
t+"(#+/<MM>/**C9LwC<E
IEEE LATIN AMERICA TRANSACTIONS, VOL. 6, NO. 2, JUNE 2008
1 ! "$% 1# )+ +
#*"$+-.1G+$1#&$)+#*"$+)+*1+,1% +1
1 . S+" @<MMEB F$"+#1$1/ ! *2 V"$%+ $$"$ 1 )+ G+$1#&$)+ 1 1 #*"$+-. +
,1% +11.S+"@G3SB
2* 1 3
* "
"$%+ 1# )+ 1 #*"$+-. 1 G+$1#&$)+
#*"$+)+ *1+ ,1% +1 1 . S+" @<MM>B
F$"+#1$1/!*%(1 %"$%G3S
. . ! "$%+ 1# (%#&$)+ *1+
S$(6)+ ,1% +1 +$2)+ 1 [+1% @9LJMB/
,%1V)1$1*1+,1% +11.S+"@9LJEB 1*2 V
"$%+*1+,1% $u($%+$A)u1@9LJIBF$"+#1$1/!
*%(1 %+$$"+%G3S/)%1+%++;%+$2%
1$1)+#*"$+)+@FUB161%%"*1
*1 5" +1#$1)+#*"$+)+