UMA NOVA SOLUÇÃO RECURSIVA PARA LS-SVR EM IDENTIFICAÇÃO
ROBUSTA DE SISTEMAS DINÂMICOS
José Daniel de Alencar Santos∗, Guilherme de Alencar Barreto†
∗
Instituto Federal de Educação, Ciência e Tecnologia do Ceará
Departamento de Indústria
Maracanaú, Ceará, Brasil
†
Universidade Federal do Ceará
Departamento de Engenharia de Teleinformática
Fortaleza, Ceará, Brasil
Emails: [email protected], [email protected]
Abstract— Least Squares Support Vector Regression (LS-SVR) is a powerful kernel-based learning tool for
regression problems. However, since it is based on the ordinary least squares (OLS) approach for parameter
estimation, the standard LS-SVR model is very sensitive to outliers. Robust variants of the LS-SVR model,
such as the WLS-SVR (Suykens, De Brabanter, Lukas and Vandewalle, 2002) and IRLS-SVR (De Brabanter
et al., 2009) models, have been developed aiming at adding robustness to the parameter estimation process, but
they still rely on OLS solutions. In this paper we propose a totally different approach to robustify the LS-SVR.
Unlike previous models, we maintain the original LS-SVR loss function, while the solution of the resulting linear
system for parameter estimation is obtained by means of the Recursive Least M -estimate (RLM) algorithm (Zou
et al., 2000). We evaluate the proposed approach in nonlinear system identification tasks, using artificial datasets
contaminated with outliers and a real-world dataset. The obtained results for infinite-steps-ahead prediction,
also known as free simulation, show that proposed model consistently outperforms the WLS-SVR and IRLS-SVR
models for all studied scenarios.
Keywords—
rithm.
Adaptive and Learning Systems, LS-SVR Model, Robust System Identification, RLM Algo-
Resumo— Regressão de mı́nimos quadrados baseada em vetores-suporte (LS-SVR) é uma poderosa ferramenta
de aprendizagem baseada em kernel e usada em problemas de regressão. Entretanto, uma vez que é baseada na
abordagem de mı́nimos quadrados ordinários (OLS) para estimação de parâmetros, o modelo LS-SVR padrão é
muito sensı́vel à presença de outliers. Variantes robustas do modelo LS-SVR, tais como WLS-SVR (Suykens,
De Brabanter, Lukas and Vandewalle, 2002) e IRLS-SVR (De Brabanter et al., 2009), tem sido desenvolvidos
com o objetivo de acrescentar robustez ao processo de estimação de parâmetros, mas eles ainda dependem de
soluções OLS. Nesse artigo, é proposta uma abordagem totalmente diferente para tornar robusto LS-SVR. Ao
contrário dos modelos anteriores, mantém-se a função de perda original do modelo LS-SVR, enquanto a solução
do sistema linear resultante para estimação de parâmetros é obtida através do algoritmo RLM (Zou et al., 2000).
A abordagem proposta foi avaliada em tarefas de identificação de sistemas não-lineares, usando conjuntos de
dados artificiais contaminados com outliers e um conjunto de dados reais. Os resultados obtidos para predição
de infinitos passos a frente, também conhecida como simulação livre, mostram que o modelo proposto supera
consistentemente os modelos WLS-SVR e IRLS-SVR em todos os cenários estudados.
Palavras-chave— Sistemas Adaptativos e de Aprendizagem, Modelo LS-SVR, Identificação Robusta de Sistemas, Algoritmo RLM.
1
Introdução
Regressão de mı́nimos quadrados baseada em vetores suporte (Least Squares Support Vector Regression - LS-SVR) (Saunders et al., 1998; Suykens, Van Gestel, De Brabanter, De Moor and
Vandewalle, 2002) é uma ferramenta largamente
usada em problemas de regressão, sendo aplicada com sucesso para previsão de séries temporais (Van Gestel et al., 2001), controle (Khalil
and El-Bardini, 2011) e identificação de sistemas (Falck et al., 2009). Sua formulação padrão usa restrições de igualdade e uma função de
custo baseada em mı́nimos quadrados (Suykens,
Van Gestel, De Brabanter, De Moor and Vandewalle, 2002). Assim, a solução para os parâmetros é obtida resolvendo um sistema de equações lineares, usando o algoritmo dos mı́nimos
quadrados ordinários (Ordinary Least Squares -
OLS). Entretanto, o algoritmo OLS fornece solução ótima somente se os erros seguem uma distribuição Gaussiana. Infelizmente, em diversas
aplicações de regressão no mundo real isto é uma
suposição muito forte porque os dados disponı́veis geralmente são contaminados com ruı́do não
Gaussiano ou mesmo com outliers. Nesses cenários, o desempenho dos modelos LS-SVR pode diminuir significativamente.
Desse modo, alguns autores tem dedicado
atenção em desenvolver variantes robustas para
os modelos LS-SVR. Por exemplo, Suykens et
al. (Suykens, De Brabanter, Lukas and Vandewalle, 2002) introduziram uma versão ponderada do LS-SVR baseada em estimadoresM (Huber et al., 1964), chamada de Weighted
Least Squares Support Vector Regression (WLSSVR). Mais tarde, De Brabanter et al. (De Brabanter et al., 2009) também introduziram uma
estimativa robusta sobre soluções prévias de LSSVR usando uma abordagem reponderada iterativamente, chamada Iteratively Reweighted Least
Squares Support Vector Regression (IRLS-SVR).
Em essência, enquanto essas variantes robustas modificam a função de perda original do LSSVR para penalizar grandes erros, elas ainda dependem do algoritmo OLS para fornecer uma solução para o sistema linear resultante. Neste artigo,
é introduzida uma abordagem diferente para adicionar robustez ao modelo LS-SVR. Ao invés de
modificar sua função de perda, decidiu-se resolver o sistema linear resultante para estimação dos
parâmetros usando o algoritmo RLM (Recursive
Least M -estimate) (Zou et al., 2000). A regra
RLM é por si só uma variante robusta do algoritmo padrão RLS (Recursive Least Squares), que
foi modificado pelo uso de estimadores-M para tratar outliers.
A abordagem proposta, referida como modelo RLM-SVR, atualiza recursivamente o vetor
de multiplicadores de Lagrange e o bias para cada
amostra de entrada. Ao fazer isso, a ocorrência de
outliers em uma dada amostra de entrada pode ser
tratada individualmente, melhorando a qualidade
da solução. Para o propósito de validação, foram
usados dois conjuntos de dados sintéticos, cujas
saı́das são contaminadas com diferentes quantidades de outliers, e um conjunto de dados real. O
desempenho do modelo RLM-SVR proposto é então comparado com aqueles fornecidos pelos modelos LS-SVR padrão, WLS-SVR e IRLS-SVR em
tarefas de identificação de sistemas com predição
de infinitos passos à frente (simulação livre).
O restante do artigo é organizado da seguinte
forma. Na Seção 2 é feita uma breve discussão
sobre o problema de identificação de sistemas investigado. Na Seção 3 são descritos brevemente os
modelos LS-SVR, WLS-SVR e IRLS-SVR. Na Seção 4 é tratada a abordagem proposta. Na Seção
5 são discutidos os resultados alcançados. Finalmente, o artigo é concluı́do na Seção 6.
2
Identificação de Sistemas Dinâmicos
Não Lineares
Dado um sistema dinâmico, que pode ser descrito
por um modelo auto-regressivo não linear com
entradas exógenas (nonlinear autoregressive with
exogenous inputs - NARX), seu i-ésimo vetor de
entrada xi ∈ RP é obtido a partir de Ly saı́das
passadas observadas yi ∈ R e Lu entradas de controle passadas ui ∈ R (Ljung, 1999)
yi = mi + i , mi = g(xi ), i ∼ N (i |0, σn2 ),
(1)
T
xi = [yi−1 , . . . , yi−Ly , ui−1 , . . . , ui−Lu ] , (2)
em que i é o instante de observação, mi ∈ R é a
saı́da real (sem ruı́do) do sistema, g(·) é uma função não linear desconhecida e i é o ruı́do com distribuição Gaussiana da saı́da observada yi . Após
N instantes, tem-se o conjunto
D = (xi , yi )|N
i=1 = (X, y),
(3)
N ×P
em que X ∈ R
é chamada matriz de regressores e y ∈ RN é o vetor de saı́das medidas. A partir
do conjunto D, daqui por diante chamado de conjundo de dados de estimação, deseja-se construir
um modelo que descreva suficientemente bem o
comportamento dinâmico do sistema investigado.
Depois da estimação do modelo apropriado,
este pode ser usado para simular a saı́da dinâmica
do sistema identificado através de predições iterativas. Dado um novo instante j, a predição para
os dados de teste é dada por
ŷj
=
f (xj ) + j ,
xj
=
[ŷj−1 , . . . , ŷj−Ly , uj−1 , . . . , uj−Lu ]T ,(5)
(4)
em que ŷj é a j-ésima saı́da ruidosa estimada.
Esse procedimento, no qual saı́das estimadas passadas são usadas como regressores, é geralmente
chamado simulação livre ou predição de infinitos
passos à frente e será adotado ao longo deste artigo em todos os experimentos.
Quando o ruı́do observado não pode ser considerado Gaussiano, como no caso da presença de
outliers, modelos obtidos a partir da Eq. (1) não
são apropriados. De fato, as caudas leves da distribuição Gaussiana não são capazes de explicar
os desvios dos erros causados por outliers.
Assim, este artigo tem o interesse de propor
uma nova abordagem robusta para tarefas de identificação de sistemas dinâmicos não lineares, a partir do modelo LS-SVR. A próxima seção apresenta
este modelo, além de algumas de suas variantes
robustas que são avaliadas neste trabalho.
3
Modelos Avaliados
Inicialmente, considere o conjunto de estimação
p
{(xn , yn )}N
n=1 , com entradas xn ∈ R e correspondentes saı́das yn ∈ R. Em um problema de
regressão, o objetivo é procurar uma função f (·)
que aproxime as saı́das yn para todas as instâncias de dados disponı́veis. Para o caso não-linear,
f geralmente assume a forma
f (x) = hw, ϕ(x)i + b,
(6)
em que ϕ(·) : Rp → Rph é um mapeamento não
linear em um espaço de atributos de maior dimensionalidade, h·, ·i denota um produto escalar neste
espaço de atributos, w ∈ Rph é um vetor de pesos
e b ∈ R é um bias.
A formulação do problema de estimação de
parâmetros em LS-SVR conduz à minimização do
seguinte funcional (Suykens, Van Gestel, De Brabanter, De Moor and Vandewalle, 2002; Saunders
et al., 1998)
J(w, e) =
N
1X 2
1
kwk22 + C
e ,
2
2 n=1 n
(7)
sujeito a
yn = hw, ϕ(xn )i + b + en ,
n = 1, 2, . . . , N (8)
em que en = yn − f (xn ) é o erro devido ao nésimo padrão de entrada e C > 0 é um parâmetro
de regularização.
O Lagrangeano do problema de otimização
nas Eqs. (7) e (8) é
em que a matriz Av ∈ R(N +1)×(N +1) é definida
como
0
1T
Av =
,
(15)
1
Ω + C −1 V
e a matriz diagonal V ∈ RN ×N é dada por
1
1
V = diag
,...,
.
v1
vN
(16)
Cada peso vn é determinado com base nos erros en = αn /C do modelo LS-SVR original. Neste
L(w, b, e, α0 ) =
(9)
artigo, as estimativas robustas são obtidas a partir da função de pesos de Hampel (Suykens, De
N
X
−
αn [hw, ϕ(xn )i + b + en − yn ], Brabanter, Lukas and Vandewalle, 2002) como

n=1
if |en /ŝ| ≤ c1 ,
 1
c2 −|en /ŝ|
vn =
if c1 < |en /ŝ| ≤ c2 ,
em que αn ’s são os multiplicadores de Lagrange.
2 −c1
 c−4
As variáveis duais ótimas correspondem à solução
10
caso contrário,
do sistema linear Aα = y, dada por
(17)
1
em
que
ŝ
=
IQR
/1.349
é
uma
estimativa
robusta
b
0
0
1T
do desvio padrão dos erros en do modelo LS-SVR.
=
,
(10)
y0
1
Ω + C −1 I α0
Os valores c1 = 2.5 e c2 = 3.0 são normalmente
{z
} | {z } | {z }
|
escolhidos (Rousseeuw and Leroy, 1987).
α
y
A
N
1
1X 2
kwk22 + C
e
2
2 n=1 n
em que y0 = [y1 , . . . , yN ]T , 1 = [1, . . . , 1]T , α0 =
[α1 , . . . , αN ]T , Ω ∈ RN ×N é a matriz de kernel
com entradas Ωi,j = k(xi , xj ) = hϕ(xi ), ϕ(xj )i
onde k(·, ·) é a função de kernel escolhida. Além
disso, A ∈ R(N +1)×(N +1) , α ∈ R(N +1) e y ∈
R(N +1) . Assim, a solução para α é obtida pelo
algoritmo OLS como
α = (AT A)−1 AT y.
(11)
Finalmente, o modelo LS-SVR resultante para
regressão não-linear é dado por
f (x) =
N
X
αn k(x, xn ) + b.
(12)
n=1
Nos experimentos computacionais realizados
neste trabalho, optou-se
peloo kernel Gaussin
kx−xn k22
ano k(x, xn ) = exp
, em que γ é o
2
2γ
parâmetro que controla a largura do kernel.
3.2
O Modelo IRLS-SVR
O procedimento de ponderação para o modelo
WLS-SVR pode ser repetido iterativamente dando
origem ao modelo IRLS-SVR (De Brabanter et al.,
2009). Em cada iteração i, pode-se ponderar os er(i)
(i)
(i)
ros en = αn /C para n = 1, . . . , N . Os pesos vn
(i)
são calculados com base em en /ŝ e usando a função de pesos da Eq. (17). o próximo passo requer
(i)
a solução do sistema linear Av α(i) = y, em que
0
1T
Av(i) =
,
(18)
1
Ω + C −1 Vi
(
)
1
1
(i)
, . . . , (i) .
(19)
V = diag
(i)
v1
vN
O modelo resultante na i-ésima iteração é então
dado por
f (i) (x) =
3.1
O Modelo WLS-SVR
N
1X
1
kwk22 + C
vn e2n ,
2
2 n=1
(13)
sujeito às mesmas restrições da Eq. (8). Os erros obtidos no modelo LS-SVR padrão são ponderados pelo vetor v = [v1 , . . . , vN ]T , de acordo
com a Eq. (17). A solução ótima para WLS-SVR
é obtida resolvendo o sistema linear Av α = y,
também por meio do algoritmo OLS
α = (ATv Av )−1 ATv y,
αn(i) k(x, xn ) + b(i) .
(20)
n=1
O modelo WLS-SVR (Suykens, De Brabanter, Lukas and Vandewalle, 2002) é formulado pela minimização do funcional
J(w, e) =
N
X
(14)
(i+1)
Assim, faz-se i = i + 1 e os novos pesos vn
eo
vetor α(i+1) são calculados. Neste artigo, esse pro(i)
(i−1)
cesso continua até maxn (|αn − αn |) ≤ 10−3 .
4
A Abordagem Proposta
Inicialmente, a partir da Eq. (10) do modelo LSSVR padrão, calcula-se normalmente o vetor y
e a matriz A = [a1 , . . . , an , . . . , aN +1 ], em que
an ∈ RN +1 . A partir daı́, a ideia proposta envolve a aplicação de um algoritmo robusto de estimação recursiva para, a cada vetor an , calcular
1 IQR significa faixa InterQuantil, que é a diferença entre
o 75-ésimo percentil e o 25-ésimo percentil.
e atualizar o vetor de multiplicadores αn . Esse
procedimento deve ser feito considerando em cada
instante apenas uma das colunas an da matriz A
como entrada, ao invés de usar o algoritmo em
batch OLS. Como será mostrado nas simulações,
esta simples metodologia acabou sendo muito efetiva em fornecer estimativas robustas para o vetor
α, resultando em um desempenho satisfatório do
modelo RLM-SVR quando os dados de estimação
são contaminados com outliers.
O algoritmo RLM (Zou et al., 2000) foi escolhido como regra de estimação recursiva para o
modelo proposto, e sua função de custo é dada por
Jρ(n) =
N
+1
X
λN +1−n ρ(en ),
(21)
Algorithm 1 Pseudo-código do modelo RLMSVR.
Require: C, γ, δ, Ne , λ, λe , Nw
calcular A e y usando a Eq. (10)
definir S0 = δI, g0 = α0 = 0
for i = 1 : Ne , do
for n = 1 : N + 1, do
en = yn − αTn−1 an
calcular σ̂n2 usando a Eq. (23)
calcular q(en ) usando a derivada da Eq. (22)
atualizar Sn usando a Eq. (25)
atualizar gn usando a Eq. (26)
atualizar αn usando a Eq. (27)
end for
end for
n=1
em que ρ(·) é uma função de estimadores-M e
0 λ ≤ 1 é um fator de esquecimento exponencial, uma vez que a informação de um passado
distante tem efeito cada vez mais insignificante na
atualização dos coeficientes.
Neste artigo, a seguinte função de estimaçãoM de Hampel é considerada
 2
e

0 ≤ |e| < ξ1 ,

2


 ξ |e| − ξ12
ξ1 ≤ |e| < ξ2 ,
1
2
ρ(e) =
ξ1 (ξ3 +ξ2 )−ξ12
ξ1 (|e|−ξ3 )2

ξ2 ≤ |e| < ξ3 ,
+

2
2 ξ2 −ξ3


 ξ1
ξ12
c. c.,
2 (ξ3 + ξ2 ) − 2
(22)
em que ξ1 , ξ2 e ξ3 são limiares que precisam ser estimados continuamente. O erro en foi considerado
como tendo uma distribuição Gaussiana possivelmente contaminada com algum ruı́do impulsivo.
A variância do erro σn2 para cada n é estimada da
seguinte forma
2
σ̂n2 = λe σ̂n−1
+ c(1 − λe )med(Fn ),
(23)
em que 0 λe ≤ 1 é um fator de esquecimento, med(·) é o operador mediana, Fn =
{e2n , e2n−1 , . . . , e2n−Nw +1 }, Nw é o tamanho da janela fixa para o operador mediana e c = 1.483(1 +
5/(Nw − 1)) é o fator de correção do estimador. Foram usados ξ1 = 1.96σ̂i , ξ2 = 2.24σ̂i e
ξ3 = 2.576σ̂i (Zou et al., 2000). Além disso, os
valores λe = 0.95 e Nw = 14 foram fixados.
O vetor ótimo α pode ser obtido igualando a
(n)
zero a derivada parcial de Jρ com relação a αn .
Isso resulta em
(n)
R(n)
ρ αn = Pρ ,
(n)
(n)
(24)
em que Rρ e Pρ são chamados matriz de correlação via estimação-M de an e vetor de correlação
cruzada via estimação-M de an e yn , respectivamente. A Eq. (24) pode ser resolvida recursivamente usando RLM por meio das seguintes equações
Sn = λ−1 (I − gn aTn )Sn−1 ,
(25)
gn =
q(en )Sn−1 an
,
λ + q(en )aTn Sn−1 an
αn = αn−1 + (yn − aTn αn−1 )gn ,
(26)
(27)
−1(n)
n)
em que Sn = Rρ
, q(en ) = e1n ∂ρ(e
∂en é a função
de pesos e gn é o vetor de ganho via estimaçãoM . O valor máximo para n é N + 1; entretanto,
é necessário percorrer as amostras de estimação
Ne > 1 vezes para o algoritmo convergir. O valor
Ne = 20 foi usado em todos os experimentos. O
modelo RLM-SVR é resumido no Algoritmo (1).
5
Experimentos Computacionais
A fim de avaliar o desempenho da técnica proposta
em identificação de sistemas não-lineares com predição de infinitos passos à frente, foram realizados
experimentos computacionais com dois conjuntos
de dados artificias (Tab. 1) e um conjunto de dados reais.
Além do ruı́do Gaussiano, os dados de estimação em todos os conjuntos artificiais foram incrementalmente contaminados com um número fixo
de outliers igual a 2.5%, 5% e 10% das amostras
de estimação. A cada amostra escolhida aleatoriamente foi adicionado um valor uniformemente distribuı́do entre U(−My , +My ), em que My é o máximo valor absoluto da saı́da. Os conjuntos de dados artificiais 1 e 2 foram gerados seguindo a metodologia em (Kocijan et al., 2005) e (Narendra and
Parthasarathy, 1990), respectivamente. É importante destacar que somente as saı́das do conjunto
de estimação foram contaminadas. Portanto, as
saı́das de teste permaneceram intactas.
O conjunto de dados reais é chamado wing
flutter e está disponı́vel no repositório DaISy2 .
Esse conjunto de dados corresponde a um sistema
com uma única entrada e uma única saı́da (Single
Input Single Output - SISO), com 1024 amostras
de cada sequência, entrada de controle u e saı́da
y, das quais 512 foram usadas para estimação e
as outras 512 para teste.
2 http://homes.esat.kuleuven.be/∼smc/daisy/daisydata.html
Tabela 1: Detalhes sobre os conjuntos de dados artificiais usados nas simulações computacionais. O ruı́do
indicado na última coluna é adicionado somente às saı́das dos dados de estimação.
Entrada/Amostras
#
1
2
Saı́da
yn = yn−1 − 0.5 tanh(yn−1 + u3n−1 )
yn =
yn−1 yn−2 (yn−1 +2.5)
2
2
1+yn−1
+yn−2
Estimação
un = N (un |0, 1)
−1 ≤ un ≤ 1
150 amostras
Teste
un = N (un |0, 1)
−1 ≤ un ≤ 1
150 amostras
un = U(−2, 2)
300 amostras
un = sin(2πn/25)
100 amostras
As ordens Lu e Ly escolhidas para os regressores nos conjuntos de dados artificiais foram definidas de acordo com seus maiores atrasos, como
mostra a Tab. 1. Para o conjunto wing flutter, as ordens Lu , Ly ∈ {1, . . . , 5} foram ajustadas via validação cruzada com 10-fold no modelo LS-SVR. A mesma estratégia foi usada para
ajustar C ∈ {20 , . . . , 220 }, γ ∈ {2−10 , . . . , 20 } e
λ ∈ {0.99, 0.999, 0.9999} na busca por seus valores ótimos. Além disso, os valores δ = 102 ou
δ = 103 foram usados para inicializar a matriz S.
Foram comparados os desempenhos dos modelos RLM-SVR, LS-SVR, WLS-SVR e IRLSSVR ao longo de 20 rodadas independentes de
cada algoritmo. As distribuições das raı́zes quadradas dos erros quadráticos médios (Root Mean
Square Error - RMSE) para as amostras de teste
com os conjuntos artificiais e o conjunto wing flutter são mostradas nas Figs. (1a), (1b) and (2a).
Em todos os cenários com os conjuntos de
dados artificiais e o real, os algoritmos LS-SVR,
WLS-SVR e IRLS-SVR apresentaram o mesmo
valor de RMSE ao longo das 20 rodadas. Por outro
lado, embora o modelo RLM-SVR tenha apresentado alguma variância na distribuição do RMSE,
seus valores máximos foram ainda menores que os
obtidos com os outros modelos em todos os cenários de contaminação com os conjuntos artificiais
e com o conjunto wing flutter. Nos cenários com
os dados artificiais sem outliers, o modelo RLMSVR alcançou valores médios de RMSE similares
aos obtidos pelos outros métodos robustos.
Por fim, a Fig. (2b) ilustra a saı́da real observada do conjunto wing flutter e as predições para
os modelos LS-SVR tradicional e RLM-SVR, considerando neste último a saı́da predita que obteve
o maior valor de RMSE ao longo das 20 rodadas. É possı́vel perceber que, aproximadamente
a partir da amostra 50, a saı́da do modelo LSSVR começa a apresentar certo atraso em relação
à saı́da real, fazendo com que em alguns momentos ambas possuam polaridades opostas. Por outro lado, embora tendo apresentado menores amplitudes, a saı́da do modelo RLM-SVR conseguiu
acompanhar melhor o comportamento dinâmico
da saı́da real, inclusive com as constantes oscilações de polaridade.
6
Ruı́do
N (0, 0.0025)
N (0, 0.29)
Conclusões
Neste artigo, foi apresentada uma nova estrategia
recursiva e robusta para resolver o problema de
estimação de parâmetros no modelo LS-SVR padrão. A regra de estimação recursiva escolhida é
uma variante robusta do algoritmo RLS que utiliza a teoria de estimadores-M . O modelo LS-SVR
robusto resultante, chamado modelo RLM-SVR,
foi com sucesso aplicado em tarefas de identificação de sistemas dinâmicos não-lineares em simulação livre e na presença de outliers. Para todos
os conjuntos de dados utilizados nos experimentos
computacionais, os piores resultados alcançados
pelo modelo RLM-SVR (ou seja, seus máximos
valores de RMSE) foram melhores que os alcançados pelas outras variantes robustas de LS-SVR.
Para os cenários sem outliers, o modelo RLM-SVR
obteve desempenho similar aos demais algoritmos.
Agradecimentos
Os autores agradecem o suporte financeiro do
IFCE (Instituto Federal de Educação, Ciência e
Tecnologia do Ceará) e do NUTEC (Núcleo de
Tecnologia Industrial do Ceará).
Referências
De Brabanter, K., Pelckmans, K., De Brabanter,
J., Debruyne, M., Suykens, J. A., Hubert,
M. and De Moor, B. (2009). Robustness
of kernel based regression: a comparison of
iterative weighting schemes, Artificial Neural
Networks–ICANN 2009, Springer, pp. 100–
110.
Falck, T., Suykens, J. A. and De Moor, B. (2009).
Robustness analysis for least squares kernel
based regression: an optimization approach,
Proceedings of the 48th IEEE Conference on
Decision and Control (CDC’09), pp. 6774–
6779.
Huber, P. J. et al. (1964). Robust estimation of
a location parameter, The Annals of Mathematical Statistics 35(1): 73–101.
(a) Conjunto de dados Artificial 1.
(b) Conjunto de dados Artificial 2.
Figura 1: Simulação livre com dados artificiais.
(a) RMSE.
(b) Predições.
Figura 2: Simulação livre com dados reais.
Khalil, H. M. and El-Bardini, M. (2011). Implementation of speed controller for rotary hydraulic motor based on LS-SVM, Expert Syst.
Appl. 38(11): 14249–14256.
Kocijan, J., Girard, A., Banko, B. and MurraySmith, R. (2005). Dynamic systems identification with gaussian processes, Mathematical
and Computer Modelling of Dynamical Systems 11(4): 411–424.
Ljung, L. (1999). System Identification Theory for
the User, 2nd edn.
Narendra, K. S. and Parthasarathy, K. (1990).
Identification and control of dynamical
systems using neural networks, Neural
Networks, IEEE Transactions on 1(1): 4–27.
Rousseeuw, P. J. and Leroy, A. (1987). Robust Regression and Outlier Detection, Wiley, New
York.
Saunders, C., Gammerman, A. and Vovk, V.
(1998). Ridge regression learning algorithm
in dual variables, (ICML-1998) Proceedings
of the 15th International Conference on Machine Learning, Morgan Kaufmann, pp. 515–
521.
Suykens, J. A. K., De Brabanter, J., Lukas, L.
and Vandewalle, J. (2002). Weighted least
squares support vector machines: robustness
and sparse approximation, Neurocomputing
48(1): 85–105.
Suykens, J. A. K., Van Gestel, T., De Brabanter, J., De Moor, B. and Vandewalle, J.
(2002). Least Squares Support Vector Machines, World Scientific.
Van Gestel, T., Suykens, J. A., Baestaens, D.E., Lambrechts, A., Lanckriet, G., Vandaele,
B., De Moor, B. and Vandewalle, J. (2001).
Financial time series prediction using least
squares support vector machines within the
evidence framework, Neural Networks, IEEE
Transactions on 12(4): 809–821.
Zou, Y., Chan, S. and Ng, T. (2000). A recursive
least m-estimate (RLM) adaptive filter for robust filtering in impulse noise, IEEE Signal
Proc. Let. 7(11): 324–326.