Pós-Graduação em Ciência da Computação
“Um estudo sobre métricas para o fuzzy front end
e suas contribuições para o processo de inovação”
Por
Henrique Santos Ferreira
Dissertação de Mestrado
Universidade Federal de Pernambuco
[email protected]
www.cin.ufpe.br/~posgraduacao
Recife, PE
Agosto/2010
UNIVERSIDADE FEDERAL DE PERNAMBUCO
CENTRO DE INFORMÁTICA
PÓS-GRADUAÇÃO EM CIÊNCIA DA
COMPUTAÇÃO
Henrique Santos Ferreira
“Um Estudo sobre Métricas para o Fuzzy Front End e suas
Contribuições para o Processo de Inovação”
ESTE
TRABALHO
FOI
APRESENTADO
À
PÓSGRADUAÇÃO EM CIÊNCIA DA
COMPUTAÇÃO DO CENTRO DE
INFORMÁTICA DA UNIVERSIDADE
FEDERAL
DE
PERNAMBUCO
COMO REQUISITO PARCIAL PARA
OBTENÇÃO DO GRAU DE MESTRE
EM CIÊNCIA DA COMPUTAÇÃO.
Fabio Q. B. da Silva, PhD
ORIENTADOR
RECIFE
Agosto/2010
Dedico este trabalho a minha
família, especialmente a meus pais
Arnaldo e Ivelize, que me deram
condições
crescer.
e
tranquilidade
para
AGRADECIMENTOS
Agradeço aos meus pais que, antes de tudo, se preocuparam com a
saúde e educação dos filhos e sempre proporcionaram o melhor de ambos. A
eles que apoiaram e criticaram quando necessário.
A minha família, que mesmo estando muitas vezes longe, sempre se fez
presente e ajudou na minha evolução como pessoa.
Aos meus amigos, Marcelo, Rafael, Pedro, Matheus, Thiago, Bruno,
Ricardo e Leo e ao Jimbalaya, por tantos momentos de reflexão, diversão e
discussão sobre os temas mais diversos.
Aos meus amigos da FAST, Cleviton, Guilherme, Henrique, Igor, Jobson,
Leandro, Renato, que estão me dando a oportunidade de empreender,
aprender, arriscar e tentar fazer a diferença.
Ao professor e orientador Fábio Silva pela paciência e por tornar esse
trabalho possível com sua dedicação e orientação.
E àqueles que, direta ou indiretamente, contribuíram com estes
resultados.
A todos, o meu ―muito obrigado‖!
Uma invasão de exércitos
pode ser resistida, mas não
uma
ideia
cujo
tempo
chegou.
Victor Hugo
RESUMO
A inovação é hoje umas das mais importantes fontes de vantagem
competitiva em economias avançadas. Entretanto, inovar constantemente é
uma tarefa extremamente difícil, qualquer que seja o porte da organização.
O desenvolvimento e a introdução de novos produtos envolvem um risco
considerável e consomem diversos recursos da empresa. Este quadro é
agravado pelas altas taxas de insucessos no desenvolvimento de novos
produtos.
Para minimizar esses riscos, busca-se melhorar continuamente o
processo
de
inovação.
Diversos
autores
afirmam
que
as
maiores
oportunidades de melhoria do processo de inovação, encontram-se nas suas
primeiras fases, conhecidas como Fuzzy Front End (FFE). Para saber o que
precisa
ser
melhorado,
o
processo
deve
ser
avaliado,
medido
e objetivos precisam ser traçados.
Desta forma, este trabalho pretende analisar de forma sistemática o uso
de métricas no FFE, suas contribuições e objetivos no processo de inovação,
seguindo a abordagem Goal/Question/Metric. O método utilizado no estudo foi
uma revisão sistemática da literatura e para a síntese dos dados foi utilizado o
método de comparações constantes.
Os
resultados
da
pesquisa
contribuíram
para
a
identificação
de objetivos de melhoria, quais perguntas precisam ser respondidas e quais
métricas seriam utilizadas no FFE para alcançá-los. Com isso, torna-se
possível a aprendizagem e melhoria continua do processo de inovação.
Palavras-Chave: Métricas, Fuzzy Front End, Desenvolvimento de Novos
Produtos, Goal Question Metric, Processo de inovação.
ABSTRACT
Innovation is now one of the most important sources of competitive
advantage in advanced economies. However, continuous innovation is an
extremely difficult task, whatever the size of the organization.
The development and introduction of new products involve considerable
risk and consumes a large amount of company‘s resources. This situation is
verified by high rates of failures in developing new products.
To minimize these risks, it is important to improve continuously the
innovation process. Several authors argue that the greatest opportunities for
improving the innovation process lie in the early stages of NPD, known as the
Fuzzy Front End (FFE). To understand what needs to be improved, the process
should be evaluated, measured and objectives need to be defined.
Thus, this study aims to examine, systematically, the use of metrics in the
FFE, their contributions and goals in the process of innovation, following the
approach Goal/Question/Metric. The method used in the study was a
systematic literature review and to synthesize the data, constant comparison
method was used.
The survey results helped to identify objectives to improve innovation
process, what questions must be answered and what metrics would be used in
FFE to achieve those objectives. This makes it possible the learning activity and
continuous improvement of the innovation process.
Keywords: Metrics, Fuzzy Front End, New Product Development, Goal
Question Metric, Innovation Process.
LISTA DE FIGURAS
Figura 1.1 – Esquema de ilustração do FFE no PDNP ...................................... 5
Figura 2.1 – Curso das inovações incrementais e radicais nas empresas ....... 13
Figura 2.2 – Modelo Stage-Gate ...................................................................... 15
Figura 2.3 – Processo de inovação .................................................................. 16
Figura 2.4 – Modelo do Fuzzy Front End segundo Khurana e Rosenthal ........ 19
Figura 2.5 – Modelo NCD para o FFE .............................................................. 21
Figura 2.6 – Estrutura hierarquica do QGM...................................................... 29
Figura 2.7 – As quatro fases do GQM .............................................................. 31
Figura 2.8 – Objetivos de melhoria de processo .............................................. 32
Figura 4.1 – Processo de planejamento do GQM para inovação ..................... 68
Figura 4.2 – Processo de definição do GQM para inovação ............................ 69
LISTA DE GRÁFICOS
Gráfico 1.1 – Prioridade da inovação nas empresas em 2010 ........................... 2
Gráfico 1.2 – Inovação entre as top 3 prioridades estratégicas, anualizado ...... 2
Gráfico 1.3 – Participação Percentual do número de empresas que
implementaram inovações, segundo atividades selecionadas da indústria e de
serviços – Brasil – período 2003-2005 ............................................................... 4
Gráfico 2.1 – Nível de incerteza e custo de adaptações no Fuzzy Front End .. 17
Gráfico 4.1 - Distribuição dos trabalhos incluídos por ano de publicação ........ 52
LISTA DE QUADROS
Quadro 3.1 – Quadro Metodológico ................................................................. 33
LISTA DE TABELAS
Tabela 2.1 – Referências de métricas do FFE ................................................. 27
Tabela 4.1 – Número de artigos retornados por base de dados ...................... 49
Tabela 4.2 –Relacionamento entre trabalhos incluídos e engenhos de busca 50
Tabela 4.3 – Processo de seleção de estudos primários ................................. 51
Tabela 4.4 - Importantes jornais e conferências econtrados ............................ 53
Tabela 4.5 - Métricas quantitativas ligadas ao fuzzy front end ......................... 56
Tabela 4.6 - Métricas qualitativas ligadas ao fuzzy front end ........................... 59
Tabela 4.7 – Mapeamento das Métricas Quantitativas x Objetivos .................. 63
Tabela 4.8 – Mapeamento das Métricas qualitativas x Objetivos ..................... 65
Tabela 4.9 – Métricas mais citadas na RSL ..................................................... 67
Tabela 4.10 – Exemplo 1 de aplicação do GQM .............................................. 70
Tabela 4.11 – Exemplo 2 de aplicação do GQM .............................................. 71
Tabela 4.12 – Exemplo 3 de aplicação do GQM .............................................. 71
Tabela 4.13 – Exemplo 4 de aplicação do GQM .............................................. 71
Sumário
1
Introdução .................................................................................................... 1
1.1. Contexto e Motivação ........................................................................ 1
1.2. Enfoque do Estudo ............................................................................ 5
1.3. Problema de Pesquisa ...................................................................... 7
1.4. Objetivos ........................................................................................... 8
1.5. Estrutura do Trabalho ........................................................................ 8
2
Referencial Teórico .................................................................................... 10
2.1. Conceito de Inovação ...................................................................... 10
2.2. Processos de Desenvolvimento de Novos Produtos ....................... 13
2.3. Fuzzy Front End .............................................................................. 16
2.4. Métricas e o FFE ............................................................................ 24
2.5. Paradigma Goal/Question/Metric..................................................... 29
3
Metodologia ............................................................................................... 33
3.1. Classificação da pesquisa ............................................................... 33
3.2. Revisão Sistemática da Literatura ................................................... 35
3.3. Comparações Constantes ............................................................... 37
3.4. Etapas da Pesquisa......................................................................... 39
3.5. Protocolo da revisão sistemática ..................................................... 41
4
Resultados ................................................................................................. 48
4.1. Resultados da Seleção e Extração de Dados ................................. 48
4.2. Análise e Síntese das Evidências.................................................... 53
4.3. Aplicando o GQM na Gestão da Inovação ...................................... 67
4.4. Discussão Sobre os Resultados Obtidos ........................................ 73
5
Considerações Finais ................................................................................ 78
5.1. Resultados Obtidos ......................................................................... 78
5.2. Limitações do estudo....................................................................... 78
5.3. Trabalhos Futuros ........................................................................... 79
5.4. Conclusões ...................................................................................... 80
Referências ...................................................................................................... 81
Apêndice A – Protocolo da Revisão Sistemática da Literatura ........................ 88
Apêndice B – Trabalhos Incluídos no Estudo ................................................. 110
Apêndice C – Trabalhos Excluídos do Estudo ............................................... 112
Apêndice D – Detalhes das Buscas nos Engenhos de Busca ....................... 123
1 INTRODUÇÃO
1.1. CONTEXTO E MOTIVAÇÃO
Segundo Porter e Stern (2002), a inovação tornou-se talvez a mais
importante fonte de vantagem competitiva em economias avançadas. Para
THIEME et. al. (2003), a habilidade para desenvolver e lançar novos produtos
que sobrevivam ao mercado é crucial para se ter essa vantagem competitiva e
é o coração do crescimento das organizações. Entretanto, conforme verificado
por CASAROTTO e PIRES (2001), a inovação constante de produtos e
processos para alcançar competitividade em nível global é uma tarefa
extremamente difícil para as empresas, qualquer que seja o porte dela.
Atualmente, a inovação está presente na maioria das agendas
corporativas de empresas de todo o globo. Segundo o último survey realizado
pelo BOSTON CONSULTING GROUP (2010) aproximadamente 2/3 dos 1590
executivos seniores entrevistados consideram a inovação como uma das três
mais importantes prioridades estratégicas na corporação – como pode ser visto
no Gráfico 1.1; número que tinha caído nos últimos anos de 72% de 2006 para
64% em 2009, mas que voltou aos 72% no ano de 2010 – visto no Gráfico 1.2.
Além disso, a maioria das companhias informou que iria aumentar os gastos
com inovação no ano de 2008. Ter foco em inovação é uma tendência mundial
e vem sendo discutida por vários autores de diversas áreas como BAUMOL
(2002), da área econômica, JOHANNESSEN et. al. (2001) e RODRIGUES et.
al. (2006) de empreendedorismo, e MYTELKA (2000) e STORPER (1995) de
desenvolvimento regional.
1
Gráfico 1.1 – Prioridade da inovação nas empresas em 2010
Dentre suas estratégias prioritárias, onde está a inovação?
percentual dos entrevistados
45
50
40
30
20
10
0
26
23
6
prioridade
máxima
entre as 3
mais
entre as 10
mais
não é
prioridade
Fonte: BCG Senior Executive Innovation Survey 2010
Gráfico 1.2 – Inovação entre as top 3 prioridades estratégicas, anualizado
percentual dos entrevistados
100
80
72
66
66
64
2007
2008
2009
72
60
40
20
0
2006
2010
Fonte: BCG Senior Executive Innovation Survey 2010
No Brasil, esta preocupação não é diferente. Nos últimos anos, os setores
públicos e privados têm dado grande atenção à inovação como um meio
fundamental para se conseguir obter e manter vantagens competitivas. Estas
condições começaram a ser estruturadas nos níveis federais, estaduais e, em
certos casos, municipais, através de:
Leis e regulamentações: Leis da Propriedade Industrial, Lei da Inovação,
Lei do Software;
Incentivos públicos: Lei do Bem, subvenção econômica definida na Lei
de Inovação, legislações estaduais e municipais específicas (por
exemplo, redução de ISS de 5% para 2% para empresas estabelecidas
no Porto Digital de Pernambuco);
2
Fomento: programas e editais específicos nas agências de fomento
federais e estaduais para apoio direto à inovação nas empresas (ex.
FINEP – Subvenção Econômica e FACEPE – PAPPE);
Ambientes Locais: parques tecnológicos, incubadoras de empresas de
base tecnológica e APLs que, com apoio federal, estadual e local, criam
e consolidam ambientes de suporte à inovação nas empresas;
O panorama da inovação nas empresas brasileiras pode ser constatado
em um estudo feito pelo Governo brasileiro, o PINTEC (Pesquisa Industrial
Inovação tecnológica), realizado pelo IBGE com base no Manual de Oslo
(tratado nas próximas seções). Os resultados do PINTEC 2005 (IBGE, 2007)
confirmam a influência do ambiente macroeconômico na decisão empresarial
de investir em inovação. O cenário encontrado em 2005 aponta esse
crescimento no número de empresas industriais que inovam e desenvolvendo
mais suas inovações em parceria com outras empresas e institutos.
No gráfico 1.3 a seguir, verifica-se que os setores com as mais elevadas
taxas de inovação são: Pesquisa e Desenvolvimento (97,6%) e consultoria em
software (77,9%). As outras atividades de informática e serviço relacionados
(49,6%) e telecomunicações (45,9%) encontram-se em patamares similares a
setores industriais de média-alta intensidade tecnológica.
3
Gráfico 1.3 – Participação Percentual do número de empresas que implementaram inovações,
segundo atividades selecionadas da indústria e de serviços – Brasil – período 2003-2005
Fonte: IBGE, Diretoria de Pesquisas, Coordenação de Indústria, Pesquisa de Inovação
Tecnológica 2005
Entretanto, apesar de se conhecer sua importância, as empresas não
estão satisfeitas com o resultado dos investimentos em inovação. Mais uma
vez, segundo o survey (BCG 2010), no ano de 2010, aproximadamente metade
dos entrevistados (55%) está satisfeito com o retorno financeiro dos
investimentos em inovação, um acréscimo sobre os 43% de 2008.
Além disso, milhares de novos produtos são introduzidos no mercado a
cada ano. Em algumas companhias, novos produtos (menos de 5 anos) já
estão sendo responsáveis pelas maiores partes das vendas (COOPER, 2001;
TROTT, 2005). Todavia, muitas companhias fracassam na tentativa de gerar
novos produtos (CALANTONE, 1981).
O desenvolvimento e a introdução de novos produtos envolvem um risco
considerável e consomem recursos e tempo da empresa. Além disso, este
quadro é agravado pelas altas taxas de insucessos no desenvolvimento de
novos produtos, como apontados em trabalhos como (BACON e BUTLER,
1998; COOPER, 1999).
4
Segundo Chiesa (1996), é importante executar, de forma regular e
sistemática, uma revisão das atividades e resultados obitidos. Essa auditoria
permite que a organização identifique claramente suas fraquezas e áreas que
necessitam de melhorias, minimizando os riscos e otimizando as ações. Desta
forma,
esse
processo
de
avaliação
permite
uma
oportunidade
de
aprendizagem. Identificar os resultados é essencial para avaliar se os esforços
e os investimentos realizados estão trazendo retorno. Para medir qualquer
processos é necessário definir um conjunto de métricas. Pois, se não é
possivel medir, não é possivel controlar e consequentemente gerenciar e
melhorar o processo.
Portanto, visando aproveitar ao máximo o potencial positivo do contexto
nacional descrito acima para a inovação nas empresas e também otimizar os
recursos de investimento, parte deles públicos, é importante entender os
pontos de falha mais comuns nos processos de inovação e propor soluções
para eliminá-los ou, pelo menos, minimizá-los.
1.2. ENFOQUE DO ESTUDO
Encontramos
na
literatura
vários
processos
que
remetem
ao
desenvolvimento de novos produtos (PDNP) e que são bastante utilizados
(COOPER, 1990; JIMÉNEZ-ZARCO et al., 2006) para gerar inovações. O
PDNP
é
comumente
dividido
em
três
partes:
Fuzzy
Front
End,
Desenvolvimento e Comercialização; como ilustrado na figura abaixo.
Figura 1.1 – Esquema de ilustração do FFE no PDNP
Fonte: traduzida de Koen et al., 2002
5
A fase inicial, conhecida como Fuzzy Front End (FFE), compreende as
etapas desde o surgimento da ideia ou identificação da oportunidade até o
momento que essa ideia é julgada pronta para o desenvolvimento; ou seja,
durante todo o processo de avaliação e maturação do conceito até seu
detalhamento em um novo produto ou serviço. De acordo com BACKMAN et al.
(2007: 18): ―As maiores oportunidades de melhoria do processo de inovação
como um todo, encontram-se nas primeiras fases do NPD‖. Outros autores
compartilham desta mesma visão, sendo o FFE foco de algumas
outras
pesquisas (KOEN et al., 2002; COOPER 1996; KHURANA and ROSENTHAL,
1998; VERWORN, 2009). Além disso, o custo de modificar ou até mesmo de
abortar um projeto aumenta exponencialmente a medida em que se avança no
ciclo de desenvolvimento de um novo produto (REINERTSEN, 1994).
Mesmo dada a importância da inovação como motor para o crescimento,
a maioria das organizações não mede sua capacidade inovativa (COOPER e
KLEINSCHMIDT, 1995). Segundo (HAUSER et al., 1996), métricas são
extremamente importantes para a inovação principalmente por três razões.
Primeiro, elas ajudam a gerência a tomar decisões justificáveis e baseadas em
dados objetivos, que são especialmente valiosas dada a natureza de longo
prazo, do risco e da necessidade de fundamentos em alguns projetos de
inovação. Segundo, por ajudarem a avaliar pessoas, metas e projetos com o
objetivo de alocar recursos efetivamente. Por fim, métricas afetam o
comportamento, ajudando a alinhar os objetivos e as ações das pessoas
envolvidas com os interesses estratégicos da companhia. Entretanto, métricas
ruins podem ser contraprodutivas e levar a decisões e ações limitadas e com
foco no curto-prazo.
Entre as organizações que medem a inovação, a maioria utiliza apenas
métricas ligadas a P&D como, por exemplo: percentual do faturamento anual
destinado a P&D; numero de patentes depositadas no último ano; percentual
de vendas de produtos lançados no último ano; e número de ideias dadas
pelos funcionários. São métricas úteis. Entretanto, dão apenas uma visão
6
limitada da capacidade inovativa da organização como um todo (MULLER et al,
2005).
Desta forma, como se decide o que que precisa ser medido no processo
de inovação e com quais objetivos?
Segundo Solingen (1999), escrever metas ajuda a focar nos assuntos
mais importantes. Definindo perguntas relacionadas, ajuda a tornar as metas
mais especificas e facilita a sugestão de métricas relevantes para se atingir
essas metas. Assim, utilizando a metodologia do Goal/Question/Metric (GQM)
permite que se veja o relacionamento entre os objetivos e as métricas,
determinando inconsistencias e faltas e dando um contexto para interpretar os
dados coletados.
Desta forma, esta pesquisa busca investigar quais as métricas utilizadas
no FFE, suas contribuições e objetivos no processo de inovação; sendo
realizada através de uma metodologia que confira valor científico ao estudo.
Para obter tal rigor, a metodologia conta com o método de revisões
sistemáticas da literatura (KITCHENHAM, 2007) que é uma abordagem de
engenharia de software baseada em evidências (KITCHENHAM et al., 2004;
OATES e CAPPER, 2004; DYBÅ et al, 2005), assim como utiliza o método de
comparações constantes (Constant Comparison Method) (SEAMAN, 1999)
para condensação dos resultados.
1.3. PROBLEMA DE PESQUISA
A partir do cenário apresentado nas seções anteriores, este trabalho
abordará o seguinte problema de pesquisa:
Quais as métricas utilizadas no FFE e como contribuem para o processo
de inovação?
7
1.4. OBJETIVOS
O objetivo geral desta pesquisa é de:
Analisar de forma sistemática evidências da literatura sobre métricas
utilizadas no FFE , seus objetivos e impactos no processo de
inovação.
Para o alcance do objetivo geral, os seguintes objetivos específicos
foram definidos:
Realizar uma revisão sistemática da literatura para a coleta de
evidências sobre métricas utilizadas no FFE;
Analisar e classificar as métricas, examinando-os em busca de padrões
que os tornem agrupáveis em categorias mais abstratas;
Identificar evidências que apontem os objetivos de ter determinadas
métricas utilizadas no FFE e os seus impactos no processo de inovação;
Sintetizar os resultados evidenciados na revisão sistemática sobre o
impacto das métricas do FFE no processo de inovação.
1.5. ESTRUTURA DO TRABALHO
Este trabalho está organizado da seguinte forma:
No Capítulo 2 são apresentados os principais conceitos utilizados como
referencial teórico que fundamentam a pesquisa. Neste capítulo são
apresentados diversos conceitos. Inicialmente a definição de inovação e o
processo de desenvolvimento de novos produtos. Em seguida, detalhes das
etapas contidas no Fuzzy Front End da inovação. Posteriormente, os principais
estudos do estado da arte em métricas do Fuzzy Front End e o paradigma
Goal/Question/Metric (GQM). Por fim, é apresentado o paradigma da
engenharia
de
software
baseada
em
evidências
que
fundamenta
metodologicamente este trabalho.
No Capítulo 3 é descrito o método utilizado na realização da pesquisa.
São detalhados o quadro metodológico com método de abordagem, a natureza
8
dos dados e os métodos de procedimento utilizados. É descrito também o
processo de revisão sistemática da literatura, as etapas seguidas pela pesquisa
o protocolo da revisão. Por fim, o procedimento utilizado para a análise dos
resultados.
No Capitulo 4 são apresentados os resultados obtidos com a revisão
sistemática e a análise dos dados. Inicialmente são apresentandos os
resultados gerais da revisão sistemática, tais como: a quantidade de trabalhos
retornados nas buscas, as principais fontes, as referências incluídas no estudo
e a distribuição temporal dos mesmos, entre outras informações. Em seguida,
são apresentados os resultados específicos da questão de pesquisa, isto é, as
métricas do Fuzzy Front End identificadas pela revisão sistemática, juntamente
com as questões que buscam responder e seus objetivos (GQM), além de um
modelo de aplicação do GQM.
Por fim, no Capítulo 5 são feitas as considerações finais deste trabalho,
apresentando as ameaças à validade do estudo e suas limitações. São
apresentadas também algumas propostas para trabalhos futuros e as
conclusões obtidas.
9
2 REFERENCIAL TEÓRICO
Neste capítulo, são tratados os principais conceitos e teorias relacionados
a: inovação, processo de desenvolvimento de novos produtos e serviços,
métricas e métodos de pesquisa utilizados neste trabalho e para sua
compreensão. Estes conhecimentos serão utilizados para contextualizar e a
pesquisa e garantir sua fundamentação teórica.
Este trabalho foi desenvolvido no âmbito do grupo de pesquisa que
estuda a inovação no setor de informática no Centro de Informática da UFPE.
Como parte do esforço da equipe envolvida na pesquisa sobre inovação, foi
gerado o relatório técnico MONTEIRO et al. (2009) ―Conceitos e Teorias do
Processo de Inovação‖, que serviu de base para as próximas seções.
O capítulo está dividido da seguinte forma. Na seção 2.1 é apresentado o
conceito de inovação adotado neste trabalho. Na seção 2.2, o processo de
desenvolvimento de novos produtos (PDNP). Na seção 2.3 modelos de Fuzzy
Front End (FFE) - as fases iniciais do PDNP. Na seção 2.4 são apresentados o
conceito e a importância das métricas para processos, em especial o FFE. Na
seção 2.5 é apresentado o paradigma Goal/Question/Metric. Pro fim, na seção
2.6, o paradigma da Engenharia de Software Baseada em Evidências.
2.1. CONCEITO DE INOVAÇÃO
O termo inovação possui diversas definições e uma das primeiras
definições foi dada por SCHUMPETER (1934) quando tratou o termo como
sendo: ―um novo produto, novo processo de produção ou nova forma de
organização, como uma aquisição ou abertura de novos mercados‖.
Atualmente, uma das mais utilizadas atualmente vem do Manual de Oslo
(FINEP, 2006) onde o conceito de inovação é apresentado sob a seguinte
perspectiva:
“Uma inovação é a implementação de um produto (bem ou serviço)
novo ou significativamente melhorado, ou um processo, ou um novo
método de marketing, ou um novo método organizacional nas práticas de
negócios, na organização do local de trabalho ou nas relações externas.”
10
Seguindo esta definição, o Manual divide inovação em quatro áreas produto, processo, marketing e organização.
Inovação em produto: é a introdução de um benefício ou serviço novo ou
significativamente melhorado, em relação às suas características ou
usos previstos. Incluindo melhorias significativas nas especificações
técnicas, componentes, materiais, softwares, facilidades de uso,
interfaces ou outras características funcionais. As inovações de produto
podem utilizar novos conhecimentos ou tecnologias, ou podem basearse em novos usos ou combinações para conhecimentos ou tecnologias
já existentes;
Inovação em processo:
é a
implementação
de
um novo
ou
significativamente melhorado método de produção. Incluindo mudanças
significativas em técnicas, equipamentos e/ou softwares. As inovações
de processo podem visar redução de custos de produção ou
distribuição, melhorias de qualidade, ou produção e distribuição de
novos produtos ou significativamente melhorados;
Inovação em marketing: é a implementação de novos métodos de
marketing contemplando mudanças significativas na concepção do
produto ou em sua embalagem, no seu posicionamento, divulgação ou
fixação de preços. São inovações voltadas para melhor atender as
necessidades dos consumidores, reposicionando produtos ou abrindo
novos mercados, objetivando o aumento das vendas;
Inovação organizacional: envolvem a implementação de novos métodos
organizacionais nas práticas de negócios das empresas, na organização
dos locais de trabalho ou nas relações externas das empresas. Visam à
melhoria do desempenho da empresa por meio da redução de custos
administrativos ou de transação. Procuram estimular a satisfação no
local de trabalho e consequentemente sua produtividade, ou reduzir
custos dos suprimentos.
Outra categorização é feita no Harvard Business Essentials (HBE 2003) e
divide a inovação em dois tipos – incrementais e radicais.
11
Inovação incremental: entendida como uma melhoria de produto (ou
serviço) ou processo existente e cujo desempenho tenha melhorado de
forma significativa ou a reconfiguração de uma tecnologia já existente
para novos propósitos. É conhecida como inovação nas margens;
Inovação radical: é caracterizada por algo novo para o mundo e uma
ruptura nas tecnologias e métodos atuais. É descrita como uma
inovação com potencial de ―aborrecer‖ a organização ou o atual modelo
de negócio da indústria. Comumente substituem tecnologias já
estabelecidas e causam o declínio de companhias cujos modelos de
negocio permanecem inalterados. São capazes de criar novos
mercados, inicialmente pequenos, mas com potencial de grande e
rápido crescimento.
A inovação radical revoluciona as tecnologias e o mercado, muitas vezes
extinguindo suas antecessoras. É fortemente ligada a pesquisa científica e
tecnológica
realizadas
em
institutos
de
pesquisa
ou
parcerias
com
universidades por exemplo. Normalmente possuem riscos e investimentos
elevados e podem levar anos para maturar, mas, quando aceitos pelo
mercado, possuem margens de lucro muito superiores aos produtos criados a
partir de inovações incrementais. Já as inovações incrementais são mais
baratas, seguras e fáceis de serem desenvolvidas.
Normalmente, essas inovações ocorrem como na Figura 2.1Figura 2.1
abaixo, onde ocorrem diversas inovações incrementais e ocasionalmente
inovações radicais.
12
Figura 2.1 – Curso das inovações incrementais e radicais nas empresas
fonte (HBE, 2003)
A inovação também pode ser caracterizada de outras formas, como por
grau de novidade e difusão. Entretanto, este trabalho está interessado em
tratar sobre métricas nas fases iniciais do processo de inovação em produtos
como bens e serviços, não tendo essas características como tão importantes.
Portanto, a definição do manual de Oslo, caracteriza bem o tipo de inovação.
Além disso, ao longo desta dissertação será utilizada a expressão ―novos
produtos‖ para se referir a produtos (bens) novos ou melhorados.
2.2. PROCESSOS DE DESENVOLVIMENTO DE NOVOS PRODUTOS
O processo de desenvolvimento de novos produtos (PDNP) pode ser
definido como sendo uma sequência de atividades que uma organização
realiza com a finalidade de conceber, desenvolver e comercializar um novo
produto (WILLE et al., 2004). Por ser único e seu desenvolvimento só
acontecer uma única vez, o desenvolvimento de um novo produto pode ser
caracterizado como um projeto de acordo com o PMBOK (2004). Em muitos
13
estudos, o PDNP é um sub-processo do Processo de Inovação, sendo os
novos produtos uma das saídas desse processo (TROTT, 2005).
O desenvolvimento e a introdução de novos produtos envolvem um risco
considerável e consomem recursos e tempo das organizações. Além disso,
este quadro é agravado pelas altas taxas de insucessos no desenvolvimento
de novos produtos, como apontados em trabalhos como (BACON e BUTLER,
1998; COOPER, 1999). Pesquisas também mostraram que possuir um
Processo de Desenvolvimento de Novos Produtos de alta qualidade é um dos
fatores críticos para sucesso na criação de novos produtos (COOPER, 1996;
COOPER, 1979; BRENTANI e RAGOT, 1996; EDGETT, 1996), gerando
inovação e garantindo vantagem competitiva às organizações.
Dada essa importância, ao longo das últimas décadas foram propostos
diversos modelos de PDNP em busca de se obter eficácia e eficiência na
criação e introdução de novos produtos no mercado, ou seja, gerar inovações.
Embora haja certa concordância na maioria das fases básicas de um processo
de desenvolvimento de novos produtos, os modelos ainda divergem no número
de etapas necessárias. Alguns consideram seis, sete, oito, nove, ou até onze
etapas, sendo que alguns modelos agrupam atividades ou, mesmo que as
reconheçam como necessárias, não as consideram como parte do processo,
mantendo-as à parte do mesmo (WILLE, 2004). Alguns exemplos de PDNP
propostos são:
COOPER e KLEINSCHMIDT, 1986; CALANTONE e
BENEDETTO, 1988; ULRICH e EPPINGER, 2000; COOPER, 2001.
O PDNP proposto por COOPER (1990), é amplamente utilizado como
modelo de referência para a instanciação de processos específicos de
desenvolvimento de novos produtos. Dada a sua grande aceitação, ele será
utilizado nesta proposta de dissertação para contextualizar o trabalho e pode
ser visualizado na Figura 2.2 abaixo.
14
Figura 2.2 – Modelo Stage-Gate
Fonte: traduzida e adaptada de Stage-Gate Inc.
Também conhecido como Stage-Gate, é constituído por sub-processos de
desenvolvimento (stages) intercalados por fases de avaliação (gates), pontos
convergentes ou pontos de decisão. Nessas fases são realizadas avaliações
sobre o desenvolvimento do produto, com o objetivo de validar e definir se ele
continuará sendo desenvolvido, se passando para o próximo estágio ou se
precisa ser melhorada ou abandonada (go/kill). Cada estágio serve para coletar
as informações necessárias para mover o projeto para o próximo ponto de
decisão. Estes pontos servem como controle de qualidade, funcionando como
um funil, tendo como objetivo permitir a passagem dos melhores produtos e
barrar os mais fracos ou mal definidos.
Em cada ponto de decisão devem existir artefatos de entrada, critérios de
seleção e geram uma saída. As entradas são os artefatos produzidos no
estágio anterior que serão submetidos à revisão e avaliação. Por sua vez, os
critérios de avaliação utilizados podem ser tanto qualitativos quando
quantitativos, podendo incluir métricas históricas, critérios obrigatórios e
desejáveis. Por fim, são gerados os resultados da avaliação que compreende:
a decisão de aceitar, abandonar ou redefinir o produto; sua prioridade; a
aprovação do plano de ação; e o comprometimento dos recursos necessários.
Apesar do processo ter formato seqüencial, existe flexibilidade em como
ele deve ser executado. Estágios podem ser realizados de forma sobreposta.
Por exemplo, atividades com longa duração podem ser iniciadas mais cedo e
projetos podem passar para o próximo estágio sem que o estágio atual esteja
totalmente finalizado. Além disso, estágios podem ser agrupados e combinados
15
de acordo com a necessidade de cada organização (COOPER e EDGETT,
2006).
No PDNP, os primeiros estágios de geração e avaliação das ideias,
também conhecidos como ―Fuzzy Front End‖ (FFE), são tidos como cruciais no
desenvolvimento de novos produtos segundo vários autores (COOPER, 1998;
DWYER e MELLOR, 1991; MCGUINNESS e CONWAY, 1989; SMITH e
REINERTSEN, 1992). Além disso, quanto mais gerenciado e disciplinado for
este processo, maior é a chance de sucesso (BACON e BUTLER. 1998; KIM,
J. and WILEMON, D., 2002; COOPER, R. G., 1999).
Dada essa importância, a seção 2.3 apresentará o estado da arte do FFE
discutindo os esforços realizados nos últimos anos para melhorar esse estágio
do PDNP.
2.3. FUZZY FRONT END
Segundo KOEN et al. (2002), o processo de inovação pode ser dividido
em três partes, como ilustrado na Figura 2.3Figura 2.3: Fuzzy Front End (FFE),
Desenvolvimento e Comercialização. O FFE corresponde às atividades iniciais
e são frequentemente caóticas, imprevisíveis e não estruturadas. Precedem as
atividades do processo de desenvolvimento que geralmente são previsíveis e
tipicamente estruturadas (KOEN et al., 2002).
Figura 2.3 – Processo de inovação
Tradicional Stage-Gate
Fonte: Adaptada de KOEN et al., 2002 e Howe School of Technology Management
16
O início do FFE ocorre quando uma oportunidade é considerada
potencial, ou seja, que deva ser elaborada, explorada e avaliada, e seu fim
quando
a
ideia
é
julgada
pronta
para
receber
investimentos
de
desenvolvimento e lançamento (KIM e WILEMON, 2002). É durante o FFE que
a organização formula o conceito de produto e determina se deve investir
recursos ou não para desenvolver esta ideia (MOENAERT et al., 1995).
O FFE é tido como a melhor fase para se promover melhorias no
processo de inovação (KOEN et al. 2002). É considerado a parte mais fraca e
problemática do processo de inovação e, ao mesmo tempo, a que apresenta
maior potencial de melhoria. Pois, um maior entendimento das suas atividades
e decisões que compreendem pode levar a criação de vantagem competitiva
REID e de BRENTANI (2004). O FFE possui um alto grau de incerteza, porém
um custo pequeno para adaptações e correções BERTELS (2004), como pode
ser visto no Gráfico 2.1 – Nível de incerteza e custo de adaptações no Fuzzy
Front EndGráfico 2.1 – Nível de incerteza e custo de adaptações no Fuzzy
Front End. À medida que a ideia vai sendo estruturada e avança para as
etapas de desenvolvimento e comercialização, o nível de incerteza diminui e os
custos de mudança aumentam.
17
Gráfico 2.1 – Nível de incerteza e custo de adaptações no Fuzzy Front End
Fonte: Adaptado de Bertels (2004)
O FFE apresenta características bastante distintas da etapa de
desenvolvimento (KOEN et al., 2002) em diversos aspectos:
Natureza do trabalho – Experimental (muitas vezes caótico) X
Disciplinado (orientado por objetivos);
Nível de financiamento – Orçamentado
Previsibilidade da data de comercialização – Imprevisível ou incerto X
Alto grau de certeza;
Expectativas de receita – Freqüentemente incerto X Previsível
Atividades – Indivíduos e equipes realizando pesquisas para minimizar
os
riscos
e
otimizar
o
potencial
X
Equipe
multifuncional
de
desenvolvimento de produto e/ou processo
Medidas de progresso – Conceitos fortalecidos X Marcos alcançados
Devido as diferenças, cada parte do processo de inovação precisa ser
tratada individualmente. O gerenciamento do FFE é, portanto, essencial para o
18
desenvolvimento bem sucedido de novos produtos. Então, dada a importância
do FFE e sabendo das suas dificuldades, deve-se desenvolver atividades
específicas e que estruturem o FFE de forma a minimizar os riscos, assim
como avaliar e medir de forma particular. Além disso, autores sugerem que
quanto mais gerenciado e disciplinado for o processo maior é a chance de
sucesso (BACON e BUTLER, 1998; KIM, J. and WILEMON, D., 2002;
COOPER, R. G., 1999).
Duas propostas de modelos se destacam (KHURANA and ROSENTHAL,
1998; KOEN et al., 2002),
sendo bastante referenciadas na literatura e
sugerem modelos para estruturar o FFE. Ambas são descritas nas seções
seguintes.
Modelo de Khurana e Rosenthal
O modelo de KHURANA e ROSENTHAL (1998) contém as atividades de
formulação e comunicação da estratégia do produto, identificação e avaliação
da oportunidade, geração de ideias, definição do produto, planejamento do
projeto e revisões dos executivos. Pode ser observado em maiores detalhes na
Figura 2.4Figura 2.4. Este modelo adota a visão de que o FFE está completo
quando a organização concorda em financiar e iniciar o desenvolvimento de um
novo produto ou quando decide não abortar o projeto. Essa decisão geralmente
é tomada após avaliar um conjunto de métricas especificas do projeto. Além
disso, sugere que as atividades são interrelacionadas e que deve haver um
balanceamento entre disciplina e criatividade para se ter competência na
execução do FFE.
19
Figura 2.4 – Modelo do Fuzzy Front End segundo Khurana e Rosenthal
Fonte: traduzida de Khurana e Rosenthal (1998)
Na Pré-fase Zero realiza-se as atividades de: geração de ideias, análise
de mercado e avaliação das tecnologias. Também é nesta fase que é realizado
o alinhamento entre a estratégia do negócio e o desenvolvimento dos novos
produtos. Para isso, considera-se o portfólio da organização e a avaliação
objetiva das oportunidades em questão.
As Fases Zero e Um iniciam quando uma nova oportunidade é
considerada merecedora de mais exploração. Neste momento forma-se um
grupo responsável por:
identificar as necessidades dos clientes, os segmentos de mercado e
situações competitivas;
avaliar as capacidades da tecnologia atual e dos requisitos, assim como
o alinhamento entre os negócios existentes e planos tecnológicos;
identificar os requisitos principais do produto;
testar o conceito;
20
especificar os recursos necessários para completar o projeto; e,
identificar os principais riscos e desafios. Para a Fase Um, o produto e o
projeto precisam ser definidos, e os participantes-chave do projeto e as
fontes de apoio funcional necessárias especificados.
Modelo NCD
O New Concept Development (NCD) é um modelo proposto por Koen et
al. (2002) e que consiste de três partes principais como ilustra a Figura 2.5: o
motor – relacionado a liderança, cultura e estratégia de negócio da
organização; as atividades do FFE – que são a identificação de oportunidade1,
análise de oportunidade, geração e enriquecimento de ideias2, seleção de
ideias, e definição de conceitos3; e os fatores de influência – ligados as
capacidades da organização,
influências de clientes e competidores,
influências do mundo externo (canais de distribuição, política governamental e
clima político e econômico), no domínio de tecnologias e no conhecimento
científico envolvido.
Neste modelo, as atividades são chamadas de elementos e não
processos. São executadas de forma flexivel, não possuindo uma estrutura
rígida para gerenciamento. Está dividido em cinco elementos que podem fluir,
circular e iterar entre si. Não existe fluxo definido, pode-se passar pelos
elementos em qualquer ordem ou combinação e utilizá-los diversas vezes
1
Oportunidade: Uma lacuna de negócios ou tecnológica identificada, por uma companhia ou
pessoa, entre uma situação atual e um futuro projetado com o objetivo de obter vantagem
competitiva, minimizar uma ameaça, resolver um problema ou amenizar uma dificuldade
(KOEN et al., 2002).
2
Ideia: A forma mais embrionária de um novo produto. Normalmente consiste de uma visão
geral da solução para um problema identificado pela oportunidade (KOEN et al., 2002).
3
Conceito: Tem uma forma bem definida, com descrições tanto em texto quanto visuais, que
incluem suas características principais e os benefícios para os usuários, combinadas com um
entendimento da tecnologia necessária (KOEN et al., 2002).
21
como pode ser identificado na Figura 2.5 – Modelo NCD para o FFEFigura 2.5
– Modelo NCD para o FFE.
Figura 2.5 – Modelo NCD para o FFE
Fonte: traduzido e adaptado de Koen et al. (2002)
As cinco atividades são:
Identificação de oportunidades - Nesse elemento, a organização
identifica as oportunidades que ela deseja perseguir. Oportunidades
tecnológicas e de negócios são explicitamente consideradas para que
recursos sejam alocados a novas áreas onde existe crescimento de
mercado, efetividade e eficiência de operação. Esse elemento é guiado
pelos objetivos de negócios da organização. Por exemplo, uma
oportunidade pode ser uma forma de simplificar as operações, reduzir
custos, a possibilidade de capturar vantagem competitiva através de
inovação radical, uma nova plataforma de produtos ou um novo
processo de fabricação. Alternativamente, podem existir atividades
informais de identificação de oportunidades, incluindo sessões ad-hoc,
discussões online, insights individuais, dentre outros.
22
Análise de oportunidade - Neste elemento, a oportunidade é avaliada
para confirmar que vale a pena persegui-la. Informações adicionais são
necessárias para transformar a identificação da oportunidade em reais
chances tecnológicas e de negócios. Para isso, prévias avaliaçções de
tecnologia e de mercado são necessárias. É necessário envolver
esforços em estudos de mercado e/ou experimentos científicos.
Entretanto, esses esforços vão depender do valor da informação
associado à redução de incertezas relacionadas à atratividade da
oportunidade, ao tamanho do esforço de desenvolvimento necessário,
dentre outras fontes de incerteza. Ainda assim, incertezas de tecnologia
e de mercado de proporções significantes podem permanecer.
Geração e enriquecimento de ideias - Elemento onde ocorre a
geração, desenvolvimento e maturação de uma ideia concreta. É uma
etapa evolucionária. Nela, as ideias são construídas, destruídas,
combinadas, reformuladas, modificadas e melhoradas. As ideias podem
passar por muitas iterações e mudanças à medida que são examinadas,
estudadas, discutidas e desenvolvidas junto com outros elementos do
NCD. Essa atividade pode ser um processo formal que inclui sessões de
brainstorming e bancos de ideias e pode emergir fora dos limites de
qualquer processo. Uma vez que uma ideia é identificada, diferentes
técnicas de criatividade podem ser aplicadas para melhora-la e expandila.
Seleção de ideias - O objetivo deste elemento é selecionar ideias que
estejam mais alinhadas e possam contribuir com maior valor para o
negócio. Entretanto, nenhum processo irá garantir uma boa seleção. A
maioria dos processos de seleção envolver várias atividades como
identificação de oportunidade, análise de oportunidade, geração e
enriquecimento de ideias, frequentemente com novos insights dos
fatores de influência e novas diretivas do motor do NCD. A seleção,
pode ser tão simples como uma escolha pessoal, ou tão complexa como
um processo de vários estágios. Entretanto, a literatura mostra que
23
decisões baseadas em processos formais se mostram mais eficientes
pois, diminuem o vié, evitando que escolhas se baseiem em
preferências pessoais, gerando feedback claro e objetivo para os
envolvidos com a ideia. Desta forma, evita-se o desinteresse em
submeter novas ideias. Quanto mais construtivos forem os feedbacks,
melhor será seu aproveitamento para melhoria da própria ideia e
geração de novas.
Definição do conceito - Este último elemento do NCD é a única saída
para avançar para o desenvolvimento. Pede que uma proposta
convincente para investimento no negócio ou proposição de tecnologia
seja feita. O documento/proposta consiste de informações qualitativas e
quantitativas que os avaliadores possam utilizar para determinar se o
conceito deve seguir adiante. Muitas organizações especificam guias
que servem para os inovadores e avaliadores basearem suas propostas
e tomarem decisões. As propostas precisam deixar claro: objetivos da
idéia, alinhamento da idéia com a estratégia da organização, tamanho
da oportunidade com relação ao impacto financeiro, benefícios e
necessidades dos clientes ou do mercado, plano de negócios, fatores de
risco técnico e comercial, apelo ambiental, de saúde e segurança, plano
de projeto contendo recursos e tempo. Um típico plano de negócios e/ou
uma proposta formal de projeto são os últimos artefatos antes do
conceito seguir adiante no processo de inovação.
Ambos os modelos ilustram bem as atividades executadas no FFE. O
primeiro - KHURANA e ROSENTHAL
(1998) - foca no entendimento das
atividades contidas nas Fases Zero e Um, considerando que deva existir um
alinhamento constante entre as atividades de geração de ideias, análise de
mercado e avaliação tecnológica e a estratégia do negócio e o portifólio da
organização (Pré-Fase Zero). Já o segundo modelo - KOEN et al. (2002) - não
define um elemento específico para garantir o alinhamento à estratégia do
negócio. A garantia deste alinhamento é uma responsabilidade do motor,
representado pelo apoio da gerência e da alta administração, provendo
24
estímulo aos cinco elementos do modelo. Como observado por MONTEIRO
(2010), ambos os modelos não discutem muito como as atividades devem ser
realizadas, nem propõem guias que facilitem a implementação desses
modelos, tendo um enfoque mais voltado em apresentar quais as atividades
um processo de FFE deve conter.
Apesar destas limitações nos modelos, de maneira geral eles definem as
atividades a serem executadas no FFE e são bastante referenciadas na
literatura, não prejudicando seu uso nesse trabalho. Desta forma, serão
adotados para delimitar para delimitar a avaliação das métricas ligadas ao FFE.
2.4. MÉTRICAS
E O FFE
Atualmente, as métricas de inovação são focadas no que é fácil medir e
não necessáriamente no que importante medir (CEDERGREN et. al. 2010). Por
exemplo, usa-se métricas relativas a performance financeira de um produto
como extremamente relevante na avaliação do processo de inovação. Claro
que o objetivo final de um novo produto é aumentar a rentabilidade. Entretanto,
diversos autores citam que não é uma medida (quando analisada de forma
isolada) tão confiável para avaliar o processo de inovação, pois muitos outros
fatores ou dimensões, que estão além do controle da companhia, determinam a
performance financeira de um novo produto (GRIFFIN e PAGE 1996; ALLIO,
2006; BEVEN et al. 2007; KIM e KIM, 2009;).
A medição é um mecanismo para a criação de uma memória coletiva e
uma ajuda para responder a uma variedade de questões relacionadas a
implantar qualquer processo (BASILI et. al. 1994). Medições ajudam em
diversos aspectos:
No suporte do planejamento de projetos (ex: quanto vai custar o novo
projeto);
Na determinação de forças e fraquezas dos processos utilizados e de
produtos desenvolvidos (ex: qual a frequencia de determinados erros);
Provê uma forma racional de adotar/refinar técnicas (ex: Qual o impacto
da técnica X na produtividade do projeto?);
25
Permite a avaliação da qualidade de determinado processo ou produto
(ex: Qual o percentual de problemas não corrigidos da ferramenta X);
Permite, durante a execução do projeto, avaliar seu progresso, tomar
medidas correctivas com base nessa verificação, e analisar o impacto
dessas ações.
A chave para o sucesso de uma métrica não está apenas em definí-la de
forma correta e robusta, mas em também na coleta efetiva dos dados e na sua
interpretação (GANGULY et al., 2009). Também segundo Basili et al. (1994),
para que a medição seja efetiva, é necessário que ela seja:
1. Focada em objetivos específicos;
2. Aplicada em todo ciclo de vida dos produtos, processos e recursos;
3. Interpretada com base na caracterização e entendimento do contexto
oganizacional, do ambiente e dos objetivos.
No estudo realizado por Cooper e Edget (2002) é revelado que existem
graves deficiências no PDNP, com a qualidade de execução muito ruim em
tarefas chave do processo. Essas fraquezas são apontadas de forma evidente
no fuzzy front end e por isso esta etapa foi tomada como foco do trabalho.
Métricas para a inovação são medidas que ajudam a classificar a
habilidade inovativa da organização e registrar seus sucessos (TURRELL, M.,
2004). São importantes por:
Suporte da gestão – métricas sólidas, que remetem a objetivos táticos e
estratégicos da organização, ajudam a alinhar a inovação com o negócio
e constuir um laço de confiança entre inovadores e executivos;
Alocação de recursos apropriados – métricas estabelecem expectativa
inicial de desempenho e identificar as lacunas de recursos atuais.
Ferramentas podem auxiliar as organizações a distribuir recursos de
forma eficiente e responsável;
Motivar stakeholders – objetivos bem definidos podem ser bastante
motivadores uma vez que as pessoas são encorajadas a perseguir
metas e alteram seu comportamento para tal;
26
Checar os benefícios - As melhores organizações definem metas e, em
seguida, testam os resultados ao longo do tempo. Isso permite que os
inovadores demonstrem os benefícios e ganhem apoio;
Diagnosticar os problemas e identificar soluções - métricas podem ser
usadas para identificar padrões de comportamento, como a pouca
utilização de um sistema de gestão de ideias. Um conjunto bastante
detalhada de métricas também podem ajudar a identificar possíveis
soluções para o problema.
Em pesquisa realizada pelo BCG (2009), três questões mostram a
importância das métricas para as organizações. Quando questionados ―se as
iniciativas de inovação da empresa deveriam ser realizadas com o mesmo nível
de rigor de medição que o negócio principal‖, 73% responderam que sim e 19%
que não. Destes,
quando questionados ―se a inovação deveria ser
rigorosamente medida, por que a empresa não o fazia‖, 32% afirmam não
saber que métricas usar, 31% dizem que não tem prioridade alta, 12% não tem
apoio da alta gestão, 8% devido aos custos, 17% mencionaram outras razões.
Por fim, quando questionados ―se estão satisfeitos com as práticas de medição
atuais‖, 53% afirmam que não e apenas 32% que sim. Ou seja, grandes falhas
ainda ocorrem na definição e na prioridade dada ao processo de inovação e
não se está satisfeito com o processo atual.
Não foram encontrados trabalhos que foquem especificamente o uso de
métricas no fuzzy front end. Muitos nem chegavam a separar esta etapa ou
possuiam
métricas
especificas
para
suas
atividades
(ALLIO,
2006;
KUCZMARSKI e SHAPIRO, 2000;). Entretanto, existem pesquisas e estudos
realizados por empresas de consultoria e outras autoridades que apresentam
resultados significativos sobre métricas utilizadas nas etapas do FFE (WOOD,
2005, MULLER et al., 2005; MORRIS, 2008; ANDREW et al., 2009).
Destes trabalhos, podemos detacar as seguintes métricas:
Tabela 2.1 – Referências de métricas do FFE
Fonte
Wood
Métrica
Área
# de ideias submetidas por funcionários Qualidade do processo
27
% de ideias avaliadas positivamente
pelo time
% das ideias aprovadas que receberam
recursos
disponibilidade de recursos para inovar
continuamente
# de protótipos e testes de produto que
passaram para produção
% do capital investido em atividades de
inovação como submissão e revisão de
ideias para novos produtos e serviços e
desenvolvimento através de um pipeline
de inovação
# de empreendedores na companhia
% força de trabalho dedicada a projetos
de inovação
% dos empregados cujo objetivo
principal é inovação
% dos empregados que receberam
treinamento em inovação
# de ferramentas e metodologias
disponíveis
Muller et al.
% do tempo gasto da alta gerência com
estratégia para inovação
% da gerencia com treinamento em
conceitos e ferramentas de inovação
# de vezes nos últimos anos em que a
gerencia sênior redefiniu o core
business da organização
# de ideias submetidas por funcionários
% de ideias submetidas e aprovadas
# de experimentos e empreendimentos
em curso
Tempo gasto desde a submissão da
ideia até o lançamento comercial
Tempo usado pela gerencia em
inovação
Tempo usado desde o conceito até a
implementação
Recursos utilizados em cada tipo de
Morris
inovação
amplitude da participação de toda a
organização no processo de pesquisa
(geralmente é maior melhor)
# de ideias introduzidas
Qualidade do processo
Qualidade do processo
Liderança estratégica
Qualidade do processo
Recursos
Liderança estratégica
Recursos
Recursos
Recursos
Sistemas e
ferramentas
Liderança estratégica
Qualidade do processo
Liderança estratégica
Qualidade do processo
Qualidade do processo
Qualidade do processo
Qualidade do processo
Liderança estratégica
Liderança estratégica
Liderança estratégica
Liderança estratégica
Qualidade do processo
28
# de ideias submetidas por funcionários
% de ideias vindas de fora
Numero de pessoas dentro da
organização que participam do processo
de ideação
Numero de pessoas fora da organização
que participam do processo de ideação
# de ideas vindas do sistema de gestão
# de ideias que foram desenvolvidas
# de pessoas que receberam
treinamento
Andrew et
al.
Qualidade do processo
Qualidade do processo
Qualidade do processo
Qualidade do processo
Qualidade do processo
Qualidade do processo
Recursos
Sistemas e
ferramentas
uso de ferramentas de inovação online
ligação entre métricas e sistemas de
recompensa
Liderança estratégica
# de novas ideias
Qualidade do processo
investimentos por tipo de inovação
Recursos
tempo usado para inovação
Recursos
tempo entre conceito e decisão de
desenvolvimento
Qualidade do processo
A Tabela 2.1Tabela 2.1 mostra diversos exemplos do que pode ser
medido no FFE do processo de inovação. Existe uma quantidade muito grande
de possibilidades, dependendo dos objetivos da avaliação.
Desta forma,
decidir quais métricas aplicar para se conseguir avaliar constantemente o
processo, se torna uma tarefa bastante complexa.
2.5. PARADIGMA GOAL/QUESTION/METRIC
Segundo Solingen e Berghout (1999), o paradigma Goal Question Metric
surgiu quando se tentou resolver uma questão: Como decidir o que precisa ser
medido para atingir determinados objetivos? Escrever objetivos ajudava a focar
nos pontos mais importantes. Definir questões ajudava a tornar os objetivos
mais específicos e sugeriam métricas relevantes para esses objetivos.
Sendo assim, a abordagem Goal Question Metric é baseada na suposição
de que, para uma organização medir com algum propósito ela precisa: (1)
Definir objetivos para si e para seus projetos. (2) Ligar esses objetivos a dados
que definam esses objetivos operacionalmente e financeiramente. (3) Prover
um framework para interpretar os dados. Assim, a organização pode avaliar se
29
está atingindo determinados objetivos BASILI et al. (1994).
Desta forma,
possui uma estrutura hierárquica como apresentada na Figura 2.6 a seguir:
Figura 2.6 – Estrutura hierárquica do QGM
Objetivo 1
Questão
Métrica
Objetivo 2
Questão
Métrica
Questão
Métrica
Questão
Métrica
Questão
Métrica
Métrica
Fonte: traduzido e adaptado de BASILI et. al. (1994)
O paradigma GQM representa uma forma prática de delimitar os
problemas das métricas. Ele fornece às organizações grande flexibilidade,
permitindo que o foco do programa de métricas obedeça suas próprias
necessidades e cultura SOLINGEN e BERGHOUT (1999). Os mesmos autores
afirmam ainda que o GQM é baseado em dois pressupostos básicos (1) que
um programa de medição não deve ser "baseado em métricas", mas "baseado
em objetivos‖ e (2) que a definição de objetivos e métricas precisam ser
adaptados para a organização, de forma individual. No entanto, esses
pressupostos tornam o processo mais difícil do que apenas oferecer uma
"coleção de métricas" ou um conjunto predefinido de metas e métricas, pois
eles exigem que a organização explicite suas próprias metas e processos.
Na literatura sobre comportamento organizacional, EDEN (1988),
LATHAN e LOCKE (1979) NAYLOR e ILGEN (1984) explicam e confirmam os
efeitos positivos em definir objetivos (visão do time) na performance.
ROSENTHAL e MARCH (1988) entafizam a importância de definir os objetivos
refletindo as prioridades e os conflitos com antecedência. Esses objetivos
podem ser usados para guiar decisões posteriores, monitorar e medir o
sucesso do DNP.
30
Além disso, para melhorar um processo de desenvolvimento, as
organizações precisam de uma definição clara de metas de melhoria, caso
contrário a atividades de melhoria passa a ser tão caótico quanto o próprio
processo de desenvolvimento que se quer aprimorar. Estas metas de melhoria
devem apoiar os objectivos de negócio da melhor maneira possível
(SOLINGEN e BERGHOUT, 1999).
Medições também provêm meios para melhoria dos objetivos. Quando se
aplicam métricas a determinada parte do processo, problemas podem ser
identificados e objetivos de melhoria podem ser definidos. Além disso, objetivos
de melhoria podem ser definidos com relação a necessidades específicas de
determinado projeto. Ou seja, podem ser aplicadas com o objetivo de entender
determinada necessidade/problema, controlar/acompanhar sua evolução e
propor mudanças.
O paradigma GQM possui quatro fases, que podem ser vistas na Figura
2.7 a seguir:
1. Planejamento – coletar todas as informações necessárias para o
início do projeto. Preparar e motivar os membros da organização
para o programa de métricas.
2. Definição – O programa de medição é definido (objetivo, questões,
métricas e hipóteses são definidos) e documentado.
3. Coleta de dados – quando ocorre a real coleta de dados.
4. Interpretação – Os dados coletados são processados com relação
às métricas definidas, dando respostas às questões e condições
para avaliar se os objetivos foram atingidos.
31
Plano de projeto
Figura 2.7 – As quatro fases do GQM
Objetivo
Objetivo atingido
Questão
Resposta
Métrica
Medida
Definição
Interpretação
Dados coletados
Planejamento
Coleta de dados
Fonte: traduzido e adaptado de Solingen e Berghout (1999).
Também segundo Solingen e Berghout (1999), programas de métricas
trazem diversos tipos de benefícios. Os mais desejados são relacionados ao
cumprimento das metas de melhoria explicitamente. Essas metas de melhoria
podem ser produtos ou processos relacionados (por exemplo, a confiabilidade
do produto ou do processo de eficácia). Além disso, a medida pode ter vários
outros efeitos, como melhorar a comunicação dentro de uma equipe de projeto,
a atitude do pessoal, definição de processos e execução do processo. O
processo de inovação não é diferente e geralmente foca em ganhos de custo,
redução de tempo, diminuição dos riscos e aumento da qualidade, vistas na
Figura 2.8 abaixo:
32
Figura 2.8 – Objetivos de melhoria de processo
Risco
Qualidade
Custo
Tempo
Fonte: traduzido e adaptado de SOLINGEN e BERGHOUT (1999)
33
3 METODOLOGIA
Neste capitulo é apresentado o quadro metodológico do estudo, suas
etapas e as razões, riscos e limitações envolvidas na escolha de cada método
ou técnica. Com isso, espera-se atingir o rigor necessário para obter validade
científica, fundamental para que se tenha confiabilidade nos resultados dessa
pesquisa.
O capítulo é dividido em quatro seções: Seção 3.1 – apresentação da
classificação da pesquisa, detalhando do quadro metodológico e as escolhas
quanto ao método de abordagem e a natureza dos dados; Seção 3.2 –
apresentação do método de procedimento de revisão sistemática da literatura;
Seção 3.3 – apresentação do procedimento utilizado para a análise dos
resultados da revisão sistemática; Seção 3.4 – detalhamento das etapas da
pesquisa; Seção 3.5 – resumo do protocolo da revisão sistemática;
3.1. CLASSIFICAÇÃO DA PESQUISA
Esta pesquisa utiliza o método de abordagem indutivo (MARCONI e
LAKATOS, 2004) baseado em dados de natureza qualitativa. Como métodos
de procedimento para as etapas mais concretas da investigação foram
utilizados os métodos de revisão sistemática (KITCHENHAM, 2007) e o método
de comparações constantes (SEAMAN, 1999). Resumidos no quadro
metodológico abaixo.
Quadro 3.1 – Quadro Metodológico
Quadro Metodológico
Método de Abordagem
Indutivo
Natureza dos Dados
Qualitativo
Métodos de Procedimento
Revisão Sistemática da
Comparações Constantes
Literatura,
34
Segundo Marconi e Lakatos (2004:p53):
“Indução é um processo mental por intermédio do qual,
partindo de dados particulares, suficientemente constatados, inferese uma verdade geral ou universal, não contida nas partes
examinadas. Portanto, o objetivo dos argumentos é levar a
conclusões cujo conteúdo é muito mais amplo do que o das
premissas nas quais se basearam.”
O
método
indutivo
fundamenta-se
em
premissas.
Entretanto,
diferentemente do método dedutivo, no qual as premissas verdadeiras levam
inevitavelmente à conclusão verdadeira, no método indutivo, premissas
verdadeiras levam apenas a conclusões prováveis. Toda indução segue três
etapas (MARCONI e LAKATOS, 2004):
Observação dos fenômenos – observação e análise dos fatos ou
fenômenos com a finalidade de descobrir as causas de sua
manifestação;
Descoberta da relação entre eles – através de comparações, procura-se
aproximar os fatos ou fenômenos para descobrir a relação constante
existente entre eles;
Generalização das conclusões – propõe-se a generalização encontrada
na etapa precedente, ou seja, entre os fenômenos e fatos semelhantes
(muitas das quais não foram nem poderão ser observadas).
Quanto à natureza qualitativa dos dados, sua principal vantagem é forçar
o pesquisador a aprofundar a complexidade do problema ao invés de abstraílo. Desta forma, obtêm-se resultados mais ricos e informativos. Adicionalmente,
o objetivo das pesquisas qualitativas é construir evidências para dar suporte a
uma determinada proposição (hipótese), e não testá-la. Apesar de testes
quantitativos de hipóteses parecerem ser mais conclusivos que os métodos
qualitativos, eles também não provêm nenhuma evidência mais forte de
verdade para uma hipótese. Pois hipóteses não podem ser provadas, podem
apenas ser suportadas ou refutadas, tanto para evidências quantitativas quanto
qualitativas, ou ambas (SEAMAN, 1999).
35
Entretanto, este método apresenta algumas desvantagens. Dentre elas, o
fato de que a análise na pesquisa qualitativa geralmente requer um maior
esforço. Além disso, seus resultados são considerados mais simples e
nebulosos em comparação com a pesquisa quantitativa, o que torna mais difícil
seu resumo ou simplificação (SEAMAN, 1999).
Além disso, a revisão ad hoc inicial da literatura revelou que a maioria dos
estudos primários não apresentava dados quantitativos, motivo que também
inviabiliza o uso deste enfoque.
Por serem etapas críticas, os métodos de procedimento (Revisão
Sistemática da Literatura e Comparações Constantes) estão sendo tratados
nas seções 3.2 e 3.3 seguintes.
3.2. REVISÃO SISTEMÁTICA DA LITERATURA
Revisão Sistemática da Literatura é um dos métodos utilizados na
engenharia de software baseada em evidências (DYBÅ et al., 2005;
KITCHENHAM et al., 2004) para realizar revisões abrangentes de maneira não
tendenciosa e repetível (KITCHENHAM, 2007). Tem como objetivo apresentar
uma avaliação imparcial de um tópico de pesquisa, utilizando para isso uma
metodologia rigorosa, confiável e auditável (TRAVASSOS e BIOLCHINI, 2007).
É utilizada como meio para identificar, avaliar e interpretar toda pesquisa
disponível e relevante sobre determinada questão de pesquisa, tópico de
pesquisa, ou fenômeno de interesse.
Esse tipo de revisão possui vantagens com relação aos métodos
tradicionais já que possui uma metodologia bem definida, produz estudos
menos tendenciosos, mais abrangentes, de maior qualidade e com maior rigor
científico. Por outro lado, exigem um esforço consideravelmente maior do que
revisões tradicionais (KITCHENHAM, 2007).
Dentre as razões de se realizar revisões sistemáticas, TRAVASSOS e
BIOLCHINI (2007) apontam:
Identificar lacunas na pesquisa atual;
36
Sumarizar evidências existentes para um determinado fenômeno;
Apoiar a geração de novas hipóteses;
Fornecer um arcabouço para posicionar novas pesquisas.
Uma revisão sistemática envolve várias atividades discretas. Apesar de
existir pequenas diferenças sobre o número e ordem de atividades sugeridas,
os guias concordam com as principais etapas do processo (Kitchenham, 2007):
Planejamento da revisão – Identificação da necessidade da revisão
sistemática, reunião do grupo de revisão, especificação das questões de
pesquisa, desenvolvimento do protocolo de pesquisa e avaliação do
protocolo;
Condução da revisão – Identificação/definição da estratégia de busca,
triagem/seleção dos estudos primários, avaliação da qualidade dos
estudos, extração e monitoramento dos dados e análise e consolidação
das informações;
Reportar os resultados da revisão – especificação dos mecanismos de
disseminação dos resultados, formatação do relatório principal e
avaliação do relatório.
O protocolo é um artefato chave da pesquisa, pois define todo o processo
de revisão a ser realizado e torna-o passível de ser repetido. Precisa ser prédefinido para reduzir o viés de se realizar um estudo tendencioso, que poderia
ter sido realizado de forma a atender as expectativas dos pesquisadores. O
protocolo deve incluir todos os elementos da revisão além de algumas
informações de planejamento. Os elementos do protocolo são:
Background da pesquisa, ou a razão da necessidade da pesquisa;
As questões de pesquisa que deverão ser respondidas;
37
A estratégia de busca dos estudos incluindo as palavras-chaves de
busca e as fontes a serem utilizadas. As fontes podem ser engenhos de
busca, bibliotecas digitais, revistas e conferências específicas, etc;
Os critérios e procedimentos de seleção de estudos, que determinam
quais estudos serão incluídos na revisão sistemática e como os critérios
serão aplicados pelos avaliadores;
A justificativa para o uso de uma revisão sistemática é que esse tipo de
revisão provê evidências sobre os efeitos de um determinado fenômeno a partir
de uma série de contextos e métodos empíricos utilizados (KITCHENHAM,
2007). Assim, se os estudos dão resultados consistentes e não contraditórios, a
revisão sistemática provê evidências de que o fenômeno estudado e os
resultados encontrados são robustos e podem ser transferidos para outros
contextos ou até mesmo, generalizados. Além disso, caso os resultados dos
estudos sejam inconsistentes entre si, as fontes de variação podem ser
estudadas para uma melhor compreensão do fenômeno (KITCHENHAM,
2007).
O protocolo de revisão sistemática desta pesquisa é apresentado
resumidamente na seção 03.5 e de maneira completa no apêndice A deste
trabalho.
3.3. COMPARAÇÕES CONSTANTES
O método de comparações constantes é parte de um grupo de métodos
com foco na geração de teorias, geralmente chamados de métodos de teoria
fundamentada em dados (Grounded Theory), pois as teorias, declarações ou
proposições são baseadas nos dados. são propostas com fundamentação nos
dados analisados. Particularmente, o método utilizado neste estudo para
construir teoria fundamentada em dados foi o Método de Comparação
Constantes, do inglês Constant Comparison Method. Ele foi proposto por
GLASER e STRAUSS (1967) e na literatura qualitativa é apontado como o
método mais clássico (SEAMAN, 1999).
38
São geralmente utilizados para extrair de um conjunto de notas de campo
uma declaração ou proposição que é suportada de várias maneiras pelos
dados (SEAMAN, 1999). Nele, uma proposição é construída a partir de
observações iniciais realizadas nos dados e, à medida que mais observações
são feitas, a proposição é refinada e modificada para incorporar os achados
mais recentes. Ao final, o resultado obitido é uma declaração ou proposição
que descreve de maneira clara e rica o fenômeno estudado.
O método de Comparações Constantes é formado pelos seguintes
passos: codificação, agrupamento, escrita de memorandos e geração de
hipóteses.
O processo de utilização do método se inicia com a marcação de trechos
dos textos dos trabalhos (ou dados qualitativos) que fornecem informação
relevante para a pesquisa e que permitissem a avaliação da qualidade do
trabalho. A cada um desses trechos são associados códigos que indicam que
tipo, ou categoria, de informação o trecho está provendo. Esses códigos devem
seguir um padrão definido que identifiquem o tipo de informação contida no
trecho. Por exemplo, neste estudo foram extraídos trechos dos artigos que
indicavam os impactos obtidos pelo uso de ferramentas de software. A esses
trechos foram atribuídos códigos que identificavam sua localização no artigo e
o tipo de benefício proporcionado pela ferramenta. Os códigos possuem a
seguinte formatação:
<Id >_<página >_<item >_<parágrafo >_<área>_<objetivo>
Onde:
Id – número identificador único do artigo na revisão sistemática
Página – Página onde o trecho se inicia
Item – Dependendo do artigo, pode ser a seção onde o trecho está
escrito, assim como a subseção (se existir), a tabela, anexo ou outro
ítem que facilite a identificação.
39
Parágrafo – Parágrafo dentro da seção onde o trecho está escrito (se
existir). Se existir subseção, deve-se colocar o número do parágrafo
relativo à subseção.
Ferramenta – área na qual a métrica se refere;
Objetivo – objetivo do qual a métrica se refere;
Com o uso desses códigos, é possível condensar as passagens dos
textos analisados em grupos de acordo com os identificadores utilizados para a
área da métrica ou seu objetivo. Em muitos casos as informações não são
apresentadas da mesma forma, sendo escritos de formas diferentes. Assim,
continuamente verificava-se a necessidade de realização de algum refinamento
dos achados.
Então, seguindo essas atividades e fazendo uso de planilhas eletrônicas,
foram mapeadas as evidências (métricas) dos trabalhos incluídos na revisão
sistemática e seus resultados foram condensados. Todo o processo foi
realizado de forma a permitir rastreabilidade das informações, sendo possível
identificar quais trabalhos forneceram determinados dados. Dessa forma,
chegou-se as métricas apresentadas no capítulo 4, suas áreas e objetivos
dentro do ffe do processo de inovação.
3.4. ETAPAS DA PESQUISA
A metodologia de pesquisa utilizada neste trabalho está dividida em cinco
fases: definição da pesquisa; referencial teórico inicial; revisão sistemática da
literatura; síntese e análise dos dados da Revisão Sistemática da Literatura
(RSL); e consolidação dos resultados. Sendo descritas nas subseções
seguintes.
ETAPA 1 - DEFINIÇÃO DA PESQUISA
Para a definição da pesquisa foram determinados inicialmente:
O problema geral a ser discutido na pesquisa;
40
A questão específica de pesquisa a ser respondida;
Os objetivos do trabalho;
A abordagem metodológica que seria adotada;
O problema, a questão de pesquisa e seus objetivos já foram
apresentados no Capítulo 1. A abordagem metodológica por sua vez é
apresentada em maiores detalhes nas seções seguintes deste capítulo.
ETAPA 2 - REVISÃO BIBLIOGRÁFICA INICIAL
Após a definição da pesquisa e dos seus objetivos e antes de se começar
a RSL, foi feito uma revisão bibliográfica tradicional, de caráter exploratório,
com o intuito de conhecer o estado da arte do tema relacionado ao estudo,
suas teorias e trabalhos relevantes. Este estudo inicial buscou verificar a
relevância da pesquisa para a academia, auxiliar na definição das questões de
pesquisa, fazer o levantamento do referencial teórico e identificar possíveis
problemas. Esta revisão foi realizada de maneira ad hoc.
ETAPA 3 - REVISÃO SISTEMÁTICA DA LITERATURA
Nesta terceira etapa foi feito o planejamento através da definição do
protocolo e a condução da revisão sistemática da literatura. Seu objetivo
principal é de coletar evidências relacionadas às métricas utilizadas no FFE e
como contribuem para o processo de inovação. Os detalhes sobre o
planejamento e condução da revisão sistemática foram descritos no protocolo
da revisão resumidamente apresentado neste capítulo na Seção 3.2 e de
maneira completa no Apêndice A.
ETAPA 4 – ANÁLISE E SÍNTESE DOS RESULTADOS DA RSL
Após a RSL, foi feita a análise e consolidação dos dados através do
método de comparações constantes (SEAMAN, 1999). Esse método possui os
seguintes passos: codificação – identificação e rotulação dos conceitos chaves
em passagens de interesse do estudo; agrupamento – passagens de textos
são agrupadas em padrões de acordo com os códigos identificados; escrita de
41
memorandos – proposições (uma hipótese preliminar a ser considerada) ou
observações são sintetizadas a partir dos dados codificados e; geração de
hipóteses – proposições mais consistentes dão lugar a hipóteses baseadas nos
dados.
ETAPA 5 - CONSOLIDAÇÃO DOS RESULTADOS
Nesta última etapa, relatam-se as principais contribuições da pesquisa,
suas limitações e ameaças a sua validade. São discutidas possíveis propostas
de trabalhos futuros e são dadas as conclusões finais sobre o estudo a partir
dos resultados obtidos. O relatório final foi elaborado, na forma desta
dissertação de mestrado.
3.5. PROTOCOLO DA REVISÃO SISTEMÁTICA
Esta seção apresenta de forma resumida o protocolo da revisão
sistemática. A versão completa do protocolo pode ser encontrada no Apêndice
A.
Questão de Pesquisa
A questão de pesquisa que serve de guia para a revisão sistemática é
formulada da seguinte maneira:
Q. Quais métricas são utilizadas para dar suporte ao FFE na
criação de produtos inovadores?
Foco da questão de pesquisa: Identificar e sumarizar as principais
métricas utilizadas - na indústria e/ou academia - durante as atividades do FFE
na criação de produtos inovadores.
Processo de Busca
A estratégia usada para construir os termos de busca é apresentada a
seguir:
a) Derivar os principais termos a partir das questões de pesquisa
construindo o conjunto de palavras-chave;
42
b) Identificar uma lista de sinônimos, abreviações e grafias alternativas
para cada um dos principais termos. Para auxiliar na identificação de
outros termos faremos uso de palavras encontradas em artigos, livros
e internet que são sinônimos ou grafias alternativas dos termos
principais;
c) Construir strings de busca utilizando conectores OR para incorporar os
sinônimos e abreviações e AND para unir os principais termos e seus
sinônimos derivados das questões de pesquisa;
d) Verificar as strings de busca construídas realizando buscas piloto e
comparando os resultados obtidos com uma lista de estudos primários
já conhecidos;
e) Realizar mudanças, se necessário.
A String de busca encontrada inicialmente para a questão de pesquisa foi:
(metric* OR measure OR measurement
OR KPI OR "key
performance indicator") AND ("fuzzy front end" OR "fuzzy front-end" OR
"innovation front end" OR "innovation front-end" OR "front end *
innovation" OR "front-end * innovation" OR "pre-development" OR
predevelopment OR "pre-phase 0" OR "pre phase 0" OR "prephase 0" OR
"stage 0" OR "pre-project" OR "pre project" OR preproject OR "concept
generation") AND ("innovative product*" OR "major product*" OR "new
product*" OR "radical product*" OR "breakthrough product*" OR
"incremental product*" OR "sustaining product*" OR "evolutionary
product*" OR "product innovation")
Fontes de Busca
Os seguintes engenhos de busca serão utilizados como fonte de
pesquisa:
IEEE Explore (httt://ieeexplore.ieee.org/)
ACM Digital Library (http://portal.acm.org)
43
Wiley InterScience (http://www3.interscience.wiley.com/)
ScienceDirect – Elsevier (http://www.sciencedirect.com)
Scirus (http://www.scirus.com/)
EI Compendex (http://www.engineeringvillage2.org)
Scopus (http://www.scopus.com)
Emerald (http://www.emeraldinsight.com)
Seleção de Estudos
Para este trabalho resolvemos considerar muitos tipos de estudos
relacionados ao tópico de pesquisa, incluindo:
artigos em jornais (journals) e revistas e em anais de conferências e
congressos;
relatórios técnicos (technical reports), preprints e white papers;
dissertações de mestrado e teses de doutorado;
Uma vez que estudos primários potencialmente relevantes tenham sido
obtidos, eles precisam ser analisados para que a sua relevância seja
confirmada e trabalhos com pouca relevância sejam descartados. Isso será
alcançado através do uso de critérios de inclusão, hierarquia de evidência e
avaliação da qualidade do estudo. As três medidas serão explicadas.
Critérios de Inclusão dos Estudos Primários
Os estudos incluídos na revisão sistemática deverão obedecer todos os
critérios listados abaixo:
a) Trabalhos que estejam disponíveis livremente para consulta na web ou
através de licenças de permissão obtidas pela Universidade Federal
de Pernambuco – UFPE (Portal CAPES);
44
b) Trabalhos que sejam classificados em algum dos tipos de trabalhos
citados anteriormente nesta seção;
c) Trabalhos que citem métricas utilizadas nas etapas do FFE do
processo de desenvolvimento de novos produtos. Etapas descritas
nos modelos de FFE propostos por Khurana e Rosenthal (1998) e
Koen et al. (2002);
d) Trabalhos que apresentem texto, conteúdo e resultados completos e
concluídos;
e) Trabalhos que sejam escritos em inglês;
f) Estudo não duplicado. Se algum trabalho tiver sido apresentado em
diferentes publicações, apenas o mais recente e/ou o mais completo
será incluído, a menos que tenham informação complementar;
Quando houver dúvida em relação à inclusão ou exclusão de um trabalho,
este deverá ser incluído.
Processo de Seleção dos Estudos Primários
O processo de seleção dos estudos primários consistirá de uma busca
primária e secundária que serão apresentadas nos seguintes passos:
a) Dois ou mais pesquisadores executam o processo de busca em cada
uma das fontes selecionadas. Essa busca é a chamada busca
primária.
b) Os estudos encontrados pelo processo de busca são avaliados
mediante a leitura do título do artigo e, se necessário o resumo
(abstract), para verificar estudos que são claramente irrelevantes para
as questões de pesquisa. Segundo Kitchenham (2007), as buscas
iniciais retornam uma grande quantidade de estudos que não são
relevantes, não respondendo às questões ou mesmo não tendo
relação com o tópico em questão. Portanto, estudos que claramente
não tenham relação com o tópico em questão serão descartados logo
45
de início e não serão mantidos em nenhuma lista de estudos
excluídos. Os demais artigos serão documentados numa lista de
artigos potencialmente relevantes encontrados. Se houver dúvidas
quanto ao artigo, o mesmo deve ser avaliado no próximo passo.
c) Os estudos listados como artigos potencialmente relevantes são
avaliados por dois pesquisadores através da verificação dos critérios
de inclusão estabelecidos. A verificação é executada mediante a
leitura do resumo (abstract), introdução e, se necessário, da conclusão
do artigo. Além disso, é permitido que buscas sejam feitas nos artigos
por palavras-chave para verificar sua adequação. Nesse ponto, cada
um dos artigos incluídos ou excluídos será documentado de acordo
com o Formulário de Coleta de dados (Formulários A e B)
apresentados no final desta seção.
d) Posteriormente, todos os artigos incluídos serão lidos por inteiro para
a extração de dados e avaliação da qualidade. Para cada trabalho
incluído, seus dados serão extraídos e colocados no formulário C,
apresentado na seção de extração de dados desse protocolo, assim
como sua avaliação de acordo com os critérios de qualidade;
e) Para cada referência presente nos trabalhos incluídos na busca
primária, deverão ser executados os passos ―c‖ e ―d‖. Ou seja, será
verificado se as referências dos trabalhos também devem ser incluídas
no estudo de acordo com os critérios e inclusão. Em caso positivo,
esses trabalhos terão seus dados extraídos. Essa busca nas
referências dos trabalhos é chamada de busca secundária.
f) Caso um artigo lido por completo não passe nos critérios de inclusão,
poderá
ser
removido
e
essa
exclusão
também
deverá
ser
documentada.
Avaliação da Qualidade dos Estudos
Em adição aos critérios gerais de inclusão e exclusão, é considerado
importante avaliar a qualidade dos estudos primários (KITCHENHAM, 2004).
46
Uma avaliação da qualidade desses estudos serve para determinar a força das
inferências e para atribuir notas a recomendações geradas (KHAN et al., 2001).
Apesar de não existir uma definição universal do que seja qualidade de estudo,
a maioria dos checklists inclui questões que objetivam avaliar a extensão em
que o viés é minimizado e a validação interna e externa são maximizadas
(KHAN et al., 2001; KITCHENHAM, 2007).
Com o propósito de ajudar na determinação de qualidade para os estudos
primários, algumas questões foram definidas para endereçar cada um dos
construtos relacionados à qualidade: viés, validade interna e externa. Os
critérios de qualidade considerados estão disponíveis no formulário C do
Apêndice A da seção de extração dos dados.
Ele contém critérios gerais, que deverão ser aplicadas a qualquer tipo de
estudo, e alguns específicos para cada tipo. Além disso, também serão
utilizados critérios relacionados à questão de pesquisa dessa revisão. Cada
critério do formulário de avaliação de qualidade deverá ser respondido segundo
a escala Likert cinco, apresentada abaixo:
Discordo completamente (0)
Discordo parcialmente (1)
Nem concordo nem discordo (2)
Concordo parcialmente (3)
Concordo completamente (4)
A cada item da escala Likert será atribuído um valor escalar, indicado
entre parênteses, que será considerado o valor pontuado na questão. A
pontuação final do trabalho será obtida pela soma algébrica dos valores
individuais de cada questão.
Extração de dados
47
Foi criado um formulário (formulário C – Apêndice A) de extração com o
objetivo de coletar toda informação necessária para endereçar as questões de
revisão e os critérios de qualidade do estudo.
Para apoiar esse processo, a caracterização dos trabalhos e facilitar a
exportação dos dados em diversos formatos, foi utilizada a ferramenta
Mendeley
(http://www.mendeley.com/),
um
gerenciador
de
referências
acadêmicas que permite revisar dados e adicionar notas informativas por todo
o trabalho. Com isso, podia-se localizar e comentar trechos rapidamente.
Síntese de Dados
A síntese dos dados coletados nessa revisão sistemática foi realizada de
acordo o método de procedimento de comparação de constantes, definido na
seção 3.3 da metodologia da dissertação de mestrado.
48
4
RESULTADOS
Este capítulo apresenta os resultados obtidos na pesquisa e é separado
em duas partes que constituem as principais contribuições do estudo:
Resultados da Seleção e Extração de Dados – apresenta dados gerais
da revisão, como: quantidade de trabalhos retornados nas buscas,
principais fontes de trabalhos, trabalhos incluídos no estudo, a
distribuição temporal, etc.;
Análise e Síntese das Evidências – sintetiza os resultados obtidos
através da análise de dados dos estudos por meio do método de
comparações constantes (Etapa 4 da pesquisa) e apresenta uma
discussão sobre as evidências identificadas pela revisão sistemática.
A Seção 4.1 apresenta a Análise da Revisão Sistemática. A Seção 4.2
apresenta a Síntese e Análise das Evidências.
4.1. RESULTADOS DA SELEÇÃO E EXTRAÇÃO DE DADOS
A revisão sistemática foi executada como detalhado no protocolo – Apêndice A.
Utilizando as fontes definidas, a busca primária retornou um total de 1.502
artigos distribuídos como mostra a Tabela 4.1 abaixo:
49
Tabela 4.1 – Número de artigos retornados por base de dados
Engenho de Busca
Número de estudos
Scopus
233
Science Direct
480
IEEE
478
ACM
76
Wiley
3
Scirus
174
El Copendex
9
Emerald
49
TOTAL
1502
Em número de artigos retornados, destacaram-se as bases: Scopus;
Science Direct; IEEE e Scirus; correspondendo a mais de 90% dos artigos.
Dentre estes, o Scopus e o Science Direct continham a maior parte dos
estudos potencialmente relevantes encontrados nas demais bases. Além disso,
foram os engenhos de busca que forneceram mais trabalhos realmente
relevantes, como pode ser observado na Tabela 4.2Tabela 4.2 a seguir. Juntos
eles forneceram quatorze dos dezesseis trabalhos incluídos no estudo pela
busca primária.
50
EP_7
EP_20
EP_27
EP_42
EP_46
EP_51
EP_60
EP_69
EP_93
EP_116
EP_135
EP_141
EP_144
EP_183
EP_199
EP_205
TOTAL
ACM
Emerald
EICopendex
Scirus
Wiley
IEEE
SDirect
Scopus
Tabela 4.2 –Relacionamento entre trabalhos incluídos e engenhos de busca
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
8
X
X
X
X
X
X
X
X
10
X
1
1
0
1
3
0
No Apêndice D podem ser encontrados mais detalhes sobre as buscas
realizadas em cada engenho contendo informações como: a data de realização
da busca, estratégia de busca e a string de busca utilizada.
Do total 1.502 artigos retornados nas buscas, 259 foram considerados
potencialmente relevantes após o primeiro filtro de leitura do título e resumo.
Os 1.243 artigos restante foram excluídos por serem claramente irrelevantes
para a questão de pesquisa definida no protocolo de revisão sistemática. Do
restante, 70 não estavam disponíveis através da licença de acesso concedida
pela UFPE.
Após a segunda seleção, 165 foram considerados não relevantes para a
questão de pesquisa por não estarem de acordo com os critérios de inclusão
definidos na revisão sistemática e 8 foram excluídos por terem sido
encontrados em mais de uma fonte. Por fim, 16 artigos foram considerados
51
relevantes e incluídos como estudos primários. A Tabela 4.3Tabela 4.3 a seguir
apresenta os resultados parciais para cada um dos engenhos de busca.
Tabela 4.3 – Processo de seleção de estudos primários
2ª Seleção
(Título e
Resumo)
(Resumo e Conclusão)
Q5
Não relevantes/
Incompletos
Acesso restrito
Relevantes
Duplicados
Estudos primários
Incluídos
Potencialmente
relevantes
Excluídos
Resultado
Irrelevantes
Busca
1ª Seleção
233
92
141
79
54
8
0
8
480
400
80
62
8
10
4
6
478
477
1
0
0
1
0
1
76
72
4
0
4
0
0
0
3
0
3
2
0
1
1
0
Scirus
EI
Compendex
174
168
6
6
0
0
0
0
9
0
9
5
3
1
1
0
Emerald
49
34
15
11
1
3
2
1
1502
1243
259
165
70
24
8
16
Fontes
Scopus
Science
Direct
IEEEXplore
Digital Library
ACM Digital
Library
Wiley
InterScience
TOTAL
Já a busca secundária retornou um total de vinte e sete trabalhos
potencialmente relevantes, dos quais treze não estavam disponíveis através da
licença de acesso concedida pela UFPE e dez não estavam de acordo com os
critérios de inclusão. Sendo assim, quatro novos artigos foram incluídos ao
estudo, totalizando vinte artigos analisados.
Quanto a distribuição temporal, podemos verificar no Gráfico 4.1 Distribuição dos trabalhos incluídos por ano de publicaçãoGráfico 4.1 Distribuição dos trabalhos incluídos por ano de publicação a seguir que,
periodicamente, o tema é abordado. Entretanto, não existe um padrão bem
definido de distribuição ao longo do tempo visto que em alguns anos não
encontramos trabalhos publicados. Um ponto interessante que
pode-se
52
observar é que o último ano (2009) possui um maior número de publicações,
talvez mostranto um aumento do interesse pelo tema.
Gráfico 4.1 - Distribuição dos trabalhos incluídos por ano de publicação
4
3
2
1
0
A Tabela 4.4 - Importantes jornais e conferências econtradosTabela 4.4 Importantes jornais e conferências econtradosapresenta os principais jornais e
conferências nos quais foram encontradas referências relevantes sobre
métricas do utilizadas no FFE. No total foram encontrados estudos relevantes
sobre práticas no FFE em 16 jornais e conferências.
53
Tabela 4.4 - Importantes jornais e conferências econtrados
Jornal ou
Conferência
Fonte
Número
de
estudos
Jornal
Industrial Marketing Management
3
Jornal
Journal of Product Innovation Management
2
Jornal
Design Studies
2
Jornal
European Journal of Innovation Management
1
Conferência
Industrial Engineering and Engineering Management
1
Jornal
Industrial Management & Data Systems
1
Jornal
International Journal of Management Reviews
1
Jornal
Journal of Operations Management
1
Jornal
Journal of Personal Selling and Sales Management
1
Jornal
Journal Product innovation Management
1
Jornal
Measuring Business Excellence
1
Jornal
Technovation
1
Jornal
The Journal of High Technology Management Research
1
Jornal
R and D Management
1
Jornal
International Journal of Productivity and Performance
Management
1
Jornal
Journal of Business & Industrial Marketing
1
4.2. ANÁLISE E SÍNTESE DAS EVIDÊNCIAS
Nesta seção, as evidências (métricas) encontradas na literatura são
descritas, organizadas por tipo (qualitativa e quantitativa), por categorias
(áreas) mais abstratas e seus objetivos de aplicação são apontados.
As métricas encontradas foram primeiramente separadas em quantitativas
e qualitativas. Encontrando-se respectivamente na Tabela 4.5Tabela 4.5 e
ID
Métrica
MQT.1 concorrência de fases
MQT.2
MQT.3
mudanças de
especificação
# marcos
(milestones)
Estudo
Primário
Descrição
EP_42
tempo que o projeto encontrava-se
simultaneamente em mais de uma fase, em%
da duração total do projeto
EP_42
número de alterações nas especificações
durante o curso do projeto
EP_42
número de marcos utilizados no projeto
54
MQT.4
MQT.5
MQT.6
MQT.7
MQT.8
# engenharias
reversas
efetividade do
processo
# sugestões de
melhoria do processo
por empregado
% de sugestões
implementadas
% tempo utilizado em
contato com clientes
EP_42
número de análises de engenharia reversa
EP_93
número de novos processos e melhorias
significativas por ano
EP_93
número de sugestões de melhoria por
empregado
EP_93
EP_135
percentual de melhorias sugeridas que foram
implementadas
percentual do tempo que a equipe gasta em
contato direto com o cliente
MQT.9
conexões com outras
organizações de
pesquisa
EP_135
número de conexões com outras
organizações, os contratos e acordos de
pesquisa colaborativa
MQT.10
% tempo livre
EP_222
% do "tempo livre para invenções" dos
funcionários
MQT.11
% distribuição entre
tipos
EP_222
% de distribuição de novas ideias por tipo:
marketing, tecnologia, requisitos, redução de
custos, qualidade, etc.
EP_93
% dos empregados conscientes do
compartilhamento de políticas de inovação e
seus valores
% consciência dos
MQT.12 funcionários (políticas
e valores)
# projetos com times
multifuncionais
# mudanças de
MQT.14
departamento
número de projetos usando equipes
multifuncionais
número de empregados rodado entre os
EP_135
departamentos
% de projetos atrasados, cancelados devido à
EP_93
falta de financiamento
% atrasos por falta de
MQT.15
verba
número de projetos atrasados devido à falta de
EP_225
financiamento
% de projetos adiados ou cancelados devido à
EP_93
falta de recursos humanos
% atrasos por falta de
MQT.16
pessoal
número projetos atrasados devido à falta de
EP_225
recursos humanos
MQT.13
EP_135
EP_116
MQT.17
% envolvidos ffe
EP_141
EP_222
EP_116
MQT.18 gastos com inovação
EP_205
número de pessoas comprometidas com a
tarefa de inovação (números absolutos e
relativos ao total de empregados)
número de pessoas que estiveram envolvidas
nas discussões iniciais do conceito de produto
% das equipes que tem a tarefa de inventar
novas ideias/conceitos
capital financeiro - P & D
financiamento adequado - gastos por item
(departamentos, patente, inovação ou
cientista)
55
gastos com melhoria
de equipamento
MQT.19
(relacionados com
inovação)
EP_205
EP_60
EP_93
EP_222
MQT.20
número de ideias
EP_225
EP_225
EP_227
MQT.21
número de ideias
avaliadas
MQT.22
# novas áreas
(negócios)
EP_93
EP_207
EP_222
EP_93
EP_93
EP_116
MQT.23
# patentes
EP_135
EP_141
EP_205
EP_207
MQT.24
# citações
EP_135
MQT.25
# publicações
EP_135
MQT.26
# licenças
MQT.27
tempo do conceito ao
protótipo
MQT.28
# revisões de projeto
/ relatórios técnicos
EP_116
MQT.29
# projetos rejeitados
EP_60
EP_93
EP_205
EP_144
EP_207
EP_42
MQT.30
% lideres /
funcionários treinados
EP_93
EP_222
MQT.31
% pessoal treinado
em ferramentas de
inovação
EP_135
Aquisição de máquinas e equipamentos
novos, relacionados a inovações
número de projetos de P & D
novos produtos / ideias geradas
número de ideias geradas em um período
Número de novas ideias de produtos (ou
acessórios)
Número total de ideias geradas
# ideias geradas por unidade de tempo
Número de novas ideias de produtos ou
melhorias avaliados no ano passado
# ideias avaliados por unidade de tempo
Percentual de ideias de produtos aprovados
Número de novas área de negócios baseadas
em produtos/empresas começadas nos
últimos 5 anos
número de patentes
número ou o valor das patentes
número de patentes concedidas à empresa em
um determinado ano ou total
média do número de patentes
número ou o valor das patentes
número de patentes
número de citações das patentes de uma
empresa de artigos científicos
número de publicações em journals, palestras
e o número de relatórios técnicos
Número de licenças
Número de licenças
tempo gasto desde o conceito ao protótipo
tempo de ciclo médio
Estatísticas sobre o uso de métodos formais
de coleta de informações, tais como revisões
de projeto e o uso de relatórios técnicos
número de projetos rejeitados
% lideres de equipe treinados em técnicas de
criatividade
treinamento por empregado de P&D
% do pessoal de NPD que participou de
formação criativa
percentual de funcionários de NPD com o
acesso e formação em recursos eletrônicos
56
MQT.32
% projetos utilizando
ferramentas p/
inovação
EP_93
percentual de projetos em que sejam
aplicadas ferramentas específicas (FMEA,
QFD, métodos de prototipagem rápida,
Taguchi)
EP_222
Percentagem de projetos usando ferramentas
de gerenciamento de projetos (por exemplo,
QFD, FMEA)
EP_225
% De projetos que realmente usam o
pensamento sistemático, criativo e métodos e
ferramentas de mercado (por exemplo, TRIZ,
SIT, etc.)
Estudo
Primário
Descrição
EP_42
tempo que o projeto encontrava-se
simultaneamente em mais de uma fase, em%
da duração total do projeto
EP_42
número de alterações nas especificações
durante o curso do projeto
EP_42
número de marcos utilizados no projeto
EP_42
número de análises de engenharia reversa
EP_93
número de novos processos e melhorias
significativas por ano
EP_93
número de sugestões de melhoria por
empregado
Tabela 4.6
ID
Métrica
MQT.1 concorrência de fases
MQT.2
MQT.3
MQT.4
MQT.5
MQT.6
MQT.7
MQT.8
mudanças de
especificação
# marcos
(milestones)
# engenharias
reversas
efetividade do
processo
# sugestões de
melhoria do processo
por empregado
% de sugestões
implementadas
% tempo utilizado em
contato com clientes
EP_93
EP_135
percentual de melhorias sugeridas que foram
implementadas
percentual do tempo que a equipe gasta em
contato direto com o cliente
MQT.9
conexões com outras
organizações de
pesquisa
EP_135
número de conexões com outras
organizações, os contratos e acordos de
pesquisa colaborativa
MQT.10
% tempo livre
EP_222
% do "tempo livre para invenções" dos
funcionários
MQT.11
% distribuição entre
tipos
EP_222
% de distribuição de novas ideias por tipo:
marketing, tecnologia, requisitos, redução de
custos, qualidade, etc.
EP_93
% dos empregados conscientes do
compartilhamento de políticas de inovação e
seus valores
% consciência dos
MQT.12 funcionários (políticas
e valores)
57
# projetos com times
multifuncionais
# mudanças de
MQT.14
departamento
número de projetos usando equipes
multifuncionais
número de empregados rodado entre os
EP_135
departamentos
% de projetos atrasados, cancelados devido à
EP_93
falta de financiamento
% atrasos por falta de
MQT.15
verba
número de projetos atrasados devido à falta de
EP_225
financiamento
% de projetos adiados ou cancelados devido à
EP_93
falta de recursos humanos
% atrasos por falta de
MQT.16
pessoal
número projetos atrasados devido à falta de
EP_225
recursos humanos
MQT.13
EP_135
EP_116
MQT.17
% envolvidos ffe
EP_141
EP_222
EP_116
MQT.18 gastos com inovação
gastos com melhoria
de equipamento
MQT.19
(relacionados com
inovação)
número de ideias
financiamento adequado - gastos por item
(departamentos, patente, inovação ou
cientista)
EP_205
Aquisição de máquinas e equipamentos
novos, relacionados a inovações
EP_225
EP_225
EP_227
MQT.21
número de ideias
avaliadas
MQT.22
# novas áreas
(negócios)
MQT.23
# patentes
número de pessoas que estiveram envolvidas
nas discussões iniciais do conceito de produto
% das equipes que tem a tarefa de inventar
novas ideias/conceitos
capital financeiro - P & D
EP_205
EP_60
EP_93
EP_222
MQT.20
número de pessoas comprometidas com a
tarefa de inovação (números absolutos e
relativos ao total de empregados)
EP_93
EP_207
EP_222
EP_93
número de projetos de P & D
novos produtos / ideias geradas
número de ideias geradas em um período
Número de novas ideias de produtos (ou
acessórios)
Número total de ideias geradas
# ideias geradas por unidade de tempo
Número de novas ideias de produtos ou
melhorias avaliados no ano passado
# ideias avaliados por unidade de tempo
Percentual de ideias de produtos aprovados
Número de novas área de negócios baseadas
em produtos/empresas começadas nos
últimos 5 anos
EP_93
EP_116
número de patentes
número ou o valor das patentes
número de patentes concedidas à empresa em
EP_135
um determinado ano ou total
58
EP_141
EP_205
EP_207
MQT.24
# citações
EP_135
MQT.25
# publicações
EP_135
MQT.26
# licenças
MQT.27
tempo do conceito ao
protótipo
MQT.28
# revisões de projeto
/ relatórios técnicos
EP_116
MQT.29
# projetos rejeitados
EP_60
EP_93
EP_205
EP_144
EP_207
EP_42
MQT.30
% lideres /
funcionários treinados
EP_93
EP_222
MQT.31
MQT.32
% pessoal treinado
em ferramentas de
inovação
% projetos utilizando
ferramentas p/
inovação
média do número de patentes
número ou o valor das patentes
número de patentes
número de citações das patentes de uma
empresa de artigos científicos
número de publicações em journals, palestras
e o número de relatórios técnicos
Número de licenças
Número de licenças
tempo gasto desde o conceito ao protótipo
tempo de ciclo médio
Estatísticas sobre o uso de métodos formais
de coleta de informações, tais como revisões
de projeto e o uso de relatórios técnicos
número de projetos rejeitados
% lideres de equipe treinados em técnicas de
criatividade
treinamento por empregado de P&D
% do pessoal de NPD que participou de
formação criativa
EP_135
percentual de funcionários de NPD com o
acesso e formação em recursos eletrônicos
EP_93
percentual de projetos em que sejam
aplicadas ferramentas específicas (FMEA,
QFD, métodos de prototipagem rápida,
Taguchi)
EP_222
Percentagem de projetos usando ferramentas
de gerenciamento de projetos (por exemplo,
QFD, FMEA)
EP_225
% De projetos que realmente usam o
pensamento sistemático, criativo e métodos e
ferramentas de mercado (por exemplo, TRIZ,
SIT, etc.)
Tabela 4.6. As quantitativas são medidas diretas, representando um valor
absoluto de determinada variável ou um percentual. Já as qualitativas, são
avaliaçõesque podem ser definidas, por exemplo, em uma escala Likert-5 que
passa pelos valores: Discordo completamente (1); Discordo parcialmente (2);
Nem concordo nem discordo (3); Concordo parcialmente (4); Concordo
completamente (5); Na primeira coluna são listadas as métricas encontradas. A
59
segunda coluna apresenta os artigos nos quais a métrica foi citada. Por último,
na terceira coluna, a descrição (evidência) encontrada em cada artigo.
Tabela 4.5 - Métricas quantitativas ligadas ao fuzzy front end
ID
Métrica
MQT.1 concorrência de fases
MQT.2
MQT.3
MQT.4
MQT.5
MQT.6
MQT.7
MQT.8
mudanças de
especificação
# marcos
(milestones)
# engenharias
reversas
efetividade do
processo
# sugestões de
melhoria do processo
por empregado
% de sugestões
implementadas
% tempo utilizado em
contato com clientes
Estudo
Primário
Descrição
EP_42
tempo que o projeto encontrava-se
simultaneamente em mais de uma fase, em%
da duração total do projeto
EP_42
número de alterações nas especificações
durante o curso do projeto
EP_42
número de marcos utilizados no projeto
EP_42
número de análises de engenharia reversa
EP_93
número de novos processos e melhorias
significativas por ano
EP_93
número de sugestões de melhoria por
empregado
EP_93
EP_135
percentual de melhorias sugeridas que foram
implementadas
percentual do tempo que a equipe gasta em
contato direto com o cliente
MQT.9
conexões com outras
organizações de
pesquisa
EP_135
número de conexões com outras
organizações, os contratos e acordos de
pesquisa colaborativa
MQT.10
% tempo livre
EP_222
% do "tempo livre para invenções" dos
funcionários
MQT.11
% distribuição entre
tipos
EP_222
% de distribuição de novas ideias por tipo:
marketing, tecnologia, requisitos, redução de
custos, qualidade, etc.
EP_93
% dos empregados conscientes do
compartilhamento de políticas de inovação e
seus valores
% consciência dos
MQT.12 funcionários (políticas
e valores)
# projetos com times
multifuncionais
# mudanças de
MQT.14
departamento
número de projetos usando equipes
multifuncionais
número de empregados rodado entre os
EP_135
departamentos
% de projetos atrasados, cancelados devido à
EP_93
falta de financiamento
% atrasos por falta de
MQT.15
verba
número de projetos atrasados devido à falta de
EP_225
financiamento
% atrasos por falta de
% de projetos adiados ou cancelados devido à
MQT.16
EP_93
pessoal
falta de recursos humanos
MQT.13
EP_135
60
MQT.17
% envolvidos ffe
EP_225
número projetos atrasados devido à falta de
recursos humanos
EP_116
número de pessoas comprometidas com a
tarefa de inovação (números absolutos e
relativos ao total de empregados)
EP_141
EP_222
EP_116
MQT.18 gastos com inovação
gastos com melhoria
de equipamento
MQT.19
(relacionados com
inovação)
EP_205
financiamento adequado - gastos por item
(departamentos, patente, inovação ou
cientista)
EP_205
Aquisição de máquinas e equipamentos
novos, relacionados a inovações
EP_60
EP_93
EP_222
MQT.20
número de ideias
EP_225
EP_225
EP_227
MQT.21
número de ideias
avaliadas
MQT.22
# novas áreas
(negócios)
EP_93
EP_207
EP_222
EP_93
EP_93
EP_116
MQT.23
# patentes
EP_135
EP_141
EP_205
EP_207
MQT.24
# citações
EP_135
MQT.25
# publicações
EP_135
MQT.26
# licenças
MQT.27 tempo do conceito ao
número de pessoas que estiveram envolvidas
nas discussões iniciais do conceito de produto
% das equipes que tem a tarefa de inventar
novas ideias/conceitos
capital financeiro - P & D
EP_93
EP_205
EP_144
número de projetos de P & D
novos produtos / ideias geradas
número de ideias geradas em um período
Número de novas ideias de produtos (ou
acessórios)
Número total de ideias geradas
# ideias geradas por unidade de tempo
Número de novas ideias de produtos ou
melhorias avaliados no ano passado
# ideias avaliados por unidade de tempo
Percentual de ideias de produtos aprovados
Número de novas área de negócios baseadas
em produtos/empresas começadas nos
últimos 5 anos
número de patentes
número ou o valor das patentes
número de patentes concedidas à empresa em
um determinado ano ou total
média do número de patentes
número ou o valor das patentes
número de patentes
número de citações das patentes de uma
empresa de artigos científicos
número de publicações em journals, palestras
e o número de relatórios técnicos
Número de licenças
Número de licenças
tempo gasto desde o conceito ao protótipo
61
protótipo
EP_207
tempo de ciclo médio
MQT.28
# revisões de projeto
/ relatórios técnicos
EP_116
Estatísticas sobre o uso de métodos formais
de coleta de informações, tais como revisões
de projeto e o uso de relatórios técnicos
MQT.29
# projetos rejeitados
EP_60
EP_42
MQT.30
% lideres /
funcionários treinados
EP_93
EP_222
MQT.31
% pessoal treinado
em ferramentas de
inovação
% projetos utilizando
MQT.32
ferramentas p/
inovação
número de projetos rejeitados
% lideres de equipe treinados em técnicas de
criatividade
treinamento por empregado de P&D
% do pessoal de NPD que participou de
formação criativa
EP_135
percentual de funcionários de NPD com o
acesso e formação em recursos eletrônicos
EP_93
percentual de projetos em que sejam
aplicadas ferramentas específicas (FMEA,
QFD, métodos de prototipagem rápida,
Taguchi)
EP_222
Percentagem de projetos usando ferramentas
de gerenciamento de projetos (por exemplo,
QFD, FMEA)
EP_225
% De projetos que realmente usam o
pensamento sistemático, criativo e métodos e
ferramentas de mercado (por exemplo, TRIZ,
SIT, etc.)
Tabela 4.6 - Métricas qualitativas ligadas ao fuzzy front end
ID
Métrica
Estudo
Primário
Descrição
MQL.1
superioridade do
produto no
atendimento de
necessidades vs
competidores
EP_27
Superioridade do produto no encontro as
necessidades dos clientes vs concorrência
MQL.2
superioridade na
qualidade do produto
vs competidores
EP_27
Superior qualidade dos produtos vs
concorrência
Definição do produto antes do
desenvolvimento
EP_93
Benefícios visíveis que são fáceis de explicar
Informações sobre as necessidades dos
EP_199
clientes são coletados e analisados
EP_20 definição do produto antes do desenvolvimento
EP_27
benefícios visíveis que são fáceis de explicar
definição inicial e afiada do produto antes do
EP_199
desenvolvimento
EP_27
MQL.3
benefícios claros
MQL.4
definições claras e
antecipadas
62
MQL.5
priorização de
requisitos
MQL.6
uso de ferramentas
para controle de
qualidade
MQL.7
capacidade da
organização de
assimilação
MQL.8
criatividade interna
MQL.9
propósito
compartilhado pelo
time
MQL.10
objetivos estratégicos
de inovação
As características do produto ou requisitos de
EP_199 software são priorizados e selecionados para a
produção
EP_116
capacidade da empresa para absorver e
colocar em uso novos conhecimentos,
EP_116 envolvendo "uma habilidade para reconhecer o
valor de novos conhecimentos, externos,
assimilá-los e aplicá-lo para fins comerciais"
EP_60
Grau de criatividade interna
EP_7
a extensão do propósito comum e plano de
ação para o desenvolvimento de novos
produtos
EP_7
O grau de alinhamento entre a missão da
equipe e o negócio, tecnologia e estratégia de
produto
EP_20
EP_60
EP_116
EP_183
MQL.11
clareza dos objetivos
do projeto
EP_7
MQL.12
trabalho em equipe
EP_7
MQL.13 prêmios por execução
EP_42
EP_116
MQL.14
MQL.15
comprometimento da
gerência
liberdade pessoal
EP_20
EP_60
EP_116
EP_7
MQL.16
tempo de
desenvolvimento
EP_42
EP_144
MQL.17
execução de
avaliações iniciais
disponibilidade e utilização de sistemas de
controle que vão desde métodos informais até
técnicas específicas, tais como gestão da
qualidade total (TQM)
EP_27
EP_46
Nova estratégia de produto (clara, definida,
comprometida)
Ligação entre ideia e estratégia
metas de inovação correspondem aos
objetivos estratégicos
Estratégia de novos produtos definida e
comunicada
A extensão das metas do projeto são claras e
realistas
a extensão do comportamento colaborativo
das equipes de desenvolvimento de produto
recompensas baseadas no desempenho da
equipe, e não sobre o desempenho individual
extensão em que o pessoal é recompensado
Envolvimento da gerência sênior nas decisões
Continua / Aborta
Alto compromisso da gestão
Grau de liberdade pessoal nas decisões
operacionais do dia-a-dia, como quando
trabalhar e como resolver problemas
tempo de desenvolvimento de produtos da
geração conceito de introdução no mercado
Velocidade para o mercado
tempo entre o conceito de serviço até o
lançamento
triagem inicial da nova ideia
triagem inicial da ideia do produto
63
EP_51
EP_183
EP_20
EP_27
EP_42
EP_46
MQL.18
Avaliação preliminar
de mercado
EP_51
EP_60
EP_183
EP_199
EP_27
EP_42
EP_46
MQL.19
Avaliação preliminar
de tecnologia
EP_51
EP_183
EP_199
MQL.20
envolvimento do
cliente
EP_20
EP_27
EP_60
EP_116
EP_135
EP_27
MQL.21
estudo detalhado de
mercado
MQL.22
MQL.23
teste de campo
analise competitiva
MQL.24
analise financeira e
de negócio
MQL.25
prototipagem
antecipada
EP_46
EP_51
EP_183
EP_27
EP_27
EP_27
EP_46
EP_51
EP_183
EP_42
EP_60
atividades realizadas para avaliar novas ideias
de produtos
triagem da ideia inicial
orientação para o mercado
Avaliação preliminar de mercado
Participação inicial do marketing
Avaliação preliminar de mercado
realização de atividades para avaliar a
resposta do mercado
Marketing como fonte de ideia
avaliação preliminar de mercado / teste de
ideia
Os mercados são avaliados preliminarmente
Avaliação preliminar técnica.
Envolvimento precoce de produção
Avaliação técnica preliminar
realização de atividades para avaliar os
aspectos técnicos
avaliações técnicas preliminares (design e
fabricação)
A adequação de tecnologias novas e / ou
atuais é estudado e avaliado
Envolvimento do cliente
Trabalho com o cliente de ponta
Cliente como fonte de ideia
Participação ampla do cliente
Informações sobre as necessidades dos
clientes são coletados e analisados
Estudo detalhado de mercado
Estudo detalhado de mercado ou pesquisa de
mercado
Pesquisa de mercado detalhada
Estudo detalhado de mercado (teste de
conceito)
Testes de campo
A análise da competitividade
análise de negócio e financeira
Análise financeira e de negócios antes do
desenvolvimento
Análise financeira
Análise financeira e de negócios
Uso de protótipos na fase de especificação do
projeto
Criação de protótipos
64
MQL.26
fontes externas de
ideias
EP_42
EP_60
utilização de fontes externas para geração de
ideias
Contato com os concorrentes
MQL.27
envolvimento
antecipado do setor
de compras
EP_42
Participação inicial do departamento de
compras interno
MQL.28
envolvimento
antecipado dos
fornecedores
EP_42
Envolvimento precoce dos fornecedores
MQL.29
completude
EP_69
nível de variação da abordagem de um
conceito, suas sub-funções descritas em
função da estrutura
MQL.30
grau de novidade
EP_69
variedade / espaço de
MQL.31
soluções
EP_227
EP_69
EP_227
EP_116
MQL.32
colaboração externa
EP_135
EP_205
flexibilidade do
processo
plano de negócios
MQL.34
antecipado
estudo de viabilidade
MQL.35
antecipado
MQL.33
MQL.36
analise de riscos
MQL.37
folga de recursos
uso de ferramentas
de criatividade
MQL.38
MQL.39
suficiência de
recursos
O grau de novidade
Medida de quão incomum ou inesperada é
uma ideia, em comparação com outras
Medida do espaço de soluções exploradas
durante a geração da ideia
A avaliação da variedade de um grupo inteiro
de ideias, não de uma idéia individual
Ligações que o grupo inovador mantém com
organizações e fontes externas
Intensidade da colaboração com outras
empresas ou centros de P & D
ligações que o grupo mantém para inovar com
organizações externas e fontes
EP_20
flexibilidade dos processos
EP_60
Qualidade do Plano de Negócios
EP_60
Qualidade do Estudo de Viabilidade
EP_60
EP_116
EP_116
Qualidade da análise de risco
Propensão para assumir riscos
Folgas nos recursos financeiros e humanos
Disponibilidade e uso de ferramentas e
técnicas para promover a criatividade
EP_116
EP_20
Recurso de apoio para o desenvolvimento de
novos produtos (orçamentos suficientes,
recursos humanos)
Foram encontrados 8 objetivos principais nas referências analisadas pela
revisão sistemática:
O1 – Garantir a qualidade do processo de inovação
65
O2 – Avaliar a proficiência do processo de inovação
O3 – Garantir recursos adequados
O4 – Avançar na criação de conhecimento
O5 – Garantir acesso a ferramentas de suporte
O6 – Garantir a qualidade do produto/ideia
O7 – Melhorar a avaliação de novos conceitos
O8 – Avaliar o alinhamento das ações com a estrategia da
organização
Em seguida, as métricas foram agrupadas em áreas nas quais tem
impacto direto na organização:
A1. Qualidade do processo – ligadas ao processo de inovação
(etapas do ffe) em si;
A2. Definição do produto – ligadas a definição do conceito / produto
/ ideia e sua relação com o mercado;
A3. Liderança estratégica – ligadas a estratégia da organização e
tomada de decisão (motor do NCD);
A4. Recursos (humanos e financeiros) – insumos necessários para
o andamento das atividades (fatores de influência do NCD);
A5. Resultado do processo – ligados a avaliação dos artefatos de
saída do processo;
A6. Sistemas e ferramentas – ligados a sistemas e ferramentas que
dão suporte ao processo (fatores de influência do NCD).
66
A Tabela 4.7 e a Tabela 4.8Tabela 4.8 a seguir, sumarizam as métricas,
categorizando-as em áreas e apontando os objetivos que se propõem a
alcançar:
Tabela 4.7 – Mapeamento das Métricas Quantitativas x Objetivos
Área
A1.
Qualidade
do
processo
A4.
Recursos
ID
Métrica
Objetivo
MQT.1
concorrência de fases
O1. garantir a qualidade do
processo de inovação
MQT.2
mudanças de especificação
O1. garantir a qualidade do
processo de inovação
MQT.3
# marcos (milestones)
O1. garantir a qualidade do
processo de inovação
MQT.4
# engenharias reversas
O1. garantir a qualidade do
processo de inovação
MQT.5
efetividade do processo
O2. proficiência do
processo de inovação
MQT.6
# sugestões de melhoria do
processo por empregado
O2. proficiência do
processo de inovação
MQT.7
% de sugestões
implementadas
O2. proficiência do
processo de inovação
MQT.8
% tempo utilizado em contato
com clientes
O2. proficiência do
processo de inovação
MQT.9
conexões com outras
organizações de pesquisa
O2. proficiência do
processo de inovação
MQT.10
% tempo livre
O2. proficiência do
processo de inovação
MQT.11
% distribuição entre tipos
O2. proficiência do
processo de inovação
MQT.12
% conciencia dos funcionários
(politicas e valores)
O2. proficiência do
processo de inovação
MQT.13
# projetos com times
multifuncionais
O2. proficiência do
processo de inovação
MQT.14
# mudanças de departamento
O3. garantir recursos
adequados
MQT.15
% atrasos por falta de verba
O2. proficiência do
processo de inovação
MQT.16
% atrasos por falta de pessoal
O2. proficiência do
processo de inovação
MQT.17
# pessoas envolvidas no FFE
O3. garantir recursos
adequados
MQT.18
gastos com inovação
O3. garantir recursos
adequados
67
MQT.19
gastos com melhoria de
equipamento (relacionados
com inovação)
O3. garantir recursos
adequados
MQT.20
número de ideias
O2. proficiência do
processo de inovação
MQT.21
número de ideias avaliadas
O2. proficiência do
processo de inovação
MQT.22
# novas áreas (negócios)
O2. proficiência do
processo de inovação
MQT.23
# patentes
O4. avanço na criação de
conhecimento
MQT.24
# citações
O4. avanço na criação de
conhecimento
MQT.25
# publicações
O4. avanço na criação de
conhecimento
MQT.26
# licenças
O4. avanço na criação de
conhecimento
MQT.27
tempo - conceito ao protótipo
O4. avanço na criação de
conhecimento
MQT.28
# revisões de projeto /
relatórios técnicos
O4. avanço na criação de
conhecimento
MQT.29
# projetos rejeitados
O2. proficiência do
processo de inovação
MQT.30
% lideres / funcionários
treinados
O2. proficiência do
processo de inovação
A6.
Sistemas e MQT.31
ferramentas
% pessoal treinado em
ferramentas de inovação
O5. garantir acesso a
ferramentas de suporte
MQT.32
% projetos utilizando
ferramentas p/ inovação
O5. garantir acesso a
ferramentas de suporte
A5.
Resultado
do
processo
Tabela 4.8 – Mapeamento das Métricas qualitativas x Objetivos
Área
ID
Métrica
MQL.1
superioridade do produto no
atendimento de necessidades
vs competidores
superioridade na qualidade do
produto vs competidores
MQL.2
A2.
Definição
do produto
MQL.3
MQL.4
MQL.5
MQL.6
benefícios claros
definições claras e
antecipadas
priorização de requisitos
uso de ferramentas para
controle de qualidade
Objetivo
O6. garantir a qualidade do
produto/ideia
O6. garantir a qualidade do
produto/ideia
O6. garantir a qualidade do
produto/ideia
O6. garantir a qualidade do
produto/ideia
O6. garantir a qualidade do
produto/ideia
O6. garantir a qualidade do
produto/ideia
68
MQL.7
MQL.8
MQL.9
MQL.10
MQL.11
A3.
Liderança
estratégica
MQL.12
MQL.13
MQL.14
MQL.15
MQL.16
MQL.17
MQL.18
MQL.19
MQL.20
MQL.21
A1.
Qualidade
do
processo
MQL.22
MQL.23
MQL.24
MQL.25
MQL.26
MQL.27
MQL.28
MQL.29
capacidade da organização de
assimilação
O6. garantir a qualidade do
produto/ideia
O7. melhorar a avaliação de
criatividade interna
novos conceitos
O8. Alinhamento das ações
proposito compartilhado pelo
com a estrategia da
time
organização
O8. Alinhamento das ações
objetivos estratégicos de
com a estrategia da
inovação
organização
O8. Alinhamento das ações
clareza dos objetivos do
com a estrategia da
projeto
organização
O8. Alinhamento das ações
com a estrategia da
trabalho em equipe
organização
O2. Proficiencia do processo
premios por execução
de inovação
O8. Alinhamento das ações
com a estrategia da
comprometimento da gerência
organização
O8. Alinhamento das ações
com a estrategia da
liberdade pessoal
organização
O2. Proficiencia do processo
tempo de desenvolvimento
de inovação
execução de avaliações
O1. garantir a qualidade do
iniciais
processo de inovação
Avaliação preliminar de
O1. garantir a qualidade do
mercado
processo de inovação
Avaliação preliminar de
O1. garantir a qualidade do
tecnologia
processo de inovação
O1. garantir a qualidade do
envolvimento do cliente
processo de inovação
O1. garantir a qualidade do
estudo detalhado de mercado
processo de inovação
O1. garantir a qualidade do
teste de campo
processo de inovação
O1. garantir a qualidade do
analise competitiva
processo de inovação
analise financeira e de
O1. garantir a qualidade do
negócio
processo de inovação
O1. garantir a qualidade do
prototipagem antecipada
processo de inovação
O1. garantir a qualidade do
fontes externas de ideias
processo de inovação
envolvimento antecipado do
O1. garantir a qualidade do
setor de compras
processo de inovação
envolvimento antecipado dos O1. garantir a qualidade do
fornecedores
processo de inovação
O7. melhorar a avaliação de
completude
novos conceitos
69
MQL.30
A4.
Recursos
MQL.31
grau de novidade
variedade / espaço de
soluções
MQL.32
colaboração externa
MQL.33
flexibilidade do processo
MQL.34
MQL.35
plano de negócios antecipado
estudo de viabilidade
antecipado
MQL.36
analise de riscos
MQL.37
MQL.38
folga de recursos
uso de ferramentas de
criatividade
MQL.39
suficiência de recursos
O7. melhorar a avaliação de
novos conceitos
O7. melhorar a avaliação de
novos conceitos
O6. garantir a qualidade do
produto/ideia
O1. garantir a qualidade do
processo de inovação
O1. garantir a qualidade do
processo de inovação
O1. garantir a qualidade do
processo de inovação
O1. garantir a qualidade do
processo de inovação
O3. garantir recursos
adequados
O5. garantir acesso a
ferramentas de suporte
O5. garantir acesso a
ferramentas de suporte
Entre as métricas encontradas, podemos destacar que as citadas com
maior frequência como um forte indício da sua importância.
Tabela 4.9 – Métricas mais citadas na RSL
ID
MQT.17
MQT.20
MQT.21
MQT.23
MQT.32
MQL.4
MQL.11
MQL.17
MQL.18
MQL.19
MQL.20
MQL.24
Métrica
# pessoas envolvidas no FFE
número de ideias
número de ideias avaliadas
# patentes
% projetos utilizando ferramentas p/ inovação
definições claras e antecipadas
clareza dos objetivos do projeto
execução de avaliações iniciais
Avaliação preliminar de mercado
Avaliação preliminar de tecnologia
envolvimento do cliente
analise financeira e de negócio
# citações
3
5
3
6
3
4
5
4
8
6
5
4
70
4.3. APLICANDO O GQM NA GESTÃO DA INOVAÇÃO
Como visto na seção 2.52.5 do referencial teórico, o paradigma GQM
possui quatro fases - planejamento, definição, coleta de dados e interpretação.
Serão detalhadas nas sub-seções seguintes.
Planejamento
O planejamento segue quatro passos vistos na Figura 4.1Figura 4.1 e
começa pela a definição do time responsável por definir e acompanhar todo o
processo do GQM.
Sem uma equipe independente e responsável pela continuidade do
programa de medição, o processo de medição tente a falhar. Quando os
prazos apertam, a atividade de medir acaba recebendo menos atenção, a não
ser que exista essa equipe de GQM (Soligen, 1999).
Figura 4.1 – Processo de planejamento do GQM para inovação
1
Áreas
passíveis de
melhoria
Definir o time
GQM
2
Selecionar áreas
de melhoria
3
Estratégia
Organizacional
Criar plano de
medição
4
Treinar e
promover o plano
As atividades realizadas pela equipe GQM serão:
Planejar o programa de medição;
Definir e checar as atividades de coleta e os entregaveis;
71
Organizar seções de feedback com as interpretações realizadas;
Moderar seções de feedback;
Reportar o progresso da organização disseminando os resultados;
Em seguida, deve-se identificar e selecionar as áreas de melhoria
utilizando a estratégia organizacional, áreas detectadas anteriormente,
problemas aparentes que a organização tenta resolver e processos e/ou
produtos que podem ser melhorados como insumo.
É importante levantar detalhes como: o problema ou área de melhoria; o
processo
ou
produto
envolvido;
influências
ambientais,
legislativas,
organizacionais e tecnológicas; pessoas envolvidas e suas experiências
passadas com métricas e QGM. Esses dados servirão de insumo para o
próxima atividade.
O terceiro passo é a criação de um plano de medição contendo as
informações do programa, seu cronograma, detalha prioridades, controle de
riscos e atividades de treinamento e divulgação.
O último passo se refere a executar as atividades de treinamento e
divulgação postas no plano. O objetivo é concientizar a organização sobre:
Princípios e o método GQM;
Definição clara dos objetivos de melhoria propostos;
Benefícios do programa;
Impacto das medições nas atividades do dia a dia;
Definição
A etapa de definição possui cinco passos e considera uma pré-atividade
que serve de insumo para dois desses passos, vistos na Figura 4.2Figura 4.2.
72
Figura 4.2 – Processo de definição do GQM para inovação
1
0
Definir objetivos de
medição
Definir/Revisar
Estratégia e processo
de inovação
2
Definir questões e
hipóteses
3
Definir métricas
4
Produzir plano GQM e
de avaliação
Inicia-se pela definição ou revisão da estratégia e do processo de
inovação. A estratégia de inovação serve para auxiliar na determinação dos
objetivos. Já a definição formal do processo permitirá a identificação e a
validação de algumas das métricas. Pois, servirão para avaliar tanto artefatos
de entrada e saída como a execução do processo em si.
A etapa um refere-se a definição dos objetivos de medição. Estes, são
baseados nos objetivos de melhoria identificados no planejamento. É
importante que todos os envolvidos no programa de medição participem desta
definição, para entender o motivo de cada métrica. Um objetivo é definido para
um objeto (processo, produto ou recurso), com uma série de propósitos
(entendimento, avaliação, previsão, controle, ou melhoria), com difetentes
focos de qualidade (redução de custo, diminuição de defeitos, confiabilidade,
melhoria de interface), com alguns pontos de vista (usuário, consumidor,
gerente, desenvolvedor, organização) e em um ambiente particular.
Em seguida, deve-se definir as questões e hipóteses com o auxilio dos
times de desenvolvimento visando capturar definições, pressupostos e modelos
relacionados aos objetivos, tornando o conhecimento implícito das equipes de
projeto em explícito. Enquanto os objetivos são definidos em um nível mais
73
abstrato, as questões são refinamentos desses objetivos em um nível mais
operacional, mais adequado para interpretações futuras. Já as hipóteses –
possiveis soluções da questão – auxiliam na etapa de interpretação dos dados,
possibilitando fazer comparações e identificar os motivos que levaram as
diferenças quanto as espectativas.
Na terceiro etapa, um conjunto de dados (métricas) é associado a cada
questão na tentativa de respondê-las de forma quantitativa (dependendo
apenas do objeto medido) ou qualitativa (dependendo do objeto e do ponto de
vista que é analisado). Deve-se levar em conta mais uma vez a estratégia da
organização e o processo de inovação para priorizar o que deve ser medido.
Tabela 4.10 – Exemplo 1 de aplicação do GQM
Objeto
Propósito
Objetivo
Foco
Ponto de vista
Questão
Métricas
O5. garantir acesso a ferramentas de suporte
Melhoria
Abrangência do acesso a ferramentas
Alta Gerência
O uso de ferramentas de suporte é adequado?
MQT.31 - % pessoal treinado em ferramentas de
inovação
MQT.32 - % projetos utilizando ferramentas p/
inovação
Tabela 4.11 – Exemplo 2 de aplicação do GQM
Objeto
Propósito
Objetivo
Foco
Ponto de vista
Questão
Métricas
O1. garantir a qualidade do processo de inovação
Avaliação
Adequação ao mercado
Gerência de Inovação
As novas ideias são adequadas às necessidades do
mercado?
MQL.18 - Nota média das avaliações preliminar de
mercado
MQL.20 - Nota média do envolvimento do cliente na
definição do produto
MQL.22 - Nota média dos Teste de campo / protótipo
74
Tabela 4.12 – Exemplo 3 de aplicação do GQM
Objeto
Propósito
Objetivo
Foco
Ponto de vista
Questão
Métricas
O7. Melhorar a avaliação de novos conceitos
Melhoria
Definição dos conceitos
Gerência de Inovação
As novas ideias/conceitos são bem definidos?
MQL.29 - completude
MQL.30 - grau de novidade
MQL.31 - variedade / espaço de soluções
Tabela 4.13 – Exemplo 4 de aplicação do GQM
Objetivo
Objeto
Velocidade de avaliação
Propósito
Melhoria
Foco
Ponto de vista
Questão
Métricas
Questão
Avaliação no momento certo
Gerência de Inovação
Qual a velocidade atual de avaliação de ideias?
MQT.27 - tempo - conceito ao protótipo
# médio de avaliações até aprovação
# de reavaliações por falta de informação
Está ocorrendo melhoras na velocidade?
Tempo médio do conceito até iniciar o desenvolvimento
Tempo esperado
Métricas
MQL.16 - Avaliação da gerência quanto à velocidade
Por fim, na quarta etapa, deve-se preparar o plano QGM contendo todos
os objetivos, questões e métricas definidos anteriormente. Procedimentos de
como realizar as medições também são importantes: valores possíveis;
responsável pela coleta; momento que deve ser coletada; forma de coleta
(ferramenta ou formulário). Pode ser criado também um plano de análise,
contendo uma simulação dos dados antes do processo de medição começar.
Com ele, o time terá uma indicação das tabelas e gráficos que irão receber e
interpretar.
Coleta de dados
Na etapa de coleta de dados, deve-se utilizar o manual de coleta que foi
definido no plano GQM, contendo:
75
Valores possíveis (forma de coleta);
Responsável pela medição;
Período em que os dados devem ser coletados;
Como devem ser coletados da forma mais eficiente e eficaz;
Para quem deve ser entregue;
Nesta fase, é importante realizar um período de testes para avaliar os
procedimentos, os formulários e/ou ferramentas utilizadas. Deve-se ter cuidado
redobrado para garantir o correto preenchimento dos formulários e a definição
dos sistemas de coleta automáticos.
Sistemas de suporte a medições (MMS – mesurement suport systems)
são ferramentas importantes pois suportam todas as atividades do processo:
Coleta, registro e manutenção dos dados; Processamento das informações de
forma automática (combinação, ordenação, divisão de métricas); Visualização
em tabelas e gráficos.
Interpretação
A última fase do processo é a de interpretação dos dados, que consiste
na avaliação e apresentação dos resultados. Deve-se preparar seções de
feedback mostrando:
Avaliações das ações tomadas anteriormente;
Interpretação das métricas com relação as questões e objetivos
traçados no plano GQM, através de gráficos e tabelas;
Conclusões e planos de açãos relativos aos resultados das
medições;
O programa de medições em si deve ser avaliado e melhorias das
métricas e atividades devem ser propostas;
76
4.4. DISCUSSÃO SOBRE OS RESULTADOS OBTIDOS
O processo de inovação é bastante amplo (FFE, desenvolvimento e
comercialização). Entretanto, mesmo sabendo-se que o FFE é a etapa com
maior chance de aprimorar o processo de inovação, medi-lo de forma
específica não tem sido prioridade. Poucos esforços foram realizados para
identificar quais métricas se enquadram nessa área.
Este trabalho procurou, de forma sistemática, encontrar evidências na
literatura com este objetivo.Desta forma, algumas análises quanto aos
resultados podem ser realizadas.
Primeiramente, na Tabela 4.5Tabela 4.5 e
ID
Métrica
MQT.1 concorrência de fases
MQT.2
MQT.3
MQT.4
MQT.5
MQT.6
MQT.7
MQT.8
mudanças de
especificação
# marcos
(milestones)
# engenharias
reversas
efetividade do
processo
# sugestões de
melhoria do processo
por empregado
% de sugestões
implementadas
% tempo utilizado em
contato com clientes
Estudo
Primário
Descrição
EP_42
tempo que o projeto encontrava-se
simultaneamente em mais de uma fase, em%
da duração total do projeto
EP_42
número de alterações nas especificações
durante o curso do projeto
EP_42
número de marcos utilizados no projeto
EP_42
número de análises de engenharia reversa
EP_93
número de novos processos e melhorias
significativas por ano
EP_93
número de sugestões de melhoria por
empregado
EP_93
EP_135
percentual de melhorias sugeridas que foram
implementadas
percentual do tempo que a equipe gasta em
contato direto com o cliente
MQT.9
conexões com outras
organizações de
pesquisa
EP_135
número de conexões com outras
organizações, os contratos e acordos de
pesquisa colaborativa
MQT.10
% tempo livre
EP_222
% do "tempo livre para invenções" dos
funcionários
MQT.11
% distribuição entre
tipos
EP_222
% de distribuição de novas ideias por tipo:
marketing, tecnologia, requisitos, redução de
custos, qualidade, etc.
77
% consciência dos
MQT.12 funcionários (políticas
e valores)
# projetos com times
multifuncionais
# mudanças de
MQT.14
departamento
EP_93
% dos empregados conscientes do
compartilhamento de políticas de inovação e
seus valores
número de projetos usando equipes
multifuncionais
número de empregados rodado entre os
EP_135
departamentos
% de projetos atrasados, cancelados devido à
EP_93
falta de financiamento
% atrasos por falta de
MQT.15
verba
número de projetos atrasados devido à falta de
EP_225
financiamento
% de projetos adiados ou cancelados devido à
EP_93
falta de recursos humanos
% atrasos por falta de
MQT.16
pessoal
número projetos atrasados devido à falta de
EP_225
recursos humanos
MQT.13
EP_135
EP_116
MQT.17
% envolvidos ffe
EP_141
EP_222
EP_116
MQT.18 gastos com inovação
gastos com melhoria
de equipamento
MQT.19
(relacionados com
inovação)
número de ideias
número de pessoas que estiveram envolvidas
nas discussões iniciais do conceito de produto
% das equipes que tem a tarefa de inventar
novas ideias/conceitos
capital financeiro - P & D
EP_205
financiamento adequado - gastos por item
(departamentos, patente, inovação ou
cientista)
EP_205
Aquisição de máquinas e equipamentos
novos, relacionados a inovações
EP_60
EP_93
EP_222
MQT.20
número de pessoas comprometidas com a
tarefa de inovação (números absolutos e
relativos ao total de empregados)
EP_225
EP_225
EP_227
EP_93
número de projetos de P & D
novos produtos / ideias geradas
número de ideias geradas em um período
Número de novas ideias de produtos (ou
acessórios)
Número total de ideias geradas
# ideias geradas por unidade de tempo
Número de novas ideias de produtos ou
melhorias avaliados no ano passado
# ideias avaliados por unidade de tempo
Percentual de ideias de produtos aprovados
MQT.21
número de ideias
avaliadas
MQT.22
# novas áreas
(negócios)
EP_93
Número de novas área de negócios baseadas
em produtos/empresas começadas nos
últimos 5 anos
MQT.23
# patentes
EP_93
número de patentes
EP_207
EP_222
78
EP_116
EP_135
EP_141
EP_205
EP_207
MQT.24
# citações
EP_135
MQT.25
# publicações
EP_135
MQT.26
# licenças
MQT.27
tempo do conceito ao
protótipo
MQT.28
# revisões de projeto
/ relatórios técnicos
EP_116
MQT.29
# projetos rejeitados
EP_60
EP_93
EP_205
EP_144
EP_207
EP_42
MQT.30
% lideres /
funcionários treinados
EP_93
EP_222
MQT.31
% pessoal treinado
em ferramentas de
inovação
% projetos utilizando
MQT.32
ferramentas p/
inovação
número ou o valor das patentes
número de patentes concedidas à empresa em
um determinado ano ou total
média do número de patentes
número ou o valor das patentes
número de patentes
número de citações das patentes de uma
empresa de artigos científicos
número de publicações em journals, palestras
e o número de relatórios técnicos
Número de licenças
Número de licenças
tempo gasto desde o conceito ao protótipo
tempo de ciclo médio
Estatísticas sobre o uso de métodos formais
de coleta de informações, tais como revisões
de projeto e o uso de relatórios técnicos
número de projetos rejeitados
% lideres de equipe treinados em técnicas de
criatividade
treinamento por empregado de P&D
% do pessoal de NPD que participou de
formação criativa
EP_135
percentual de funcionários de NPD com o
acesso e formação em recursos eletrônicos
EP_93
percentual de projetos em que sejam
aplicadas ferramentas específicas (FMEA,
QFD, métodos de prototipagem rápida,
Taguchi)
EP_222
Percentagem de projetos usando ferramentas
de gerenciamento de projetos (por exemplo,
QFD, FMEA)
EP_225
% De projetos que realmente usam o
pensamento sistemático, criativo e métodos e
ferramentas de mercado (por exemplo, TRIZ,
SIT, etc.)
Estudo
Primário
Descrição
EP_42
tempo que o projeto encontrava-se
simultaneamente em mais de uma fase, em%
da duração total do projeto
Tabela 4.6
ID
Métrica
MQT.1 concorrência de fases
79
MQT.2
MQT.3
MQT.4
MQT.5
MQT.6
MQT.7
MQT.8
mudanças de
especificação
# marcos
(milestones)
# engenharias
reversas
efetividade do
processo
# sugestões de
melhoria do processo
por empregado
% de sugestões
implementadas
% tempo utilizado em
contato com clientes
EP_42
número de alterações nas especificações
durante o curso do projeto
EP_42
número de marcos utilizados no projeto
EP_42
número de análises de engenharia reversa
EP_93
número de novos processos e melhorias
significativas por ano
EP_93
número de sugestões de melhoria por
empregado
EP_93
EP_135
percentual de melhorias sugeridas que foram
implementadas
percentual do tempo que a equipe gasta em
contato direto com o cliente
MQT.9
conexões com outras
organizações de
pesquisa
EP_135
número de conexões com outras
organizações, os contratos e acordos de
pesquisa colaborativa
MQT.10
% tempo livre
EP_222
% do "tempo livre para invenções" dos
funcionários
MQT.11
% distribuição entre
tipos
EP_222
% de distribuição de novas ideias por tipo:
marketing, tecnologia, requisitos, redução de
custos, qualidade, etc.
EP_93
% dos empregados conscientes do
compartilhamento de políticas de inovação e
seus valores
% consciência dos
MQT.12 funcionários (políticas
e valores)
# projetos com times
multifuncionais
# mudanças de
MQT.14
departamento
número de projetos usando equipes
multifuncionais
número de empregados rodado entre os
EP_135
departamentos
% de projetos atrasados, cancelados devido à
EP_93
falta de financiamento
% atrasos por falta de
MQT.15
verba
número de projetos atrasados devido à falta de
EP_225
financiamento
% de projetos adiados ou cancelados devido à
EP_93
falta de recursos humanos
% atrasos por falta de
MQT.16
pessoal
número projetos atrasados devido à falta de
EP_225
recursos humanos
MQT.13
EP_135
EP_116
MQT.17
% envolvidos ffe
EP_141
EP_222
MQT.18 gastos com inovação
EP_116
número de pessoas comprometidas com a
tarefa de inovação (números absolutos e
relativos ao total de empregados)
número de pessoas que estiveram envolvidas
nas discussões iniciais do conceito de produto
% das equipes que tem a tarefa de inventar
novas ideias/conceitos
capital financeiro - P & D
80
gastos com melhoria
de equipamento
MQT.19
(relacionados com
inovação)
EP_205
financiamento adequado - gastos por item
(departamentos, patente, inovação ou
cientista)
EP_205
Aquisição de máquinas e equipamentos
novos, relacionados a inovações
EP_60
EP_93
EP_222
MQT.20
número de ideias
EP_225
EP_225
EP_227
MQT.21
número de ideias
avaliadas
MQT.22
# novas áreas
(negócios)
EP_93
EP_207
EP_222
EP_93
EP_93
EP_116
MQT.23
# patentes
EP_135
EP_141
EP_205
EP_207
MQT.24
# citações
EP_135
MQT.25
# publicações
EP_135
MQT.26
# licenças
MQT.27
tempo do conceito ao
protótipo
MQT.28
# revisões de projeto
/ relatórios técnicos
EP_116
MQT.29
# projetos rejeitados
EP_60
EP_93
EP_205
EP_144
EP_207
EP_42
MQT.30
% lideres /
funcionários treinados
EP_93
EP_222
número de projetos de P & D
novos produtos / ideias geradas
número de ideias geradas em um período
Número de novas ideias de produtos (ou
acessórios)
Número total de ideias geradas
# ideias geradas por unidade de tempo
Número de novas ideias de produtos ou
melhorias avaliados no ano passado
# ideias avaliados por unidade de tempo
Percentual de ideias de produtos aprovados
Número de novas área de negócios baseadas
em produtos/empresas começadas nos
últimos 5 anos
número de patentes
número ou o valor das patentes
número de patentes concedidas à empresa em
um determinado ano ou total
média do número de patentes
número ou o valor das patentes
número de patentes
número de citações das patentes de uma
empresa de artigos científicos
número de publicações em journals, palestras
e o número de relatórios técnicos
Número de licenças
Número de licenças
tempo gasto desde o conceito ao protótipo
tempo de ciclo médio
Estatísticas sobre o uso de métodos formais
de coleta de informações, tais como revisões
de projeto e o uso de relatórios técnicos
número de projetos rejeitados
% lideres de equipe treinados em técnicas de
criatividade
treinamento por empregado de P&D
% do pessoal de NPD que participou de
formação criativa
81
MQT.31
MQT.32
% pessoal treinado
em ferramentas de
inovação
% projetos utilizando
ferramentas p/
inovação
EP_135
percentual de funcionários de NPD com o
acesso e formação em recursos eletrônicos
EP_93
percentual de projetos em que sejam
aplicadas ferramentas específicas (FMEA,
QFD, métodos de prototipagem rápida,
Taguchi)
EP_222
Percentagem de projetos usando ferramentas
de gerenciamento de projetos (por exemplo,
QFD, FMEA)
EP_225
% De projetos que realmente usam o
pensamento sistemático, criativo e métodos e
ferramentas de mercado (por exemplo, TRIZ,
SIT, etc.)
Tabela 4.6, foram apresentam 32 métricas quantitativas e 39 métricas
qualitativas, respectivamente. Referem-se a como medir as atividades dos dois
modelos discutidos na seção 2.32.3 do referencial teórico e áreas relacionadas
a esses modelos: Khurana e Rosenthal; NCD (contando também motor e
fatores de influência), avaliando essas etapas definidas no FFE. As métricas
foram agrupadas em 6 áreas – qualidade do processo de inovação; definição
do conceito/produto; liderança estratégica; recursos humanos e financeiros;
resultados do processo; sistemas e ferramentas de apoio – com o objetivo de
facilitar um futuro mapeamento, mais amplo de todas as atividades do processo
de gestão da inovação.
Com essa classificação, será possível criar um guia com maiores detalhes
e com um espaço de alternativas bastante amplo para facilitar a construção de
um programa de medições GQM para todo o processo de inovação;
Posteriormente, na Tabela 4.7Tabela 4.7 e na Tabela 4.8Tabela 4.8 foi
feita uma analise inversa do GQM, buscando com que objetivo (motivos) as
referências encontradas na RSL utilizavam as métricas apresentadas. Com os
20 artigos trabalhados, foi feito um mapeamento de 71 métricas em 8 objetivos
principais já descritos na seção 4.24.2 anterior. Como pode ser percebido, os
objetivos encontrados nas referências, estão todos ligados principalmente a
avaliação/acompanhamento do processo (O1 – Garantir a qualidade do
processo de inovação; O2 – Avaliar a proficiência do processo de inovação; O6
82
– Garantir a qualidade do produto/ideia; O7 – Melhorar a avaliação de novos
conceitos), artefatos de entrada e saída (O3 – Garantir recursos adequados;
O4 – Avançar na criação de conhecimento) e áreas relacionadas (O5 –
Garantir acesso a ferramentas de suporte; O8 – Avaliar o alinhamento das
ações com a estrategia da organização) e que dão suporte para que seja
possível realizar as atividades do FFE.
Entretanto, as referências não tinham a visão de criar objetivos
específicos para só então atribuir métricas na tentativa de avaliar se eram
cumpridos. A partir das etapas do processo, eram utilizadas as métricas mais
diretas.
Posteriormente, na seção 4.34.3 foi discutida a abordagem do GQM para
o processo de inovação, utilizando como exemplos alguns objetivos de
melhoria encontrados nas referências da RSL e algumas propostas próprias
para melhorias de etapas do fuzzy front end do processo de inovação. Com um
objetivo em mente, fica mais fácil definir o que realmente precisa ser medido,
avaliado e como fazê-lo.
As organizações ainda sentem muita dificuldade em medir a performance
da geração de novos produtos além das métricas financeiras tradicionais. Por
isso, é recomendado que se faça uso do GQM para definir os objetivos
específicos da organização e endereçar os problemas e pontos de melhoria
que devem ser tratados em todo o processo de gestão da inovação.
Os resultados apresentados neste trabalho devem servir apenas como
ponto de partida para que organizações possam obter mais informações sobre
o uso de métricas e seus efeitos, assim como entender como construir um
sistema de avaliação do processo de inovação.
83
5
CONSIDERAÇÕES FINAIS
Neste capítulo são descritas as considerações finais do estudo,
separadas nas seguintes seções: resultados obtidos, limitações do estudo,
propostas de trabalhos futuros e conclusões obtidas com o trabalho.
5.1. RESULTADOS OBTIDOS
O objetivo principal desse trabalho foi identificar um conjunto de métricas
utilizadas no FFE e suas contribuições para o processo de inovação, no intuito
de ajudar as organizações a serem mais eficientes e eficazes na criação de
novos produtos. Dentre as contribuições, pode-se destacar:
Identificação de um conjunto de métricas utilizadas no Fuzzy Front End
do processo de inovação;
Levantamento dos principais estudos do estado da arte das métricas
para o FFE, provendo uma estruturada para melhor contextualizar os
objetivos desse trabalho;
Proposição da abordagem GQM para o processo de inovação utilizando
o FFE e suas métricas como exemplo;
Clarificação da área de pesquisa, mostrando a distribuição dos trabalhos
publicados ao longo dos últimos anos;
Identificação das principais fontes de busca e publicação e a cobertura
provida pelos engenhos de busca;
Criação de um protocolo de RSL que pode ser utilizado para expandir a
pesquisa para todo o processo de inovação;
5.2. LIMITAÇÕES DO ESTUDO
Apesar da preocupação em utilizar um quadro metodológico rigoroso,
esta pesquisa apresenta algumas limitações e ameaças a sua validade.
84
Primeiramente, as evidências do estudo foram coletadas de apenas de
vinte trabalhos. Apesar de a quantidade ser consistente com outras revisões
sistemáticas na área de engenharia de software, isso constitui uma limitação.
Este baixo número de trabalhos obtidos pode ser explicado pelo foco dado ao
FFE, não tão abordado como o processo de inovação como um todo.
Além disso, alguns trabalhos potencialmente relevantes foram excluídos
por não estarem disponíveis através da licença da UFPE. Mesmo previsto no
protocolo da revisão sistemática como um dos critérios de exclusão, esta
barreira inviabiliza a avaliação e possível inclusão desses estudos na revisão,
sendo
esta
uma
limitação
deste
trabalho.
Entretanto,
pesquisadores
interessados em superar as limitações da licença de acesso, podem utilizar
todo o pacote de pesquisa desse trabalho para replicar a pesquisa utilizando
outras fontes.
Outro fator foi a não realização da revisão por pares no processo de
busca e extração de dados. Isso representa uma limitação, mas é aceito por
KITCHENHAM (2007) para alunos de PhD que utilizam revisão sistemática
(nada foi dito sobre alunos de mestrado). Segundo ela basta que o orientador
da tese, assim como outros envolvidos, participe da revisão do protocolo e
revise partes da execução da revisão. Neste sentido, outros estudantes de
mestrado, o orientador e um revisor externo revisaram todo o protocolo de
estudo deste trabalho, onde alguns deles também revisaram a síntese dos
dados e o relatório de resultados.
5.3. TRABALHOS FUTUROS
Um trabalho também tem sua relevância avaliada pelas oportunidades de
trabalhos futuros que ele provê. Então, buscando obter tal importância, a seguir
são propostos alguns direcionamentos para novas pesquisas que identificados
a partir desta pesquisa.
85
Extensão da pesquisa levando em conta todo o processo de inovação,
buscando os principais objetivos de melhoria do processo e da
avaliação da capacidade inovativa das organizações, ampliando a
quantidade de áreas de métricas e seus objetivos;
Propor um guia inicial de GQM para gestão da inovação como um
todo;
Avaliação e refinamento do estudo através de uma pesquisa de
campo, com a realização de entrevistas com especialistas da área
para definição de objetivos e métricas para o processo de inovação;
Definição e desenvolvimento de uma ferramenta baseada no processo
GQM para o processo de inovação;
5.4. CONCLUSÕES
Existem evidências na literatura mostrando que é importante medir e
avaliar o processo de inovação e que a melhoria das etapas do FFE é de
extrema importância para trazer vantagem competitiva para as organizações.
Entretanto, medir o FFE e algumas outras etapas é uma tarefa difícil. Na
tentativa de facilitar essa prática, é sugerido utilizar a abordagem GQM.
Este estudo identificou sistematicamente as métricas utilizadas no FFE e
os objetivos de utilizá-las. Porém, ainda é necessário aprofundar as pesquisas
na direção de ampliar a pesquisa para todo o processo de inovação.
86
REFERÊNCIAS
ALLIO, M. Metrics that matter: seven guidelines for better performance
measurement. Handbook of Business Strategy, v. 7, n. 1, p. 255-263., 2006.
ANDREW, J. P.; HAANÆS, K.; MICHAEL, D. C.; HAROLD, S. L.; TAYLOR, A.
Measuring Innovation 2009, The Need for Action. BCG Senior Management
Survey, 2009.
BACKMAN, M.; BÖRJESSON, S.; SETTERBERG, S. Working with concepts in
the fuzzy front end: exploring the context for innovation for different types of
concepts at Volvo Cars. R&D Management, v. 38, n. 1, p. 17–28, 2007.
BACON, F.; BUTLER, T.; Achieving Planned Innovation: A proven system for
creating successful new products and services. 3. ed. New York: The Free
Press, 1998.
BASILI, V.; CALDIERA, G.; ROMBACH, H.D. Experience Factory. In: Marciniak,
J.J. (Ed.). Encyclopedia of Software Engineering, New York: John Wiley &
Sons, v. 1, pp. 469-476, 1994.
BAUMOL, William J. (2002). The Free-Market Innovation Machine. Princeton
University Press, 2002.
BEVEN, P. W.; EC, M.; DIP, G.; MAN, F. New Product Development in Start-up
Technology-Based Firms ( STBFs ). by. Development, , n. April, 2007.
BRENTANI, U.; RAGOT, E. Developing new business-to-business professional
services: What factors impact performance? Industrial Marketing Management ,
v. 25, n. 3, p. 517-530,1996.
Calantone, R., Cooper, R. G. New Product Scenarios: Prospects for Success.
Journal of Marketing, Vol. 45, No. 2, pp. 48-60. 1981.
CASAROTTO FILHO, Nelson; PIRES, Luis Henrique. Redes de pequenas e
médias empresas e desenvolvimento local: estratégias para a conquista da
competitividade global com base na experiência italiana. São Paulo: Atlas,
2001.
CEDERGREN, S.; WALL, A.; NORSTRÖM, C. Evaluation of performance in a
product development context. Business Horizons. 2010.
CHIESA, V., COUGHLAN, P., e VOSS, C. Development of a technical
innovation audit., 1996.
87
COOPER, G.; KLEINSCHMIDT, E. J. (1995) ‗Benchmarking firms‘ new product
performance and practice", Engineering Management Review, 23, 3, Fall 1995,
pp. 112-120. 1995.
COOPER, G.; KLEINSCHMIDT, J. An investigation into the new product
process: Steps, deficiencies and impact. Journal of product innovation
management, New York, V. 3, n.1, p. 71-85, 1986.
COOPER, R. G. Winning at New Products: Accelerating the Process from Idea
to Launch. 3ª edição. Cambridge, Massachusetts: Perseus Publishing. 425 p.
2001.
COOPER, R.; EDGETT, S. NPD Practices: The dark side of time and time
metrics in product innovation. PDMA Visions Magazine, 2002.
COOPER, R.G. From experience: the invisible success factors in product
innovation. Journal of Product Innovation Management, New York, v.16, n. 2,
p.115– 33, 1999.
COOPER, R.G. Identifying industrial new product success: Project NewProd.
Industrial Marketing Management, v.8, n. 2, p. 124– 35, 1979.
COOPER, R.G. Overhauling the New Product Process. Industrial Marketing
Management, v. 25, n.6 , p. 465-482, 1996.
COOPER, R.G. Stage-Gate Systems: A New Tool for Managing New Products.
Business Horizons, v.33, n. 3, p. 44-53, 1990.
DYBÅ, T.; KITCHENHAM, B.; JØRGENSEN, M. Evidence-based Software
Engineering for Practitioners, IEEE Software, v. 22, n. 1, p. 58-65, 2005.
EDEN, D. (1998), "Pygmalion, goal setting, and expectancy: compatible ways to
boosting productivity", Academy of Management Review, Vol. 13 N 4, pp. 639652
EDGETT, S. The new product development process for commercial financial
services. Industrial Marketing Management, v. 25, n. 6, p. 507– 515, 1996.
FEINSTEIN, A.R.; HOROWITZ, R.I. Problems with the ―Evidence‖ of ―EvidenceBased Medicine‖, The American Journal of Medicine, vol. 103, no. 6, pp. 529–
535, 1997.
FINEP – Financiadora de Estudos e Projetos. Manual de Oslo: Proposta de
diretrizes para coleta e interpretação de dados sobre inovação tecnológica,
2006. Tradução oficial realizada pela FINEP/Brasil, baseada na versão original
da OECD de 2005.
88
GANGULY, A.; NILCHIANI, R.; FARR, J. V. Evaluating agility in corporate
enterprises. International Journal of Production Economics, v. 118, n. 2, p. 410423, 2009.
GLASER, B. G.; STRAUSS, A.L. The Discovery of Grounded Theory:
Strategies for Qualitative Research. 8. Ed. Chicago, IL: Aldine Publishing, 1967.
GRIFFIN, A.; PAGE, A. PDMA success measurement project: recommended
measures for product development success and failure. , v. 6782, n. 96, p. 478496., 1996.
HAUSER, J. R.; ZETTELMEYER, F. Metrics to Evaluate R , D & E by. Europe, ,
n. 617, 1996.
HBE – Harvard Business Essentials. Managing creativity and innovation.
Harvard Bussiness School Press, Boston, Massachusets. 2003.
JEFFREY THIEME, R.; MICHAEL SONG, X.; SHIN, G. Project Management
Characteristics and New Product Survival. Journal of Product Innovation
Management, v. 20, n. 2, p. 104-119., 2003.
JIMÉNEZ-ZARCO, A.; MARTÍNEZ-RUÍZ, M.; GONZÁLEZ-BENITO, Ó.
Performance measurement system (pms) integration into new product
innovation: a literature review and conceptual framework. Academy of
Marketing Science Review, v. 9, 2006.
Johannessen, Jon-Arild, Olsen, Bjorn e Lumpkin, G.T. (2001). Innovation as
newness: what is new, how new, and new to whom? European Journal of
Innovation Management, 4(1), 20-31.
KHAN, K.S., TER RIET, G., GLANVILLE, J., SOWDEN, A.J., KLEIJNEN, J.
(Eds.), Undertaking Systematic Review of Research on Effectiveness. CRD
Report Number 4 (2ª edição), NHS Centre for Reviews and Dissemination,
University of York, UK, 2001.
KHURANA, A.; ROSENTHAL, S.R. Towards holistic ‗front ends‘ in new product
development. Journal of Product Innovation Management, v. 15, p. 57–74,
1998.
KIM, B.; KIM, J. Structural factors of NPD (new product development) team for
manufacturability. International Journal of Project Management, v. 27, n. 7, p.
690-702. Elsevier Ltd and IPMA, 2009.
KIM, J.; WILEMON, D. Focusing the fuzzy front-end in new product
development. R&D Management, v. 32, n. 4, p. 269-279, 2002.
89
KITCHENHAM, B. A. (2004). Procedures for Performing Systematic Reviews.
joint technical report, Software Engineering Group, Keele Univ., and Empirical
Software Eng., Nat'l ICT Australia, 2004.
KITCHENHAM, B.; ―Guidelines for performing systematic literature reviews in
Software Engineering,‖ Software Engineering Group, School of Computer
Sciences and Mathematics, Keele University, and Department of Computer
Science, University of Durham, 2007.
KITCHENHAM, B.; DYBÅ, T.; JØRGENSEN, M. Evidence-based Software
Engineering, In: International Conference on Software Engineering, 26;
Edinburgh, Proceedings. Washington: IEEE Computer Society, pp. 273—281.,
2004.
KOEN, P. A., AJAMIAN, G., BOYCE, S., CLAMEN, A., FISHER, E.,
FOUNTOULAKIS, S., et al. Fuzzy-front end: effective methods, tools and
techniques. In P. Belliveau, A. Griffin, & S. Sorermeyers (Eds.), PDMA toolbook
for new product development (pp. 2e35). John Wiley and Sons, 2002.
KUCZMARSKI, T.; SHAPIRO, T. Measuring your return on innovation.
Marketing Management, v. 9., 2000.
LATHAN, G. P. e LOCKE, E. A. (1979), "Goal Setting - a motivational technique
that works", Organizational Dynamics, Vol. 8 N 2, oo 68-80
MARCONI, M. A.; LAKATOS, E.M. Metodologia Científica. 3. ed. São Paulo:
Atlas, 2004.
McGuiness, N. e Conway, A. Managing the search for new product concepts: a
strategic approach, R&D Management, vol. 19, pp. 297-308, 1989.
MOENAERT, R.K.; DE MEYER, A.; SOUDER, W.E.; DESCHOOLMEESTER,
D. R&D/marketing communication during the fuzzy front-end. IEEE
Transactions on Engineering Management, v. 42, p. 243 – 258. 1995.
MONTEIRO, C.; ARCOVERDE, D. F.; DA SILVA, F. Q. B.; FERREIRA, H. S.
Software Support for the Fuzzy Front End Stage of the Innovation Process: a
Systematic Literature Review. In: The 5TH International Conference on
Management of Innovation and technology, 2010, ICMIT2010, Singapura.
MONTEIRO, C.; ARCOVERDE, D.; FERREIRA, H. ―conceitos e teorias do
processo de inovação‖, 2009.
MORRIS, L. Innovation metrics: The Innovation Process and How to Measure
It. InnovationLabs White Paper, 2008.
90
MULLER, A.; VÄLIKANGAS, L.; MERLYN, P. Metrics for innovation: guidelines
for developing a customized suite of innovation metrics. Strategy & Leadership,
v. 33, n. 1, p. 37-45., 2005.
MYTELKA, Lynn K. (2000). Local Systems of Innovation in a Globalized World
Economy. Industry and Innovation, Vol. 7, N. 1, pp. 15-32.
NAYLOR, J. C. e ILGEN, D. R., "Goal setting: a theoretical analysis of a
motivational technology", Research in Organizational Behavior, Vol 6, pp. 95140, 1984.
OATES, B.J.; CAPPER, G. Using systematic reviews and evidence-based
software engineering with masters students. In: 13TH International Conference
on Evaluation and Assessment in Software Engineering (EASE); United
Kingdom:BSC, 2009.
PINTEC. Pesquisa Industrial Inovação Tecnológica, 2005. Rio de Janeiro.
Disponível
em:
<http://www.ibge.gov.br/home/estatistica/economia/industria/pintec/2005/pintec
2005.pdf>. Acesso em: janeiro de 2009.
PMBOK. Um Guia do Conjunto de Conhecimentos em Gerenciamento de
Projetos, Newtown Square, Four Campus Boulevard: Project Management
Institute 3. ed., 2004.
PORTER, M. & STERN, S., Inovação e Localização de Mãos Dadas, HSM
Management, nº 30, ano 5, p. 118-125, Janeiro-Fevereiro, 2002.
Reid, S. E., Brentani, U. de (2004). The fuzzy front end of new product
development in discontinuous innovations: a theoretical model. Journal of
Product Innovation Management, 21(3): 170-184.
REINERTSEN, D. Streamlining the fuzzy front-end. World Class Design to
Manufacture, v. 1, n. 5, p. 4-8. , 1994.
RODRIGUES, C., FERNANDES, E. e MARTINS, F. Innovativeness and
network competence: an integration and empirical examination, 13th.
International Product Development Management Conference, Part 3 (3), (12311245), Milão, Itália, 2006.
ROSENTHAL, S. R. e MARCH, A. (1988), "Speed-to-market: disciplines for
product design and development", Executive Summary of Research Findings
and Conference Proceedings, Boston University School of Management,
Manufacturing Roundtable.
91
SACKETT, D.L.; STRAUS, S.E.; RICHARDSON, W.S.; Rosenberg W.;
HAYNES, R. B. Evidence-Based Medicine: How to Practice and Teach EBM. 2.
ed. New York: Churchill Livingstone, 2000.
SCHUMPETER, J.A.; The Theory of Economic Development. Cambridge:
Harvard University Press, 1934.
SEAMAN, C.B.; Qualitative methods in empirical studies of Software
Engineering. IEEE Transactions on Software Engineering, v. 25, n. 4, p. 557–
572, 1999.
SMITH, P.G.; REINERTSEN, D.G. Shortening the product development cycle.
Research Technology Management, v. 35, p. 44–49, 1992.
STORPER, M. (1995). The Resurgence of Regional Economies, Ten Year
Later: the Region as a Nexus of Untraded Interdependencies. European Urban
and Regional Studies, 2(3), 191-221.
THE BOSTON CONSULTING GROUP. Innovation 2010 A Return to
Prominence—and the Emergence of a New World Order., 2010.
TRAVASSOS, G., BIOLCHINI J. Revisões Sistemáticas Aplicadas a
Engenharia de Software. In: XXI SBES - BRAZILIAN SYMPOSIUM ON
SOFTWARE ENGINEERING; 2007, João Pessoa. Anais... João Pessoa:[s.n],
2007
TROTT, P. Innovation Management and New Product Development, 3. ed.,
Harlow: Prentice Hall, 536 p. 2005.
TURRELL, M., ―Show me the numbers: A look at innovation metrics,‖ Imaginatik
working paper, 2004.
VAN SOLINGEN, R.; BERGHOUT, E. The Goal/Question/Metric Method: a
practical guide for quality improvement of software development. McGraw-Hill
Professional, v. 1st, 1999.
VERWORN, B. A structural equation model of the impact of the ―fuzzy front
end‖ on the success of new product development. Research Policy, New York,
v.38, p. 1571-1581, 2009.
WILLE, G. M. F. C. Desenvolvimento de Novos Produtos: As Melhores Práticas
em Gestão de Projetos em Indústrias de Alimentos do Estado do Paraná. Tese
(Doutorado no Programa de Pós-Graduação em Tecnologia de Alimentos) –
Universidade Federal do Paraná, 2004.
WILLE, G. M. F. C.; WILLE, S. A.; KOEHLER, H. S.; FREITAS, R. J. S.;
HARACEMIV, S. M. C. Práticas de desenvolvimento de novos produtos
92
alimentícios na indústria paranaense. Rev. FAE, Curitiba, vol. 7, no. 2, p.33-45,
jul./dez. 2004.
WOOD, I. M. Measuring Innovation, Guidelines for setting KPIs to accelerate
innovation. , 2005.
93
APÊNDICE A – PROTOCOLO DA REVISÃO SISTEMÁTICA DA LITERATURA
Neste apêndice é detalhado o protocolo da revisão sistemática. Foi
desenvolvido por uma equipe de cinco pessoas: três alunos de mestrado,
Henrique Ferreira, Cleviton Monteiro e Daniel Arcoverde; o orientador da
pesquisa, Fabio Q. B. da Silva; e o revisor externo, Guilherme Travassos.
O protocolo foi criado para dar suporte à execução das três pesquisas dos
alunos de mestrado que buscavam resolver questões de uma mesma área, a
Gestão da Inovação; portanto, sua versão completa possuía informações
relativas aos três trabalhos. Desta forma, optou-se por omitir as informações
relativas aos demais, assim como seções de menor importância ou já
apresentadas neste trabalho - Histórico de revisões, sumário e o background
da pesquisa.
PROTOCOLO
Revisão Sistemática da Literatura em Gestão de Inovação
94
Equipe
Nome
Afiliação
Papel
Daniel de França
Arcoverde
CIn – Universidade Federal de Pernambuco
Autor
Cleviton Vinicius
Fonseca Monteiro
CIn – Universidade Federal de Pernambuco
Autor
Henrique Santos
Ferreira
CIn – Universidade Federal de Pernambuco
Autor
Fabio Q. B. da Silva
CIn – Universidade Federal de Pernambuco
Co-autor e Revisor
Interno
Guilherme Horta
Travassos
COOPE – Universidade Federal do Rio de
Janeiro
Revisor Externo
95
A1
INTRODUÇÃO
Revisões sistemáticas são utilizadas para realizar revisões abrangentes da
literatura de maneira não tendenciosa e repetível. Seu objetivo é apresentar
uma justa avaliação de um tópico de pesquisa, através de uma metodologia
rigorosa, confiável e auditável. Dessa forma, seus resultados possuirão valor
científico conforme mencionado por Travassos e Biolchini [2007].
As vantagens desse tipo de revisão com relação à tradicional são: estudo
não tendencioso, mais abrangente, de maior qualidade e com maior rigor
científico. Dentre as razões de se realizar revisões sistemáticas, Travassos e
Biolchini [2007] apontam:
Identificar lacunas na pesquisa atual,
Sumarizar evidências existentes para um determinado fenômeno,
Apoiar a geração de novas hipóteses e
Fornecer um arcabouço para posicionar novas pesquisas.
Uma vez que a metodologia de uma revisão sistemática precisa ser bem
definida, esta se inicia com a elaboração de um protocolo que contém as
questões de pesquisa e a estratégia geral a ser seguida no estudo. De forma
mais detalhada, o protocolo deve conter as questões de pesquisa, ou seja, as
perguntas que se deseja responder com o estudo, a estratégia de busca dos
estudos primários, os critérios de inclusão/exclusão destes na revisão, o
procedimento de avaliação da qualidade dos mesmos, a forma como os dados
serão extraídos e sintetizados e, por fim, a estratégia de documentação e
apresentação dos resultados.
Portanto, este documento apresenta o protocolo da revisão sistemática
que busca realizar um estudo sobre os impactos proporcionados pelas
ferramentas de suporte ao Fuzzy Front End do processo de inovação. Este
esforço se insere nas pesquisas de três dissertações de mestrado que
possuem o objetivo comum de eliminar ou reduzir as falhas no FFE do PDNP
96
de software através da identificação dos fatores e práticas que levam ao
sucesso e/ou diminuem o fracasso, apontando possíveis soluções.
A2
PERGUNTAS DE PESQUISA
A questão de pesquisa que irá guiar este estudo será apresentada a seguir. Ela
foi detalhada no formato de Foco, População, Intervenção, Resultados e
Contexto.
Q. Quais métricas são utilizadas para dar suporte ao FFE
na criação de produtos inovadores?
Foco da questão de pesquisa: Identificar e sumarizar as principais
métricas utilizadas - na indústria e/ou academia - durante as atividades do FFE
na criação de produtos inovadores.
População: o Fuzzy Front End
Intervenção: medição do FFE
Resultado: métricas utilizadas no FFE
Contexto: Organizações inovadoras
A3
ESTRATÉGIA DE BUSCA
A estratégia usada para construir os termos de busca é apresentada a seguir:
a) Derivar os principais termos a partir das questões de pesquisa por
identificar população, intervenção, comparação (quando for o caso),
resultados e contexto (quando for o caso);
b) Identificar uma lista de sinônimos, abreviações e grafias alternativas
para cada um dos principais termos. Para auxiliar na identificação de
outros termos faremos uso de palavras encontradas em artigos, livros e
internet que são sinônimos ou grafias alternativas dos termos principais;
97
c) Construir strings de busca usando OR e AND para incorporar os
sinônimos e abreviações e para unir os principais termos derivados das
questões de pesquisa, respectivamente;
d) Verificar as strings de busca construídas realizando buscas piloto e
comparando os resultados obtidos com uma lista de estudos primários já
conhecidos;
e) Realizar mudanças, se necessário
Resultados para o passo (a)
Q:
métricas
utilizadas
nas
etapas
do
FFE
do
processo
de
desenvolvimento de novos produtos inovadores
Resultados para o passo (b)
Como mencionado no passo (b), artigos, livros e internet foram as
principais fontes de sinônimos, abreviações e grafias alternativas para cada um
dos termos principais. Neste sentido, foi de grande utilidade o uso de revisões
sistemáticas que utilizaram algumas palavras iguais às que utilizamos.
Para
exemplificar
como
sinônimos
e
grafias
alternativas
foram
identificados para os principais termos, tomemos o termo Fuzzy Front End
como exemplo. Em artigos, livros e na internet os sinônimos encontrados
foram: front end of innovation, innovation front end, pre-development ou
predevelopment (Cooper and Kleinschmidt 1994), pre-project activities
(Verganti 1997), pre-phase 0 (Khurana and Rosenthal 1997/1998) e concept
generation stage (Griffin, 1997). Estes resultados foram obtidos através de
revisões tradicionais realizadas na literatura com o intuito de conhecer
trabalhos relacionados aos tópicos de estudo.
Em particular, o acrônimo FFE foi removido da string de busca porque
retornavam trabalhos com as letras FFE como parte de palavras, como por
exemplo, na palavra different. Por isso, e por entendermos que nenhum artigo
sobre o assunto tenha o termo FFE e não tenha Fuzzy Front End por extenso,
a decisão foi mantida.
98
Alguns termos foram separados em dois ou mais termos para melhor
adequação da string. Por exemplo, o termo ―projeto de desenvolvimento de
produtos inovadores‖ seria dividido em ‖projeto de desenvolvimento‖ e ‖produto
inovador‖. Além disso, em muitos casos onde o plural ou alguma outra variação
da palavra era permitido, utilizamos asterisco (*) para truncar tais palavras. É o
caso de product* que pode encontrar product e products, e differen* que pode
encontrar difference, differences e different, por exemplo. Para fins de
entendimento, os termos principais e alternativos são dados a seguir:
Métricas: metric* OR measure OR measurement
OR KPI OR ―key
performance indicator‖
Fuzzy Front End: "fuzzy front end" OR "fuzzy front-end" OR "innovation
front end" OR "innovation front-end" OR "front end * innovation" OR
"front-end * innovation" OR "pre-development" OR predevelopment OR
"pre-phase 0" OR "pre phase 0" OR "prephase 0" OR "stage 0" OR "preproject" OR "pre project" OR preproject OR "concept generation"
Produto inovador: "innovative product*" OR "major product*" OR "new
product*" OR "radical product*" OR "breakthrough product*" OR
"incremental product*" OR "sustaining product*" OR "evolutionary
product*" OR "product innovation"
Resultados para o passo (c)
A String de busca encontrada inicialmente para a questão de pesquisa foi:
Q. (metric* OR measure OR measurement OR KPI OR "key
performance indicator") AND ("fuzzy front end" OR "fuzzy front-end"
OR "innovation front end" OR "innovation front-end" OR "front end *
innovation" OR "front-end * innovation" OR "pre-development" OR
predevelopment OR "pre-phase 0" OR "pre phase 0" OR "prephase
0" OR "stage 0" OR "pre-project" OR "pre project" OR preproject OR
"concept generation") AND ("innovative product*" OR "major
product*" OR "new product*" OR "radical product*" OR "breakthrough
product*" OR "incremental product*" OR "sustaining product*" OR
"evolutionary product*" OR "product innovation")
Resultados para o passo (d)
99
A adequação das strings de busca, de modo que não fossem nem
restritas demais nem abrangentes demais, foi uma preocupação constante no
desenvolvimento deste protocolo. Assim como previsto no passo ―d‖, buscas
piloto foram realizadas em vários engenhos de busca e vários testes foram
feitos com variações da String de busca.
Ao final das verificações, testes e adequações, a string de busca foi
alterada apenas em engenhos específicos devido a limitações dos mesmos.
Essas alterações são detalhadas no apêndice C.
A4
SELEÇÃO DE FONTES
O objetivo desta seção é apresentar as fontes onde serão executadas as
buscas por estudos primários.
Os critérios para seleção das fontes são:
Disponibilidade de consultar os artigos na web;
Presença de mecanismos de busca usando palavras-chave (keywords);
Importância e relevância das fontes. Este critério será identificado pela
presença das fontes em importantes revisões sistemáticas e por
sugestão de especialistas.
Quanto ao idioma utilizado para a pesquisa, utilizaremos o inglês por ser
a língua utilizada nas bases de dados eletrônicas consultadas e por ser
considerada e adotada como língua oficial. O processo ou método de busca
será manual e baseado em engenhos de busca disponíveis na web.
Além disso, este trabalho objetiva fazer uma revisão que vai além da
Engenharia de Software. Uma revisão tradicional realizada para conhecimento
do tema e busca de problemas na área demonstrou que a maioria desses
estudos relevantes não está na Engenharia de Software, mas em disciplinas
como Gerenciamento, Marketing, Operação e Produção, Engenharia, Design,
entre outras. Para resolver este problema, Kitchenham (2007) propôs a busca
por estudos primários em outras disciplinas. Assim, para prover uma completa
100
e exaustiva revisão sistemática dessas questões de pesquisa, estudos de
diversas áreas serão considerados.
A lista de fontes, inicialmente apenas bibliotecas digitais, é apresentada a
seguir. Todas as fontes satisfazem os critérios para seleção de fontes
estabelecidos anteriormente.
A5
FONTES DE BUSCA
Os seguintes engenhos de busca serão utilizados como fonte de pesquisa:
IEEE Explore (httt://ieeexplore.ieee.org/)
ACM Digital Library (http://portal.acm.org)
Wiley InterScience (http://www3.interscience.wiley.com/)
ScienceDirect – Elsevier (http://www.sciencedirect.com)
Scirus (http://www.scirus.com/)
EI Compendex (http://www.engineeringvillage2.org)
Scopus (http://www.scopus.com)
Emerald (http://www.emeraldinsight.com)
Algumas fontes foram inicialmente consideradas como potenciais para as
buscas. Entretanto, estas foram posteriormente excluídas da lista final de
fontes apresentada nesta seção por terem sido classificadas como sendo de
menor importância e relevância. Pois algumas não estão presentes em
importantes revisões sistemáticas, não foram recomendadas por especialistas,
já são indexadas por alguma das fontes listadas acima, ou permitem que
apenas poucas palavras sejam utilizadas na busca. Estas fontes são: Citeseer
Library, InspecDirect e IET Discover (ferramenta de Social Bookmarking),
Springer Link, Google e Google Scholar.
Jornais e Conferências
101
Inicialmente não foram listados Jornais e Conferências específicos como fontes
de pesquisa, pois os engenhos de busca que serão utilizados já indexam
muitos deles. Caso sejam encontrados Jornais e Conferências importantes que
estejam fora do alcance dos engenhos de busca ou que sejam apenas
parcialmente alcançados pelos engenhos, eles serão adicionados como fonte.
A6
SELEÇÃO DE ESTUDOS
Para este trabalho resolvemos considerar muitos tipos de estudos relacionados
ao tópico de pesquisa, incluindo:
artigos em jornais (journals) e revistas e em anais de conferências e
congressos;
relatórios técnicos (technical reports), preprints e white papers;
dissertações de mestrado e teses de doutorado;
A extensão da busca se justifica pela possibilidade de encontrarmos
estudos relevantes para este trabalho em qualquer destas fontes, além de
evitarmos a inclusão de algum tipo de viés na pesquisa. No caso de livros e
outros materiais não disponíveis na web, será verificada a possibilidade de
compra. Por isso, preferimos não excluir de imediato livros de nossa revisão
sistemática.
Uma vez que estudos primários potencialmente relevantes tenham sido
obtidos, eles precisam ser analisados para que a sua relevância seja
confirmada e trabalhos com pouca relevância sejam descartados. Isso será
alcançado através do uso de critérios de inclusão, hierarquia de evidência e
avaliação da qualidade do estudo. As três medidas serão explicadas.
A seguir são definidos os critérios para inclusão de estudos.
102
A7
CRITÉRIOS DE INCLUSÃO DOS ESTUDOS PRIMÁRIOS
Os estudos incluídos na revisão sistemática deverão obedecer todos os
critérios listados abaixo:
a) Trabalhos que estejam disponíveis livremente para consulta na web ou
através de licenças de permissão obtidas pela Universidade Federal de
Pernambuco – UFPE (Portal CAPES);
b) Trabalhos que sejam classificados em algum dos tipos de trabalhos
citados anteriormente nesta seção;
c) Trabalhos que citem métricas utilizadas nas etapas do FFE do processo
de desenvolvimento de novos produtos. Etapas descritas nos modelos
de FFE propostos por Khurana e Rosenthal (1998) e Koen et al. (2002);
d) Trabalhos que apresentem texto, conteúdo e resultados completos e
concluídos;
e) Trabalhos que sejam escritos em inglês;
f) Estudo não duplicado. Se algum trabalho tiver sido apresentado em
diferentes publicações, apenas o mais recente e/ou o mais completo
será incluído, a menos que tenham informação complementar;
g) Quando houver dúvida em relação à inclusão ou exclusão de um
trabalho, este deverá ser incluído.
A8
CONFIABILIDADE DAS DECISÕES DE INCLUSÃO
Quando dois ou mais pesquisadores avaliarem o mesmo artigo, as
divergências precisarão ser discutidas e resolvidas [Kitchenham, 2007]. Se os
pesquisadores não entrarem em consenso sobre a inclusão ou exclusão do
artigo, o orientador será contatado para resolver a questão e dar a orientação
adequada. Em caso de dúvidas ainda, informações adicionais podem ser
solicitadas ao(s) autor(es) do artigo.
103
A9
PROCESSO DE SELEÇÃO DOS ESTUDOS PRIMÁRIOS
O processo de seleção dos estudos primários consistirá de uma busca
primária e secundária que serão apresentadas nos seguintes passos:
a. Dois ou mais pesquisadores executam o processo de busca em cada
uma das fontes selecionadas. Essa busca é a chamada busca primária.
b. Os estudos encontrados pelo processo de busca são avaliados
mediante a leitura do título do artigo e, se necessário o resumo
(abstract), para verificar estudos que são claramente irrelevantes para
as questões de pesquisa. Segundo Kitchenham (2007), as buscas
iniciais retornam uma grande quantidade de estudos que não são
relevantes, não respondendo às questões ou mesmo não tendo relação
com o tópico em questão. Portanto, estudos que claramente não tenham
relação com o tópico em questão serão descartados logo de início e não
serão mantidos em nenhuma lista de estudos excluídos. Os demais
artigos serão documentados numa lista de artigos potencialmente
relevantes encontrados. Se houver dúvidas quanto ao artigo, o mesmo
deve ser avaliado no próximo passo.
c. Os estudos listados como artigos potencialmente relevantes são
avaliados por dois pesquisadores através da verificação dos critérios de
inclusão estabelecidos. A verificação é executada mediante a leitura do
resumo (abstract), introdução e, se necessário, da conclusão do artigo.
Além disso, é permitido que buscas sejam feitas nos artigos por
palavras-chave para verificar sua adequação. Nesse ponto, cada um dos
artigos incluídos ou excluídos será documentado de acordo com o
Formulário de Coleta de dados (Formulários A e B) apresentados no
final desta seção.
d. Posteriormente, todos os artigos incluídos serão lidos por inteiro para a
extração de dados e avaliação da qualidade. Para cada trabalho
incluído, seus dados serão extraídos e colocados no formulário C,
104
apresentado na seção de extração de dados desse protocolo, assim
como sua avaliação de acordo com os critérios de qualidade;
e. Para cada referência presente nos trabalhos incluídos na busca
primária, deverão ser executados os passos ―c‖ e ―d‖. Ou seja, será
verificado se as referências dos trabalhos também devem ser incluídas
no estudo de acordo com os critérios e inclusão. Em caso positivo,
esses trabalhos terão seus dados extraídos. Essa busca nas referências
dos trabalhos é chamada de busca secundária.
f. Caso um artigo lido por completo não passe nos critérios de inclusão,
poderá ser removido e essa exclusão também deverá ser documentada.
A seguir são apresentados os formulários A e B que serão utilizados para
armazenar os dados dos trabalhos incluídos e excluídos dessa revisão
sistemática. Neles o campo ―tipo de estudo‖ deverá ser preenchido com um dos
tipos de estudo listados na seção de avaliação da qualidade dos estudos. Já o
campo ―local de publicação‖ deverá ser preenchido com o local onde o artigo
foi publicado, a exemplo do nome do periódico ou dos anais de congressos,
conferências, etc.
Formulário A
O formulário A deverá ser utilizado para armazenar dados relativos aos
trabalhos incluídos no estudo.
Trabalhos Incluídos
ID
Título
Ano
Tipo de Estudo
Local de Publicação
Data
Formulário B
105
O formulário B deverá ser utilizado para armazenar dados relativos aos
trabalhos não incluídos no estudo.
Trabalhos Excluídos
ID
Título
Local de Publicação Critério usado para Exclusão
Data
A 10 DOCUMENTAÇÃO DO PROCESSO DE BUSCA
De acordo com Kitchenham (2007), o processo de execução de revisão
sistemática deve ser transparente e replicável. Assim, a busca deve ser
documentada à medida que ela é executada e as mudanças devem ser
anotadas e justificadas quando ocorrerem.
Para atender a esta exigência da SLR, essa seção aborda as limitações e
adaptações que podem ocorrer no processo de busca definido neste protocolo.
Os primeiros desafios encontrados foram relacionados às fontes de
busca, as quais em alguns momentos requisitaram adaptações do processo.
Por exemplo, em algumas fontes não é possível utilizar a string de busca
completa. Então será utilizada parte dela em uma primeira busca, e a parte
restante para pesquisar dentro dos resultados da primeira busca, simulando o
conectivo ―AND‖ e obtendo o mesmo resultado final.
Para cada engenho serão mantidas informações que permitam ao leitor
avaliar a confiabilidade da pesquisa. Os detalhes acerca da busca, bem como
os resultados de adaptações deverão ser documentados no formulário D a
seguir.
106
Formulário D
Questão de Pesquisa Q7
Biblioteca digital: <Nome do
Data da busca: <Data de realização da busca>
engenho de busca>
String de busca:
<A String de busca utilizada>
Estratégia de busca:
<Estratégia de busca utilizada>
Número de resultados
<Número total de resultados retornados>
A 11 AVALIAÇÃO DA QUALIDADE DOS ESTUDOS
Em adição aos critérios gerais de inclusão e exclusão, é considerado
importante avaliar a qualidade dos estudos primários [Kitchenham, 2004]. Uma
avaliação da qualidade desses estudos serve para determinar a força das
inferências e para atribuir notas a recomendações geradas [Khan et al., 2001].
Apesar de não existir uma definição universal do que seja qualidade de estudo,
a maioria dos checklists incluem questões que objetivam avaliar a extensão em
que o viés é minimizado e a validação interna e externa são maximizadas
[Khan et al., 2001; Kitchenham, 2007].
O CRD Guideline sugere o uso de algum tipo de avaliação do estudo a
fim de garantir um limite mínimo de qualidade. A avaliação de qualidade foca
principalmente em avaliar a validade interna dos estudos, enquanto que as
medidas população, intervenção e resultados ajudam a medir a validade
externa.
Com o propósito de ajudar na determinação desse limite de qualidade
(quality threshold) para os estudos primários, algumas questões foram
definidas para endereçar cada um dos constructos relacionados à qualidade:
107
viés, validade interna e externa. Os critérios de qualidade considerados estão
disponíveis no formulário C da seção de extração dos dados.
Como pode ser observado no formulário, ele contém critérios gerais, que
deverão ser aplicadas a qualquer tipo de estudo, e alguns específicos para
cada tipo. Além disso, também serão utilizados critérios relacionados à questão
de pesquisa dessa revisão.
Cada critério do formulário de avaliação de qualidade deverá ser
respondido segundo a escala Likert cinco, apresentada abaixo:
Discordo completamente (0)
Discordo parcialmente (1)
Nem concordo nem discordo (2)
Concordo parcialmente (3)
Concordo completamente (4)
A cada item da escala Likert será atribuído um valor escalar, indicado
entre parênteses, que será considerado o valor pontuado na questão. A
pontuação final do trabalho será obtida pela soma algébrica dos valores
individuais de cada questão.
A 12 TIPOS DE ESTUDOS
Os tipos de estudos são classificados conforme Easterbrook (2007):
Experimentais;
Teóricos e Design;
Secundários.
Os estudos experimentais são aqueles baseados em evidências diretas
ou experimentos. Já os teóricos são estudos conceituais e baseados em um
entendimento de uma área, referenciando outros trabalhos relacionados. Por
108
sua vez, os estudos secundários reexaminam outros trabalhos ou fazem
revisões sistemáticas da literatura ou tradicionais.
Detalhando um pouco mais os métodos para estudos experimentais,
podemos subdividi-lo em: experimentos controlados, estudos de caso, Survey,
Etnografia e Pesquisa-Ação. Cada um deles é formado por um conjunto de
princípios de organização em torno do qual os dados empíricos são coletados e
analisados (Easterbrook, 2007).
Um experimento controlado é uma investigação de uma hipótese testável,
sendo uma pré-condição para a realização de um experimento a proposição de
uma hipótese clara. A hipótese, teoria a partir da qual o experimento é
desenhado, guia todas as etapas do projeto experimental, incluindo a decisão
de quais variáveis serão incluídas no estudo e como medi-las [Easterbrook,
2007].
Os estudos de caso oferecem uma compreensão profunda de como e
porque certos fenômenos ocorrem. Estudos de caso exploratórios são usados
como investigações iniciais de alguns fenômenos para derivar novas hipóteses
e construir teorias. Já os Estudos de caso de confirmação são usados para
testar as teorias existentes [Easterbrook, 2007].
Um survey é usado para identificar as características de uma ampla
população de indivíduos. É mais estreitamente associado com o uso de
questionários para coleta de dados. No entanto, um survey também pode ser
realizado por meio de entrevistas estruturadas, técnicas ou registro de dados
[Easterbrook, 2007].
Para a engenharia de software, a etnografia pode ajudar a compreender
como as comunidades técnicas constroem uma cultura de práticas e
estratégias de comunicação que lhes permitem executar os trabalhos técnicos
de forma colaborativa [Easterbrook, 2007].
Por fim, numa Pesquisa-Ação, os investigadores tentam resolver um
problema do mundo real e simultaneamente estudar a experiência de resolver
o problema [Davison et al, 2004].
109
Portanto, deve-se classificar cada trabalho incluído no estudo segundo os
tipos definidos acima. Em particular, nos estudos empíricos também deve ser
indicado em qual subdivisão ele se enquadra.
A 13 EXTRAÇÃO DOS DADOS
Os formulários de extração devem ser projetados para coletar toda informação
necessária para endereçar as questões de revisão e os critérios de qualidade
do estudo. Segundo Kitchenham (2007), os dados extraídos para cada trabalho
selecionado além de incluir as informações necessárias para responder a
questão de pesquisa e os critérios de qualidade do estudo, também devem
prover algumas informações padrão que incluem: nome do revisor, data da
extração, título, autores e outros detalhes da publicação.
Seguindo
essas
recomendações,
o
formulário
C
a
seguir
foi
desenvolvido. Este formulário deverá ser preenchido para cada artigo incluído
no estudo.
Formulário C
FORMULÁRIO DE COLETA DE DADOS E AVALIAÇÃO DA QUALIDADE
Revisão Sistemática em Gestão de Inovação em Software
ID:
Revisor:
Data da Avaliação:
Título do Trabalho:
Autores:
Tipo de Estudo:
Fonte:
Data de Publicação:
Local de Publicação:
[x] INCLUIDO – Critério(s):
Evidências relacionadas à questão de pesquisa:
Observações
Referências a analisar
CRITÉRIOS DE QUALIDADE
110
Critérios Gerais
Os objetivos ou questões do estudo são claramente
definidos (incluindo justificativas para a realização do
estudo)?
Existe uma clara descrição do contexto no qual a pesquisa
foi realizada?
O trabalho possui detalhamento, profundidade e riqueza de
informações sobre o estudo realizado?
Os resultados obtidos são rastreáveis a partir dos dados e
da análise realizada?
O estudo relata de forma clara e não ambígua os resultados
encontrados?
As conclusões são levantadas a partir dos resultados
apresentados?
O estudo provê valor/tem implicações para a pesquisa em
geral?
O estudo levanta questões para pesquisas futuras?
Critérios para estudos experimentais
O método de coleta de dados está adequadamente
descrito?
Os dados coletados possibilitaram responder às questões
de pesquisa?
Os critérios para seleção da amostra evitam viés?
O método de análise de dados evita o viés?
Critérios para estudos Teóricos ou Design
As hipóteses do estudo explicam/prevêem fatos? (explicam
para hipóteses explicativas e prevêem para as preditivas)
O referencial teórico no qual o trabalho se baseou está
claramente descrito?
As razões para escolha das teorias (técnica, método,
processo, ferramenta, etc.) tomadas como base são
apresentadas?
111
Foram realizados estudos de caso que mostraram a
validade da teoria (técnica, método, processo, ferramenta,
etc.) proposta?
Critérios para estudos secundários
Existe um protocolo claro definido para a realização da
revisão?
A revisão possui mecanismos que evitam o viés na escolha
das fontes?
Os dados coletados possibilitaram responder às questões
de pesquisa?
O
método
de
análise
de
dados
foi
referenciado
(apresentado)?
Critérios específicos da questão de pesquisa
O estudo apresenta métricas que influenciam positivamente
ou negativamente a gestão da inovação?
O estudo foi aplicado na indústria de software?
É
descrito
como
escolher
ou
aplicar
as
métricas
adequadas?
O estudo apresenta métricas externas ao processo de
inovação,
mas
que
influenciam
positivamente
ou
negativamente a sua gestão?
Nota segundo os critérios de qualidade
Nome
do
[ ] Aceito
revisor
O
[ ] Não aceito
campo
‗referências a
analisar‘ deverá
conter as referências
encontradas no trabalho e que poderão ser analisadas segundo os critérios de
inclusão para também fazerem parte do estudo, se já não foram encontradas
pelas buscas.
Este formulário também se destina à avaliação da qualidade dos artigos
incluídos no estudo. As questões gerais e as específicas da questão de
112
pesquisa deverão der respondidas para todos os tipos de trabalho, enquanto as
demais deverão ser aplicadas apenas ao tipo de trabalho correspondente.
A 14 SÍNTESE DOS DADOS
A síntese dos dados coletados nessa revisão sistemática será realizada
de acordo o método definido na metodologia da dissertação de mestrado.
113
Referências do Protocolo
BAUMOL, W.J. (2002). The Free-Market Innovation Machine. Princeton
University Press, 2002.
BEECHAM, S., BADDOO, N., HALL, T.; ROBINSON, H., SHARP, H. (2008).
Motivation in Software Engineering: A Systematic. Journal Information and
Software Technology, V. 50 P. 860 – 878.
BIOLCHINI, J.; MIAN, P. G.; NATALI, A. C. C.; TRAVASSOS, G. H. (2005).
Systematic Review in Software Engineering. Technical report RT-ES 679/05.
PESC - COPPE/UFRJ.
GRIFFIN, A. (1997) The effect of project and process characteristics on product
development cycle time. Journal of Marketing Research, 34, 24–35.
JOHANNESSEN, JON-ARILD, OLSEN, BJORN E LUMPKIN, G.T. (2001).
Innovation as newness: what is new, how new, and new to whom? European
Journal of Innovation Management, 4(1), 20-31
KHAN, K.S., TER RIET, G., GLANVILLE, J., SOWDEN, A.J., KLEIJNEN, J.
(Eds.), 2001. Undertaking Systematic Review of Research on Effectiveness.
CRD Report Number 4 (Second Edition), NHS Centre for Reviews and
Dissemination, University of York, UK.
KHURANA, A. AND ROSENTHAL, S.R. (1998) Towards holistic ‗front ends‘ in
new product development. Journal of Product Innovation Management, 15, 57–
74
KITCHENHAM, B. A. (2004). Procedures for Performing Systematic Reviews.
joint technical report, Software Engineering Group, Keele Univ., and Empirical
Software Eng., Nat'l ICT Australia, 2004.
KITCHENHAM, B. (2007). "Guidelines for performing Systematic Literature
Reviews in Software Engineering ," V 2.3 EBSE Technical Report, EBSE-200701.
114
KOEN, P.A., AJAMIAN, G., BOYCE, S., CLAMEN, A., FISHER, E.,
FOUNTOULAKIS, S., JOHNSON A., PURI. P., SEIBERT, R. Fuzzy-Front End:
Effective Methods, Tools and Techniques. In: P. Belliveau, A Griffin and S.
Sorermeyer, eds. PDMA Toolbook for New Product Development. New York:
John Wiley and Sons,2 -35, 2002.
MYTELKA, L.K. (2000). Local Systems of Innovation in a Globalized World
Economy. Industry and Innovation, v. 7, n. 1, p. 15-32.
RODRIGUES, C.S.; FERNANDES, E.M.G.P.; MARTINS, F.V. Innovativeness
and network competence: an integration and empirical examination, 13th.
International Product Development Management Conference, Part 3 (3), (12311245), Milão, Itália, 2006.
STORPER, M. The Resurgence of Regional Economies, Ten Year Later: the
Region as a Nexus of Untraded Interdependencies. European Urban and
Regional Studies, v. 2, n. 3, p. 191-221. 1995.
TRAVASSOS,
G.;
BIOLCHINI
J.
Revisões
Sistemáticas
Aplicadas
a
Engenharia de Software. In: XXI Simpósio Brasileiro de Engenharia de
Software, SBES 2007, João Pessoa, 2007.
115
APÊNDICE B – TRABALHOS INCLUÍDOS NO ESTUDO
Este apêndice contém a lista de trabalhos que foram incluídos na revisão
sistemática como estudos primários (dezesseis) e os estudos secundários
(quatro).
Trabalhos Incluídos
ID
Fonte
Referência
EP_7
Emerald
ZHANG, Q.; DOLL, W. The fuzzy front end and success of new product
development: a causal model. European Journal of Innovation, v. 2pp,
p. 95-112, 2001.
EP_20
Science
Direct
COOPER, R. G.; KLEINSCHMIDT, E. J.; COOPER, R.;
KLEINSCHMIDT, E. Benchmarking the firm's critical success factors in
new product development. Journal of producct inn, v. 6782, n. 95, p.
374-391, 1995.
EP_27
Science
Direct
CAMPBELL, A. Do Customer Partnerships Improve New Product
Success Rates? Industrial Marketing Management, v. 28, n. 5, p. 507519, 1999.
EP_42
Science
Direct
LOCH, C.; STEIN, L.; TERWIESCH, C. Measuring development
performance in the electronics industry. Journal of Product innovation
Management, v. 6782, n. 95, p. 3-20, 1996.
EP_46
Science
Direct
COOPER, R. Performance typologies of new product projects. Industrial
Marketing Management, v. 24, n. 5, p. 439-456, 1995.
EP_51
Science
Direct
BOLANDER, W. Product innovativeness and entry strategy: Impact on
cycle time and break-even time. Journal of Personal Selling and Sales
Management, v. 28, n. 4, p. 351-364, 2008.
EP_60
Science
Direct
MURPHY, S.; KUMAR, V. The role of predevelopment activities and firm
attributes in new product success. Technovation, v. 16, n. 8, p. 431-449,
1996.
EP_69
Scopus
KURTOGLU, T.; CAMPBELL, M. I.; LINSEY, J. S. An experimental
study on the effects of a computational design tool on concept
generation. Design Studies, v. 30, n. 6, p. 676-703. Elsevier Ltd, 2009.
EP_93
Scopus
CHIESA, V.; COUGHLAN, P.; VOSS, C. Development of a technical
innovation audit. Jornal of Product Innovation Management, 1996.
EP_116
Scopus
ADAMS, R.; BESSANT, J.; PHELPS, R. Innovation management
measurement: A review. International Journal of Management Review,
v. 1pp, p. 21-47, 2006.
EP_135
Scopus
VUOLLE, M.; LÖNNQVIST, A.; MEER, J. V. Measuring the intangible
aspects of an R&D project. Measuring Business Excellence, v. 13, n. 2,
116
p. 25-33, 2009.
Scopus
OLIVER, N. New product development benchmarks: The Japanese,
North American, and UK consumer electronics industries. The Journal
of High Technology Management Research, v. 15, n. 2, p. 249-265,
2004.
EP_144
Scopus
MENOR, L. J.; TATIKONDA, M. V.; SAMPSON, S. E. New service
development: areas for exploitation and exploration. Journal of
Operations Management, Vol., v. 20pp, p. 135-57, 2002.
EP_183
Scopus
MILLSON, M. The Impact of Organizational Integration and Product
Development Proficiency on Market Success. Industrial Marketing
Management, v. 31, n. 1, p. 1-23, 2002.
EP_199
Scopus
HANNOLA, L.; KORTELAINEN, S.; KÄRKKÄINEN, H.; TUOMINEN, M.
Utilizing front-end-of-innovation concepts in software development.
Industrial Management & Data Systems, v. 109, n. 7, p. 898-915, 2009.
EP_205
IEEE
ZHENG, H.; CHANARON, J.; YOU, J.; X. Designing a key performance
indicator system for technological innovation audit at firm's level: A
framework and an empirical study. 2009. IEEM 2009. IEEE, , n. 1996, p.
3-7, 2009.
ES_207
Scopus
BREMSER, W. G.; BARSKY, N. P. Utilizing the balanced scorecard for
R&D performance measurement. R and D Management, v. 34, n. 3, p.
229
ES_222
Scopus
LETTICE, F.; ROTH, N.; FORSTENLECHNER, I. Measuring knowledge
in the new product development process. International Journal of
Productivity and Performance Management, v. 55, n. 3/4, p. 217
ES_225
Scopus
ROGERS, H.; GHAURI, P.; PAWAR, K. S. Measuring international NPD
projects: an evaluation process. Journal of Business & Industrial
Marketing, v. 20, n. 2, p. 79
ES_227
Scopus
SHAH, J. Metrics for measuring ideation effectiveness. Design Studies,
v. 24, n. 2, p. 111-134, 2003.
EP_141
117
APÊNDICE C – TRABALHOS EXCLUÍDOS DO ESTUDO
Este apêndice contém a lista de trabalhos que foram considerados
potencialmente relevantes na revisão sistemática, tendo sido excluídos depois
por não passaram nos critérios de inclusão. Devido a grande quantidade de
trabalhos, a lista não apresenta todas as informações previstas no Formulário
B. Além disso, a lista apresenta 122 trabalhos dos 165 excluídos, isto porque 43 deles foram encontrados repetidos em mais de uma base.
Trabalhos Excluídos
ID
Fonte
Referência
Critério de
Exclusão
2 Emerald
RASHID, M. M. Generic tool for measuring the reliability of
product development processes. Management, v. 2, n. 1, p.
71-93, 2007.
iii
3 Emerald
KIM, J.; WILEMON, D. Strategic issues in managing
innovation's fuzzy front-end. European Journal of Innovation
Management, v. 5, n. 1, 2002.
iii
4 Emerald
REINERTSEN, D. Streamlining the fuzzy front-end. World
Class Design to Manufacture, v. 1, n. 5, p. 4-8, 1994.
iii
5 Emerald
MACGREGOR, S. P.; ARANA, J.; PARRA, I.; LORENZO, M.
P. Supporting new product creation ´ n Valley in the
Mondrago. European Journal of Innovation Management,
2006.
iii
6 Emerald
JOH, J. M.; MAYFIELD, M. The discipline of product
discovery: identifying breakthrough business opportunities ‗‗
I. Journal of Business Strategy, v. 30, n. 2, p. 70-77, 2009.
iii
Science
17 Direct
ALBORS-GARRIGOS, J.; HERVAS-OLIVER, J. L.;
HIDALGO, A. Analyzing high technology adoption and
impact within public supported high tech programs: An
empirical case. The Journal of High Technology
Management Research, v. 20, n. 2, p. 153-168, 2009.
iii
Science
18 Direct
UGHETTO, E. Assessing the contribution to innovation of
private equity investors: A study on European buyouts.
Research Policy, v. 39, n. 1, p. 126-140, 2010.
iii
Science
21 Direct
STEFFENS, W.; MARTINSUO, M.; ARTTO, K. Change
decisions in product development projects. International
Journal of Project Management, v. 25, n. 7, p. 702-713,
2007.
iii
Science
22 Direct
LUTHJE, C. Characteristics of innovating users in a
consumer goods field An empirical study of sport-related
product consumers. Technovation, v. 24, n. 9, p. 683-695,
2004.
iii
118
Science
23 Direct
HÜSIG, S.; KOHN, S. Computer aided innovation—State of
the art from a new product development perspective.
Computers in Industry, v. 60, n. 8, 2009.
Science
24 Direct
LEE, C.; CHEN, W. Cross-functionality and charged
behavior of the new product development teams in Taiwan's
information technology industries. Technovation, v. 27, n. 10,
p. 605-615, 2007.
iii
Science
26 Direct
THORN, R.; SYDENHAM, P. Developing a measuring
systems body of knowledge. Measurement, v. 41, n. 7, p.
744-754, 2008.
iii
Science
29 Direct
GANGULY, A.; NILCHIANI, R.; FARR, J. V. Evaluating
agility in corporate enterprises. International Journal of
Production Economics, v. 118, n. 2, p. 410-423, 2009.
iii
Science
31 Direct
CEDERGREN, S.; WALL, A.; NORSTRÖM, C. Evaluation of
performance in a product development context. Business
Horizons, 2010.
iii
Science
33 Direct
OZER, M. Factors which influence decision making in new
product evaluation q. European Journal Of Operational
Research, v. 163, p. 784-801, 2005.
iii
Science
34 Direct
ZIEN, K. A.; BUCKLER, S. A. From experience Dreams to
market: Crafting a culture of innovation. Computer, v. 6782,
n. 97, p. 274-287, 1997.
iii
Science
35 Direct
MONTOYA-WEISS, M. M.; O‘DRISCOLL, T. M. From
experience: applying performance support technology in the
fuzzy front end. Journal of Product Innovation Management,
Vol. 17 No., v. 2pp, p. 143-61, 2000.
iii
Science
36 Direct
MENDELSON, H. Information Age organizations, dynamics
and performance. Journal of Economic Behavior &
Organization, v. 38, n. 3, p. 253-281, 1999.
iii
Science
37 Direct
BREM, A.; VOIGT, K. Integration of market pull and
technology push in the corporate front end and innovation
management—Insights from the German software industry.
Technovation, v. 29, n. 5, p. 351-367, 2009.
iii
Science
38 Direct
GOMES, J. F.; WEERD-NEDERHOF, P.; PEARSON, A. W.;
CUNHA, M. P. Is more always better? An exploration of the
differential effects of functional integration on performance in
new product development. Technovation, v. 23, n. 3, p. 185191, 2003.
iii
Science
39 Direct
MEYER, M. H.; DALAL, D. Managing platform architectures
and manufacturing processes for nonassembled products.
Journal of Product Innovation Management, v. 19, n. 4, p.
277-293, 2002.
iii
Science
40 Direct
SONG, Y.; LEE, D.; LEE, Y.; CHUNG, Y. Managing
uncertainty and ambiguity in frontier R&D projects: A Korean
case study. Journal of Engineering and Technology
Management, v. 24, n. 3, p. 231-250, 2007.
iii
iii
119
Science
41 Direct
BECKER, M.; LILLEMARK, M. Marketing/R&D integration in
the pharmaceutical industry. Research Policy, v. 35, n. 1, p.
105-120, 2006.
Science
43 Direct
REJEB, H.; MORELGUIMARAES, L.; BOLY, V.; ASSIELOU,
N. Measuring innovation best practices: Improvement of an
innovation index integrating threshold and synergy effects.
Technovation, v. 28, n. 12, p. 838-854, 2008.
iii
Science
44 Direct
PRAXNIKAR, J. New product development process and
time-to-market in the generic pharmaceutical industry.
Industrial Marketing Management, v. 35, p. 690 - 702, 2006.
iii
Science
45 Direct
GRIFFIN, A. PDMA research on new product development
practices: updating trends and benchmarking best practices.
Journal of Product Innovation Management, Vol. 14 No., v.
6pp, p. 429-58, 1997.
iii
Science
48 Direct
OZER, M. Process implications of the use of the Internet in
new product development: a conceptual analysis. Industrial
Marketing Management, v. 32, n. 6, p. 517-530, 2003.
iii
Science
49 Direct
GRIFFIN, A. Product development cycle time for businessto-business products. Industrial Marketing Management, v.
31, n. 4, p. 291-304, 2002.
iii
Science
50 Direct
KOUFTEROS, X.; MARCOULIDES, G. Product development
practices and performance: A structural equation modelingbased multi-group analysis. International Journal of
Production Economics, v. 103, n. 1, p. 286-307, 2006.
iii
Science
53 Direct
HONG, P.; VONDEREMBSE, M.; DOLL, W.; NAHM, A. Role
change of design engineers in product development. Journal
of Operations Management, v. 24, n. 1, p. 63-79, 2005.
iii
Science
54 Direct
NOBELIUS, D. Stop chasing the Front End process —
management of the early phases in product development
projects. International Journal of Project Management, v. 20,
n. 5, p. 331-340, 2002.
iii
Science
55 Direct
DIETRICH, P.; LEHTONEN, P. Successful management of
strategic intentions through multiple projects – Reflections
from empirical study. International Journal of Project
Management, v. 23, n. 5, p. 386-391, 2005.
iii
Science
56 Direct
POLK, R. Technical risk and new product success: An
empirical test in high technology business markets. Industrial
Marketing Management, v. 25, n. 6, p. 531-543, 1996.
iii
iii
120
Science
57 Direct
MARKHAM, S. The breakfast of champions: associations
between champions and product development environments,
practices and performance. Journal of Product Innovation
Management, v. 15, n. 5, p. 436-454, 1998.
iii
Science
58 Direct
MCQUATER, R. E.; PETERS, A. J.; DALE, B. G.; ET AL.
The management and organizational context of new product
development: Diagnosis and self-assessment. Production, v.
55, p. 121-131, 1998.
iii
Science
59 Direct
REILLY, R. The role of personality in new product
development team performance. Journal of Engineering and
Technology Management, v. 19, n. 1, p. 39-58, 2002.
iii
Science
61 Direct
OZER, M. The role of the Internet in new product
performance: A conceptual investigation. Industrial
Marketing Management, v. 33, n. 5, p. 355-369, 2004.
iii
Science
62 Direct
KHURANA, A.; ROSENTHAL, S. R. Towards holistic ―front
ends‖ in new product development. Strategy, v. 6782, n. 97,
1998.
iii
Science
63 Direct
CHEN, J.; DAMANPOUR, F.; REILLY, R. R. Understanding
antecedents of new product development speed: A metaanalysis. Journal of Operations Management, v. 28, n. 1, p.
17-33, 2010.
iii
12 Scirus
TUOMINEN, M.; PIIPPO, P.; ICHIMURA, T.; MATSUMOTO,
Y. An analysis of innovation management systems‘
characteristics. Science, v. 61, p. 135-143, 1999.
iii
13 Scirus
HOWELL, J. M.; SHEA, C. M.; HIGGINS, C. A. Champions
of product innovations: defining , developing , and validating
a measure of champion behavior B. Journal of Business
Venturing, v. 20, p. 641 - 661, 2005.
iii
14 Scirus
SMITH, M.; BUILDING, J. W.; BUSI, M.; ET AL. Factors
Influencing an Organizations ability to Manage Innovation: a
Structured Literature Review and Conceptual Model. , v. 44,
p. 1-22.
iii
15 Scirus
BEVEN, P. W.; EC, M.; DIP, G.; MAN, F. New Product
Development in Start-up Technology-Based Firms (STBFs).
by. Development, 2007.
iii
64 Scopus
ALEGRE, J.; LAPIEDRA, R.; CHIVA, R. A measurement
scale for product innovation performance. European Journal
of Innovation Management, v. 9, n. 4, p. 333-346, 2006.
iii
65 Scopus
BEN REJEB, H.; BOLY, V.; MOREL-GUIMARAES, L. A New
Methodology Based on Kano Model for the Evaluation of a
New Product Acceptability during the Front-End Phases.
2008 32nd Annual IEEE International Computer Software
and Applications Conference, p. 619-624, 2008.
iii
121
66 Scopus
VERWORN, B. A structural equation model of the impact of
the ―fuzzy front end‖ on the success of new product
development. Research Policy, v. 38, n. 10, p. 1571-1581,
2009.
67 Scopus
BUGANZA, T.; GERST, M.; VERGANTI, R. Adoption of NPD
flexibility practices in new technology-based firms. European
Journal of Innovation Management, v. 13, n. 1, p. 62-80,
2010.
iii
68 Scopus
AGOURIDAS, V.; MCKAY, A.; WINAND, H.; PENNINGTON,
A. Advanced product planning: a comprehensive process for
systemic definition of new product requirements.
Requirements Engineering, v. 13, n. 1, p. 19-48, 2007.
iii
70 Scopus
KLINK, R. R.; ATHAIDE, G. A. An Illustration of Potential
Sources of Concept-Test Error. System, n. 2, p. 359-370,
2006.
iii
72 Scopus
ARCHER, N. P.; GHASEMZADEH, F. An integrated
framework for project portfolio selection. International
Journal of Project Management, v. 17, n. 4, 1999.
iii
73 Scopus
WILLIAMS, M. A.; KOCHHAR, A. K.; TENNANT, C. An
object-oriented reference model of the fuzzy front end of the
new product introduction process. The International Journal
of Advanced Manufacturing Technology, v. 34, n. 7-8, p.
826-841, 2006.
iii
75 Scopus
SUWANNAPORN, P.; SPEECE, M. W. Assessing new
product development success factors in the Thai food
industry. British Food Journal, 2006.
iii
76 Scopus
CORMICAN, K. Auditing best practice for effective product
innovation management. Technovation, v. 24, n. 10, p. 819829, 2004.
iii
77 Scopus
BERG, P.; PIHLAJAMAA, J.; POSKELA, J.; LEMPIÄLÄ, T.;
HANER, U. Balanced Innovation Front End Measurement:
Discontinuous Innovation Approach. PICMET, n. Imi, p. 746753, 2009.
vi
79 Scopus
FLINT, D. J. Compressing new product success-to-success
cycle time Deep customer value understanding and idea
generation. Industrial Marketing Management, v. 31, p. 305 315, 2002.
iii
80 Scopus
VANKLEEF, E.; VANTRIJP, H.; LUNING, P. Consumer
research in the early stages of new product development: a
critical review of methods and techniques. Food Quality and
Preference, v. 16, n. 3, p. 181-201, 2005.
iii
81 Scopus
MARTINEZ SANCHEZ, A.; PEREZ PEREZ, M. Cooperation
and the Ability to Minimize the Time and Cost of New
Product Development within the Spanish Automotive
Supplier Industry. Journal of Product Innovation
Management, v. 20, n. 1, p. 57-69, 2003.
iii
iii
122
83 Scopus
KOK, R. A.; BIEMANS, W. G. Creating a market-oriented
product innovation process: a contingency approach.
Technovation, v. 29, n. 8, p. 517-526, 2009.
iii
85 Scopus
STEVENS, G. Creativity + business discipline = higher
profits faster from new product development. Journal of
Product Innovation Management, v. 16, n. 5, p. 455-468,
1999.
iii
86 Scopus
CARBONELLFOULQUIE, P. Criteria employed for go/no-go
decisions when developing successful highly innovative
products. Industrial Marketing Management, v. 33, n. 4, p.
307-316, 2004.
iii
90 Scopus
NAKATA, C.; PARK, H. Determinants of Korean and
Japanese New Product Performance: An Interrelational and
Process View. Journal of International Marketing, v. 11, n. 4,
p. 81-112, 2003.
iii
94 Scopus
VERYZER, R. W. Discontinuous Innovation and the New
Product Development Process Journal of Product Innovation
Management. v. 15, p.304-321, 1998.
iii
95 Scopus
MILLSON, M.; WILEMON, D. Driving new product success in
the electrical equipment manufacturing industry.
Technovation, v. 26, n. 11, p. 1268-1286, 2006.
iii
96 Scopus
PUJARI, D. Eco-innovation and new product development:
understanding the influences on market performance.
Technovation, v. 26, n. 1, p. 76-85, 2006.
iii
97 Scopus
SWINK, M.; SONG, M. Effects of marketing-manufacturing
integration on new product development time and
competitive advantage. Journal of Operations Management,
v. 25, n. 1, p. 203-217, 2007.
iii
100 Scopus
LEE, H.; KIM, C.; PARK, Y. Evaluation and management of
new service concepts: An ANP-based portfolio approach.
Computers & Industrial Engineering, v. 58, n. 4, p. 535-543.
Elsevier Ltd, 2010.
iii
103 Scopus
SWINK, M.; TALLURI, S.; PANDEJPONG, T. Faster, better,
cheaper: A study of NPD project efficiency and performance
tradeoffs. Journal of Operations Management, v. 24, n. 5, p.
542-562, 2006.
iii
104 Scopus
LIGINLAL, D.; RAM, S.; DUCKSTEIN, L. Fuzzy measure
theoretical approach to screening product innovations. , v.
36, n. 3, p. 577-591, 2006.
iii
106 Scopus
PUJARI, D.; WRIGHT, G.; PEATTIE, K. Green and
competitive: influences on environmental new product
development (ENPD) performance. Journal of Business
Research, v. 56, n. 8, p. 657-671, 2003.
iii
123
108 Scopus
SAUNDERS, J.; WONG, V.; STAGG, C.; FONTAN, M. M.
How screening criteria change during brand development.
Journal of Product & Brand Management, v. 14, n. 4, p. 239249, 2005.
iii
109 Scopus
KOHN, K. Idea generation in new product development
through business environmental scanning: the case of XCar.
Marketing Intelligence & Planning, v. 23, n. 7, p. 688-704,
2005.
iii
111 Scopus
DAIM, T.; OLIVER, T. Implementing technology roadmap
process in the energy services sector: A case study of a
government agency. Technological Forecasting and Social
Change, v. 75, n. 5, p. 687-720, 2008.
iii
114 Scopus
DROEGE, H.; HILDEBRAND, D.; FORCADA, M. A.
Innovation in services: present findings, and future
pathways. Journal of Service Management, v. 20, n. 2, p.
131-155, 2009.
iii
117 Scopus
GEFFEN, C.; JUDD, K. Innovation through initiatives-a
framework for building new capabilities in public sector
research organizations. Journal of Engineering and
Technology Management, v. 21, n. 4, p. 281-306, 2004.
iii
119 Scopus
TATIKONDA, M. V.; MONTOYA-WEISS, M. M. Integrating
Operations and Marketing Perspectives of Product
Innovation: The Influence of Organizational Process Factors
and Capabilities on Development Performance.
Management Science, v. 47, n. 1, p. 151-172, 2001.
iii
120 Scopus
SICOTTE, H. Integration mechanisms and R&D project
performance. Journal of Engineering and Technology
Management, v. 17, n. 1, p. 1-37, 2000.
iii
121 Scopus
POSKELA, J.; DIETRICH, P.; BERG, P.; ARTTO, K.;
LEHTONEN, T. Integration of strategic level and operative
level front-end innovation activities. A Unifying Discipline for
Melting the Boundaries Technology Management: p. 197211, 2005.
iii
122 Scopus
GAUTAM, N.; SINGH, N. Lean product development:
Maximizing the customer perceived value through design
change (redesign). International Journal of Production
Economics, v. 114, n. 1, p. 313-332, 2008.
iii
123 Scopus
BLAZEVIC, V.; LIEVENS, A. Learning during the new
financial service innovation process Antecedents and
performance effects. Journal of Business Research, v. 57, p.
374 - 391, 2004.
iii
125 Scopus
CHONG, Y. T.; CHEN, C. Management and forecast of
dynamic customer needs: An artificial immune and neural
system approach. Advanced Engineering Informatics, v. 24,
n. 1, p. 96-106. Elsevier Ltd, 2010.
iii
124
131 Scopus
SONG, M.; SWINK, M. Marketing–Manufacturing Integration
Across Stages of New Product Development: Effects on the
Success of High- and Low-Innovativeness Products. IEEE
Transactions on Engineering Management, v. 56, n. 1, p. 3144, 2009.
iii
132 Scopus
BERG, P.; PIHLAJAMAA, J.; POSKELA, J.; ET AL.
Measurement of the innovation front end: Viewpoint of
process, social environment and physical environment.
PICMET '08 - 2008 Portland International Conference on
Management of Engineering & Technology, n. c, p. 11121120. IEEE, 2008.
iii
133 Scopus
POTNIS, D. D. Measuring e-Governance as an innovation in
the public sector. Government Information Quarterly, v. 27,
n. 1, p. 41-48. Elsevier Inc, 2010.
iii
134 Scopus
GUAN, J.; CHEN, K. Measuring the innovation production
process: A cross-region empirical study of China‘s high-tech
innovations. Technovation, v. 30, n. 5-6, p. 348-358.
Elsevier, 2010.
iii
136 Scopus
VELDHUIZEN, E.; HULTINK, E.; GRIFFIN, A. Modeling
market information processing in new product development:
An empirical analysis. Journal of Engineering and
Technology Management, v. 23, n. 4, p. 353-373, 2006.
iii
140 Scopus
CALANTONE, R. J.; SCHMIDT, J. B.; ANTHONY, C. New
Product Activities and Performance: The Moderating Role of
Environmental Hostility. Fortune, 1997.
iii
142 Scopus
LIN, C.; CHEN, C. New Product Go/No-Go Evaluation at the
Front End: A Fuzzy Linguistic Approach. IEEE Transactions
on Engineering Management, v. 51, n. 2, p. 197-207, 2004.
iii
143 Scopus
SHIU, E.; WALKER, D. New product market visioning in
small enterprises: A preliminary empirical study within the
Central Technology Belt in England. Journal of Small
Business and Enterprise Development, v. 14, n. 1, p. 81-92,
2007.
iii
145 Scopus
VANTRIJP, H.; VANKLEEF, E. Newness, value and new
product performance. Trends in Food Science & Technology,
v. 19, n. 11, p. 562-573. Elsevier Ltd, 2008.
iii
147 Scopus
LIGINLAL, D.; OW, T. On policy capturing with fuzzy
measures. European Journal of Operational Research, 2004. iii
148 Scopus
BRÖRING, S.; HERZOG, P. Organizing new business
development: open innovation at Degussa. European
Journal of Innovation Management, v. 11, n. 3, p. 330-348,
2008.
iii
125
152 Scopus
KASUGA, S.; NIWA, K. Pioneering Customer's Potential
Task in Innovation: Separation of Idea-Generator and
Concept-Planner in Front-End. 2006 Technology
Management for the Global Future - PICMET 2006
Conference,, n. c, p. 2025-2036. IEEE, 2006.
iii
160 Scopus
OZER, M. Reducing the demand uncertainties at the fuzzyfront-end of developing new online services. Research
Policy, v. 36, p. 1372-1387, 2007.
iii
161 Scopus
KLEINSCHMIDT, E. J. Rejoinders to "Establishing an NPD
Best Practices Framework." Journal of Product Innovation
Management, v. 23, n. 2, p. 117-127, 2006.
iii
162 Scopus
PRAJOGO, D. I.; AHMED, P. K. Relationships between
innovation stimulus, innovation capacity, and innovation
performance. R&D Management, v. 36, n. 5, p. 499-515,
2006.
iii
163 Scopus
ALAM, I. Removing the fuzziness from the fuzzy front-end of
service innovations through customer interactions. Industrial
Marketing Management, v. 35, n. 4, p. 468-480, 2006.
iii
164 Scopus
NIXON, B. Research and development performance
measurement: a case study. Management Accounting
Research, v. 9, n. 3, p. 329-355, 1998.
iii
165 Scopus
HAUSER, J.; TELLIS, G. J.; GRIFFIN, A. Research on
Innovation: A Review and Agenda for Marketing Science.
Marketing Science, v. 25, n. 6, p. 687-717, 2006.
iii
166 Scopus
SCHRÖDER, A.; STEINHOFF, F. Rethinking the Obvious:
Two Cases on How Ethnographic Research Enhances 1ew
Product Development in the Context of B2B and B2C
Customer Integration. Business, p. 1976-1982, 2009.
iii
168 Scopus
MOSKOWITZ, H.; REISNER, M.; ITTY, B.; KATZ, R.;
KRIEGER, B. Steps towards a consumer-driven ‗concept
innovation machine‘ for food and drink. Food Quality and
Preference, v. 17, n. 7-8, p. 536-551, 2006.
iii
169 Scopus
POSKELA, J. Strategic renewal and management control in
the front-end of innovation: The importance of input control
mechanisms. PICMET '08 - 2008 Portland International
Conference on Management of Engineering & Technology,
n. c, p. 1161-1170. IEEE, 2008.
iii
170 Scopus
DE VISSER, M.; DE WEERD-NEDERHOF, P.; FAEMS, D.;
ET AL. Structural ambidexterity in NPD processes: A firmlevel assessment of the impact of differentiated structures on
innovation performance. Technovation, v. 30, n. 5-6, p. 291299. Elsevier, 2010.
iii
126
171 Scopus
KIM, B.; KIM, J. Structural factors of NPD (new product
development) team for manufacturability. International
Journal of Project Management, v. 27, n. 7, p. 690-702.
Elsevier Ltd and IPMA, 2009.
iii
173 Scopus
TATIKONDA, M. Successful execution of product
development projects: Balancing firmness and flexibility in
the innovation process. Journal of Operations Management,
v. 18, n. 4, p. 401-425, 2000.
iii
174 Scopus
HANSEN, E. G.; GROSSE-DUNKER, F.; REICHWALD, R.
Sustainability Innovation Cube — a Framework To Evaluate
Sustainability-Oriented Innovations. International Journal of
Innovation Management, v. 13, n. 04, p. 683, 2009.
iii
176 Scopus
POLK, R. Technical risk and new product success: An
empirical test in high technology business markets. Industrial
Marketing Management, v. 25, n. 6, p. 531-543, 1996.
iii
177 Scopus
TATIKONDA, M. V.; ROSENTHAL, S. R. Technology
novelty, project complexity, and product development project
execution success: A deeper look at task uncertainty in
product innovation. IEEE Transactions on. Engineering
Management, v. 47, p. 74−87, 2000.
iii
178 Scopus
JAYARAM, J.; MALHOTRA, M. K. The Differential and
Contingent Impact of Concurrency on New Product
Development Project Performance: A Holistic Examination.
Decision Sciences, v. 41, n. 1, p. 147-196, 2010.
iii
181 Scopus
SONG, X. M.; THIEME, R. J.; XIE, J. The Impact of CrossFunctional Joint Involvement Across Product Development
Stages: An Exploratory Study Journal of Product Innovation
Management. v. 15, p.289-303, 1998.
iii
184 Scopus
CHEN, J.; REILLY, R.; LYNN, G. The Impacts of Speed-toMarket on New Product Success: The Moderating Effects of
Uncertainty. IEEE Transactions on Engineering
Management, v. 52, n. 2, p. 199-212, 2005.
iii
185 Scopus
DAHL, D. W.; MOREAU, P. The influence and value of
analogical thinking during new product ideation. Journal of
Marketing Research, v. 39, n. 2, p. 47-60, 2002.
iii
186 Scopus
GOTTELAND, D.; BOULE, J. The market orientation–new
product performance relationship: Redefining the moderating
role of environmental conditions. International Journal of
Research in Marketing, v. 23, n. 2, p. 171-185, 2006.
iii
188 Scopus
RAUNIAR, R.; DOLL, W.; RAWSKI, G.; HONG, P. The role
of heavyweight product manager in new product
development. International Journal of Operations &
Production Management, v. 28, n. 2, p. 130-154, 2008.
iii
127
190 Scopus
HONG, P.; DOLL, W. J.; NAHM, A. The role of project target
clarity in an uncertain project environment. International
Journal of Operations and Production Management, v. 24, n.
12, p. 1269-1291, 2004.
iii
191 Scopus
OZER, M. The roles of product lead-users and product
experts in new product evaluation. Research Policy, v. 38, n.
8, p. 1340-1349, 2009.
iii
194 Scopus
DAHAN, E.; HAUSER, J. R. The virtual customer. Journal of
Product Innovation Management, v. 19, n. 5, p. 332-354,
2002.
195 Scopus
SWINK, M. Threats to new product manufacturability and the
effects of development team integration processes. Journal
of Operations Management, v. 17, n. 6, p. 691-709, 1999.
iii
198 Scopus
BILGRAM, V.; BREM, A.; VOIGT, K. User-Centric
Innovations in New Product Development — Systematic
Identification of Lead Users Harnessing Interactive and
Collaborative Online-Tools. International Journal of
Innovation Management, v. 12, n. 03, p. 419, 2008.
200 Scopus
ROHRBECK, R.; STEINHOFF, F.; PERDER, F. Virtual
customer integration in the innovation process: Evaluation of
the web platforms of multinational enterprises (MNE).
PICMET '08 - 2008 Portland International Conference on
Management of Engineering & Technology, n. c, p. 469-478.
IEEE, 2008.
iii
201 Scopus
SETHI, R.; PANT, S.; SETHI, A. Web-based product
development systems integration and new product
outcomes: a conceptual framework. Journal of Product
Innovation Management, v. 20, p. 37-56, 2003.
iii
202 Scopus
SONG, X. What separates Japanese new product winners
from losers. Journal of Product Innovation Management, v.
13, n. 5, p. 422-439, 1996.
iii
203 Scopus
HOEGL, M. When teamwork really matters: task
innovativeness as a moderator of the teamwork–
performance relationship in software development projects.
Journal of Engineering and Technology Management, v. 20,
n. 4, p. 281-302, 2003.
iii
iii
iii
128
APÊNDICE D – DETALHES DAS BUSCAS NOS ENGENHOS DE BUSCA
Este apêndice contém os formulários utilizados para sintetizar os dados
relevantes das buscas realizadas em cada engenho. Essas informações são
importantes para possibilitar a reprodução do estudo.
Questão de Pesquisa Q7
Biblioteca digital: IEEE Xplore
Data da busca: 13/03/2010
(metric OR measure OR measurement OR KPI OR "key
performance indicator") AND ("fuzzy front end" OR
"fuzzy front-end" OR "innovation front end" OR
"innovation front-end" OR "front end innovation" OR
"front-end innovation" OR "pre-development" OR
predevelopment OR "pre-phase 0" OR "pre phase 0" OR
"prephase 0" OR "stage 0" OR "pre-project" OR "pre
project" OR preproject OR "concept generation") AND
("innovative product" OR "major product" OR "new
product" OR "radical product" OR "breakthrough
product" OR "incremental product" OR "sustaining
product" OR "evolutionary product" OR "product
innovation")
String de busca:
Entre todas as publicações disponíveis, deixamos de lado
apenas Educational Courses.
Estratégia de busca:
Número de resultados
N = 478
Questão de Pesquisa Q7
Data da busca: 13/03/2009
Biblioteca digital: ScienceDirect
Henrique Ferreira
Revisor:
(metric* OR measure OR measurement OR KPI OR "key performance
indicator") AND ("fuzzy front end" OR "fuzzy front-end" OR
"innovation front end" OR "innovation front-end" OR "front end *
innovation" OR "front-end * innovation" OR "pre-development" OR
predevelopment OR "pre-phase 0" OR "pre phase 0" OR "prephase 0"
OR "stage 0" OR "pre-project" OR "pre project" OR preproject OR
"concept generation") AND ("innovative product*" OR "major
product*" OR "new product*" OR "radical product*" OR
"breakthrough product*" OR "incremental product*" OR "sustaining
product*" OR "evolutionary product*" OR "product innovation")
String de busca:
Estratégia
busca:
de
Foram realizadas buscas em todas as publicações cujo assunto está
nas categorias: ―Business, Management and Accounting‖, Computer
Science, ―Economics, Econometrics and Finance‖, ―Engineering‖ e
―social sciences‖.
129
Número
resultados
de
N = 480
Questão de Pesquisa Q7
Biblioteca
Library
digital:
ACM
Digital
Data da busca: 13/03/2009
Henrique Ferreira
Revisor:
((metric* OR measure OR measurement OR KPI OR "key
performance indicator") AND ("fuzzy front end" OR "fuzzy front-end"
OR "innovation front end" OR "innovation front-end" OR "front end *
innovation" OR "front-end * innovation" OR "pre-development" OR
predevelopment OR "pre-phase 0" OR "pre phase 0" OR "prephase 0"
OR "stage 0" OR "pre-project" OR "pre project" OR preproject OR
"concept generation") AND ("innovative product*" OR "major
product*" OR "new product*" OR "radical product*" OR
"breakthrough product*" OR "incremental product*" OR "sustaining
product*" OR "evolutionary product*" OR "product innovation"))
String de busca:
Estratégia
busca:
de
Foram realizadas buscas em todas as publicações da ―ACM digital
Library‖ e em ―The Guide‖.
Número
resultados
de
N = 76
Questão de Pesquisa Q7
Biblioteca digital: Wiley InterScience
Henrique Ferreira
Revisor:
Data da busca: 13/03/2009
(metric OR measure OR measurement OR KPI OR "key performance
indicator") and ("fuzzy front end" OR "fuzzy front-end" OR
"innovation front end" OR "innovation front-end" OR "front end of
innovation" OR "front-end of innovation" OR "pre-development" OR
predevelopment OR "pre-phase 0" OR "pre phase 0" OR "prephase 0"
OR "stage 0" OR "pre-project" OR "pre project" OR preproject OR
"concept generation") and ("innovative product" OR "major product"
OR "new product" OR "radical product" OR "breakthrough product"
OR "incremental product" OR "sustaining product" OR "evolutionary
product" OR "product innovation")
String de busca:
Estratégia
busca:
de
Os asteriscos foram removidos e as variações ―‖ e ―of‖ foram
adicionados.
Remoção de (―front end * innovation" OR "front-end * innovation") e
inclusão de ("front end innovation" OR "front-end innovation" OR "front
end of innovation" OR "front-end of innovation").
Número
resultados
de
N=3
130
Questão de Pesquisa Q7
Data da busca: 13/04/2010
Biblioteca digital: Scirus
Henrique Ferreira
Revisor:
((metric OR measure OR measurement OR KPI OR "key performance
indicator") ("fuzzy front end" OR "fuzzy front-end" OR "innovation front
end" OR "innovation front-end" OR "front end innovation" OR "front-end
innovation" OR "pre-development" OR predevelopment OR "pre-phase
0" OR "pre phase 0" OR "prephase 0" OR "stage 0" OR "pre-project"
String de busca:
OR "pre project" OR preproject OR "concept generation")) ("innovative
product" OR "major product" OR "new product" OR "radical product"
OR "breakthrough product" OR "incremental product" OR "sustaining
product" OR "evolutionary product" OR "product innovation")
Estratégia
busca:
de
Os ‗*‘ foram removidos e o plural das palavras foram incluídos na
busca.
Apenas publicações que são: artigos, livros, homepage de empresas,
conferências, homepage de cientistas, teses e dissertações.
Apenas publicações das seguintes áreas: ―Computer Science‖,
―Economics, Business and Management‖, ―Engineering, Energy and
Technology‖, ―Social and Behavioral Sciences‖.
Foram descartados os resultados provindos do ScienceDirect, uma vez
que essa fonte já foi pesquisada.
Número
resultados
de
N = 174
Questão de Pesquisa Q7
Biblioteca digital: EI Compendex
Henrique Ferreira
Revisor:
Data da busca: 13/04/2010
(metric* OR measure OR measurement OR KPI OR "key performance
indicator") AND ("fuzzy front end" OR "fuzzy front-end" OR
"innovation front end" OR "innovation front-end" OR "front end NEAR
innovation" OR "front-end NEAR innovation" OR "pre-development"
OR predevelopment OR "pre-phase 0" OR "pre phase 0" OR
"prephase 0" OR "stage 0" OR "pre-project" OR "pre project" OR
preproject OR "concept generation") AND ("innovative product*" OR
"major product*" OR "new product*" OR "radical product*" OR
"breakthrough product*" OR "incremental product*" OR "sustaining
product*" OR "evolutionary product*" OR "product innovation")
String de busca:
Estratégia
busca:
de
Número
de
N=9
131
resultados
Questão de Pesquisa Q7
Data da busca: 16/03/2010
Biblioteca digital: Scopus
Henrique Ferreira
Revisor:
(metric* OR measure OR measurement OR kpi OR "key performance
indicator") AND ("fuzzy front end" OR "fuzzy front-end" OR "innovation front
end" OR "innovation front-end" OR "front end * innovation" OR "front-end *
innovation" OR "pre-development" OR predevelopment OR "pre-phase 0" OR
"pre phase 0" OR "prephase 0" OR "stage 0" OR "pre-project" OR "pre project"
OR preproject OR "concept generation") AND ("innovative product*" OR "major
product*" OR "new product*" OR "radical product*" OR "breakthrough product*"
OR "incremental product*" OR "sustaining product*" OR "evolutionary product*"
OR "product innovation")
String de busca:
Estratégia
busca:
de
Número
resultados
de
N = 233
Questão de Pesquisa Q7
Biblioteca digital: Emerald
Henrique Ferreira
Revisor:
Data da busca: 29/03/2010
(metric OR metrics OR measure OR measurement OR KPI OR "key
performance indicator") and (((innovative OR major OR new OR
radical OR breakthrough OR incremental OR sustaining OR
evolutionary) AND product) OR "product innovation") and ("fuzzy
front end" OR "fuzzy front-end" OR "innovation front end" OR
"innovation front-end" OR "front end of innovation" OR "front-end of
innovation" OR "pre-development" OR predevelopment OR "concept
generation")
String de busca:
Estratégia
busca:
de
Os ‗*‘ foram removidos e o plural das palavras foram incluídos na
busca.
Primeiro foi buscado o conteúdo após o último ―AND‖ e depois o
restante da string dentro do resultado da primeira busca, devido ao
seguinte erro do sistema (* [Microsoft][SQLServer 2000 Driver for
JDBC][SQLServer]String or binary data would be truncated)
Número
resultados
de
N = 49 (Journals) + 4 (Books) + 3 (Bibliographic databases) = 56
132