RSE5_marco2020.txt

Conteúdo do arquivo

RELATRIO DE STATUS DE EXECUO DE COMPROMISSO
RESUMO DO COMPROMISSO
DATA DO RELATRIO
COMPROMISSO
PREPARADO POR
13 de maro de 2020
Compromisso 5. Definir mecanismo de coleta de dados para melhoria de servios regulados pela Agncia Nacional de Transporte Terrestres (ANTT) e estmulo da participao da sociedade nas pesquisas de satisfao
Paulo Henrique da Silva Costa
RGO RESPONSVEL E ENTIDADES PARTICIPANTES
rgo coordenador
Agncia Nacional de Transportes Terrestres - ANTT
Atores Envolvidos
Governo
Controladoria-Geral da Unio  CGU

Sociedade Civil
Instituto de Estudos Socioeconmicos  INESC
Instituto Brasileiro de Defesa do Consumidor  IDEC
VISO GERAL DO COMPROMISSO 
O presente compromisso faz parte do tema Anlise de satisfao dos usurios e impacto social da regulao da ANTT, por meio de pesquisa eletrnica, proposto pela Agncia Nacional de Transportes Terrestres  ANTT com o objetivo de desenvolver tecnologia e integrar dados dos sistemas online de usurios que utilizam as rodovias, ferrovias e os nibus interestaduais para envolver o cidado e gerar valor  atividade regulatria da ANTT, promovendo regulao por meio de incentivos e com melhor observao dos problemas dos mercados regulados.
Alm de procurar atender o objetivo do tema proposto, existe uma necessidade legal que  a busca de mecanismos para atender o disposto na Lei n 13.460, de 26 de junho de 2017, mais especificamente o disposto no  1 do art. 23, onde existe a previso de que os rgos e entidades pblicos devem avaliar os servios prestados por pesquisa de satisfao feita, no mnimo, a cada um ano, ou por qualquer outro meio que garanta significncia estatstica aos resultados.
Desta forma, ao cumprir o compromisso assumido no 4 Plano de Ao, espera-se que o produto seja capaz de atingir o objetivo proposto, alm de contribuir para implementao de pesquisas de satisfao que possam ser realizadas de acordo com a Lei n 13.460/2017.
VISO GERAL DO MARCO / PRAZOS
MARCOS
% CONCLUSO
DATA PARA CONCLUSO
RESPONSVEL
OBSERVAES E EVIDNCIAS
1  Levantamento interno dos dados necessrios para avaliao do servio
100%
31/12/2018
ANTT *
IDEC
Foram realizadas aes junto s reas finalsticas da ANTT que resultaram no levantamento dos dados necessrios para avaliao do servio.
2  Mapeamento das opes de ferramentas de coleta de dados
100%
31/03/2019
IDEC*
INESC
ANTT
OGU/CGU
O mapeamento foi realizado a partir de stios eletrnicos especializados no tema e em pesquisas cientficas sobre satisfao publicadas.
3  Estudo de viabilidade para definio das ferramentas de pesquisa
15%
31/08/2019
ANTT*
Este Marco est em execuo e deve ser concludo at o dia 31/07/2020.
4  Definio da estratgia para a seleo da ferramenta
100%
31/01/2020
ANTT*
IDEC
INESC
OGU/CGU
O modelo MCDA-C foi construdo.
5  Aplicao da estratgia para a seleo da ferramenta
15%
31/05/2020
ANTT*
OGU/CGU
IDEC
A estratgia est sendo aplicada por rea de atuao da ANTT e deve estar concluda dentro do prazo estipulado.
6  Seleo da ferramenta
15%
31/07/2020
ANTT*
OGU/CGU
IDEC
A seleo da ferramenta est em andamento e dever ser concluda no prazo estipulado.
* rgo/entidade responsvel por coordenar a execuo do marco
RISCOS E PROBLEMAS / SOLUES A SEREM TOMADAS
PROBLEMA
CAUSA
SOLUO
NIL
NIL
NIL
NIL
NIL
NIL
CONCLUSO (RECOMENDAES/OBSERVAES/NECESSIDADE DE REPLANEJAMENTO)
Marco 1: Levantamento interno dos dados necessrios para avaliao do servio

Preliminarmente, cabe ressaltar que no foram identificados riscos e problemas na execuo do 1 marco. Tal situao deve-se ao fato de que as duas ltimas pesquisas de satisfao realizadas pela ANTT permitiram a consolidao dos dados pesquisados. Somente uma rea tcnica  Superintendncia de Transporte Rodovirio de Multimodal de Cargas  SUROC, no possua mapeados estes dados, pois no participava das pesquisas. Assim no houve dificuldades em levantar os dados.
O primeiro marco - Levantamento interno dos dados necessrios para avaliao do servio, teve incio em 01/10/2018, e foi realizado utilizando as seguintes aes:
1) realizou-se uma apresentao para os superintendentes e gerentes das reas finalsticas da Agncia Nacional de Transportes Terrestres  ANTT, que so responsveis pela regulao e fiscalizao dos servios de transportes terrestres sob a competncia da Agncia (Transporte Rodovirio e Ferrovirio de Passageiros; Transporte Rodovirio e Ferrovirio de Cargas; Infraestrutura Rodoviria), para falar sobre a OGP, Planos de Ao e o compromisso que a Agncia est coordenando;
2) solicitou-se a cada superintendente a indicao de um servidor para representa-lo durante a execuo dos trabalhos referentes ao 1 marco;
3) foram realizadas seis reunies: a) a primeira contou com representantes de todas as reas finalsticas, e da Superintendncia Executiva  Coordenadora do compromisso; b) as demais reunies foram realizadas com o representante de cada rea individualmente, da Ouvidoria e da Superintendncia Executiva.
Na primeira reunio, foram apresentados o compromisso e os respectivos marcos. Em seguida foi estabelecida uma agenda para reunies individuais nas quais os representantes de cada rea deveriam trazer os dados a serem levantados para avaliao do servio. 
Foram realizadas posteriormente cinco reunies:
* A primeira reunio foi realizada com a Superintendncia de Explorao da Infraestrutura Rodoviria  SUINF, responsvel pelo acompanhamento dos contratos de concesso rodoviria. A SUINF apresentou algumas sugestes para a lista com atributos e itens a serem pesquisados junto aos usurios de rodovias federais concedidas, tomando como referncia a pesquisa de satisfao finalizada em 2018;
* A segunda reunio foi realizada com a Superintendncia de Fiscalizao  SUFIS, responsvel pela fiscalizao dos servios de transporte rodovirio e ferrovirio de passageiros e de cargas, que no apresentou especificamente nenhum dado diferente daqueles que foram levantados na pesquisa de satisfao dos usurios realizadas no ltimo ano e que teve seu resultado apresentado em outubro de 2018;
* A terceira reunio foi realizada com a Superintendncia de Servios de Transporte de Passageiros  SUPAS, que aps analisar os atributos e itens utilizados na pesquisa de 2017/2018 para avaliar a satisfao dos usurios com os servios prestados pelas empresas que operam o servio de transporte rodovirio interestadual e internacional de passageiros, optou por mant-los;
* A quarta reunio foi realizada com a Superintendncia de Servios de Transporte Rodovirio de Multimodal de Cargas  SUROC, que ressaltou a necessidade de participao em pesquisas de satisfao e chamou a ateno para a diversidade de usurios do TRC e o fato de at recentemente o modal no ter uma regulao econmica, os quais podem ser fatores que venham a influenciar os atributos. Particularmente, a diversidade de usurio pode ser um dificultador para a identificao do usurio.  Por fim, apresentou os dados a serem pesquisados; e
* Finalmente, a quinta reunio foi realizada com a Superintendncia de Infraestrutura e Servios de Transporte Ferrovirio de Cargas  SUFER, que informou que sero mantidos os atributos utilizados na ltima pesquisa.
Abaixo, so apresentados os quadros com dados internos levantados durante a execuo dos trabalhos junto s superintendncias da Agncia:












Quadro 1: Dados Levantados na SUINF
Atributos
ITENS
Pista
Condies do pavimento (buracos, desnveis, etc.)

Condies do pavimento em dias de chuva

Desnvel entre pista e acostamento

Desnvel na entrada de pontes
Sinalizao
Clareza nas informaes das placas

Condio da pintura do pavimento

Visibilidade da sinalizao

Facilidade de identificao do servio de Atendimento ao 
Usurio - SAU
Fluidez
Velocidade dos veculos na rodovia

Facilidade de ultrapassagem

Fluidez nas travessias urbanas 

Fluidez nos acessos e cruzamentos
Segurana
Largura do acostamento

Condies das encostas

Condio das protees laterais das pontes

Condio das protees  laterais da pista 

Segurana nos acessos e cruzamentos
Servios
Utilidade das mensagens nos painis eletrnicos 

Qualidade da informao prestada ao usurio pelos canais de atendimento

Atendimento nos SAUs  Servio de Atendimento ao Usurio (disponibilidade de gua, limpeza nos banheiros, etc.) 

Satisfao com o atendimento mdico de emergncia (tempo e eficincia) 

Satisfao com o socorro mecnico (tempo e eficincia)
Limpeza
Limpeza da pista

Limpeza das laterais da rodovia

Condio da vegetao lateral
Pedgio
Valor do pedgio  justo em relao aos servios oferecidos

Facilidade e rapidez no pagamento do pedgio
Atributos
Itens
Atendimento da Empresa
Facilidade para compra (acesso, tempo na fila, opes de pagamento)

Facilidade para a troca de bilhetes

Capacidade da equipa da empresa em resolver problemas
Conforto
Conforto do veculo (poltrona, espao interno, temperatura, nvel de rudo, etc.)
Cortesia
Gentileza e educao dos funcionrios (motorista e pessoal da empresa) 
Higiene
Limpeza do banheiro do veculo

Limpeza dos outros elementos do veculo (corredor, poltrona, cortina, espao para bagagem de mo)
Confiabilidade da viagem
Experincias quanto a no ocorrncia de quebra de veculos e interrupo da viagem  

Integridade e segurana da bagagem (cuidado com o manuseio / arrumao da bagagem)
Pontualidade
Pontualidade (horrio em que o veculo parte e chega em relao ao programado
Regularidade
Disponibilidade dos servios (quantidade de viagens / horrios na linha)
Segurana
Informaes do motorista sobre procedimentos de segurana antes do incio da viagem

Segurana na conduo do veculo pelos motoristas (Manobras, velocidades, etc.)
Preo Justo
Preo pago pela viagem  justo em relao ao servio oferecido
Conservao do veculo
Estado de conservao do veculo
Parada para refeies e lanches
Quantidade de paradas

Tempo das paradas

Segurana

Limpeza e conforto das instalaes, inclusive banheiro

Qualidade dos produtos e servios

Preo dos produtos e servios

Informaes e sinalizao (facilidade para localizar o veculo e servio)
Terminal de embarque
Segurana

Limpeza, conservao e conforto das instalaes, inclusive banheiros

Servio de informao e sinalizao

Qualidade dos produtos e servios

Preo dos produtos e servios

Facilidade de acesso (transporte pblico, taxi, estacionamento)
Quadro 2: Dados levantados pela SUPAS













Quadro 3: Dados levantados pela SUROC
Atributos
Itens
Operacionais
Integridade da carga aps o transporte

Comunicao sobre a entrega da carga

Prazo de entrega

Prazo de carregamento / descarregamento
Comerciais
Liberdade para negociao do valor do frete 

Valor do frete

Informao sobre RNTRC (status do transportador)

Competitividade com relao a outros modos
Administrativos
Facilidade de contratao de servio de transporte

Facilidade de contratao do seguro de cargas

Facilidade para realizao do pagamento do Vale  Pedgio obrigatrio

Facilidade para realizao do pagamento Eletrnico de Frete

Quadro 4: Dados levantados pela SUFER
Atributos
Itens
Operacionais
Manuteno da integridade da carga

Pontualidade na entrega da carga

Programao e suprimento dos vages de acordo com a necessidade do usurio

Qualidade dos vages

Segurana  preveno de acidentes

Soluo dos problemas operacionais

Tempo de trnsito 
Comerciais
Cumprimento dos volumes acordados

Preo das operaes acessrias

Ressarcimento de prejuzos com quebra, avaria, roubo e extravio de carga

Valor das tarifas de transporte
Administrativos
Comunicao para tratativas comerciais e operacionais

Facilidade para contratao de servio de transporte

Informao sobre a localizao da carga

Qualidade dos servios de atendimento de usurios

Desta forma, o 1 marco do Compromisso n do 4 Plano de Ao Nacional foi concludo com o levantamento interno dos dados necessrios para avaliao do servio.

Marco 2:  Mapeamento das opes de ferramentas de coleta de dados

Na execuo deste Marco, foram mapeadas as opes de ferramentas e metodologias de coleta de dados disponveis, buscando identificar em sites especializados no assunto e em pesquisas anteriores realizadas por outras entidades, as metodologias mais frequentemente utilizadas para realizar pesquisa de levantamento de opinio de usurios ou clientes. Tambm foram encontrados alguns instrumentos especficos de aplicao de questionrio, os quais se incluem dentro de uma nica metodologia de aplicao in loco, com ou sem aplicador presencial.

As opes levantadas foram encontradas em sites especializados, como o da Associao Brasileira de Empresas de Pesquisa e o Instituto Brasileiro de Pesquisa e Anlise de Dados, em pesquisas cientficas sobre pesquisa de satisfao, e em sites com exemplos de Pesquisas realizadas. Ao fim do levantamento, as observaes comearam a se tornar repetitivas, visto a predominncia desses modos listados acima no mercado atual. Tambm  importante ressaltar a proeminncia recente de vrios mtodos de Pesquisas exclusivamente digitais, voltados a redes sociais ou aplicativos de rastreamento de opinio de diversas formas, que podem ser avaliados em maior detalhe no item 1.9, mas que no foram priorizados por apresentar, na avaliao dessa pesquisa, limitaes de abrangncia da amostra, considerado o tipo e segmentao de usurios do sistema de transportes.

O mapeamento apontou que as formas de pesquisas tm limitaes, vantagens, custos e tcnicas envolvidas muito diferentes uns dos outros levando a especificaes e nveis de trabalho muito diferentes. Isto pode fazer com que ocorram impactos diversos nos usurios de diferentes meios de transportes que a ANTT regula no pas devido  alta diferena de tempo de uso, de tempo de embarque e de modo de utilizao dos meios de transportes, que variam desde nibus interestaduais, a rodovias, passando por nibus suburbanos.

Em outras palavras, nibus suburbanos que possuem uma alta rotatividade e grande volume de passageiros, por linha e por hora, podem exigir uma metodologia mais gil, j os nibus interestaduais e sistemas ferrovirios que possuem embarque mais vagaroso e os nmeros de usurios mais controlado pode ter uma metodologia mais esttica fisicamente. Por outro lado, as rodovias que possuem usurios guiando os prprios veculos pode ter uma metodologia que se adeque a isso. Estas variaes podem ser estudadas em mais detalhe nas prximas fases do compromisso.

Diante disso, este mapeamento apresenta este cenrio inicial que dever ser debatido em maiores detalhes entre as entidades do projeto nos prximos Marcos.

Abaixo  apresentado o resultado do Mapeamento das Opes de Ferramentas de Coleta de Dados, composto de metodologias (Quadro 5) e ferramentas (Quadro 6):

Quadro 5: Metodologias

Detalhamento
Prs
Contras
Links, obs., etc.
1.1  Tablet + Aplicativo Aberto
Comprar tablets para serem utilizados nos veculos, estaes ou pontos de parada, e implantar software desenvolvido por parceiros, empresas, startups, hackatonas, etc...

- Abrangncia da amostra ao ser acessvel a todos usurios;
- Facilidade de licitar insumo e servio em separado;
- Facilidade de reprogramao do questionrio.
- Necessidade de manuteno frequente do equipamento;
- Necessidade de programar localizao e suporte da ferramenta nos locais de interao com usurio.

1.2 - Tablet + Aplicativo ANTT
Comprar tablets para serem utilizados nos veculos, estaes ou pontos de parada, e implantar software por equipe contratada internamente na ANTT
- Abrangncia da amostra ao ser acessvel a todos usurios;
- Pela facilidade de produzir o aplicativo, talvez valha a pena fazer internamente;
- Facilidade de reprogramao do questionrio.






- Necessidade de manuteno frequente do equipamento;
- Necessidade de programar localizao e suporte da ferramenta nos locais de interao com usurio.

1.3 - Aplicativo ANTT para usurio
Desenvolver um aplicativo para celulares de usurios
- Simplicidade e relativamente fcil difuso
- (Oportunidade) Necessidade de existir ferramenta de servio ao usurio, como venda de passagens, reclamao, etc. para manter o uso do aplicativo.

- No ter total cobertura das categorias de usurio;
- Amostra enviesada (posse de celular, com servio 3G contratado).

1.4 - Grupo Focal
Desenvolver procedimento para pesquisas de grupo focal constantes com usurios
- Bastante customizvel;
- Fcil de medir a reao do usurio;
- Abrangncia da amostra ao ser acessvel a todos usurios;
- Trabalhoso para estruturar o processo;
- Momento de fala e relao presencial pode afetar a espontaneidade dos usurios;
- Custo pode ser elevado.

Sobre grupos focais:
(1)
(2)
1.5 - Pesquisas tradicionais
Desenvolver procedimento para efetivar a realizao de pesquisas tradicionais, com aplicadores, constantes com usurios

- Expertise da ANTT na metodologia;
- Abrangncia da amostra ao ser acessvel a todos usurios;
- Custo elevado;
- Demora do processamento dos dados;

1.6 - Lean Survey
Startup com metodologia em rede de aplicao de pesquisas tradicionais por aplicadores autnomos
- Expertise da ANTT na metodologia;
- Economia de at 70% na aplicao da pesquisa, segundo site;
- Abrangncia da amostra ao ser acessvel a todos usurios;

- Processo novo, pode haver falta de confiabilidade;
- Talvez o custo ainda seja mais elevado que em outras opes;
Sobre a ferramenta:
(3)
1.7 - Disparo de e-mails aos usurios cadastrados

- Abrangncia da amostra ao ser acessvel a todos usurios;
- Simplicidade e fcil execuo e compilao dos dados.



- Necessidade de compilar o e-mail dos usurios;
- Possvel baixo nmero de respostas;

1.8 - Telefonema aos usurios cadastrados

- Menos trabalho que pesquisa de campo;
- Abrangncia da amostra ao ser acessvel a todos usurios;
- Processo trabalhoso demanda trabalho ativo de funcionrios ou equipe, embora menos trabalho de campo;
- Necessidade de compilar o telefone dos usurios.



1.9 - Menes em Redes Sociais

- Simplicidade e fcil execuo.
- Amostragem muito enviesada;
- Questo no  orientada, ento  necessrio desenvolver uma metodologia a partir do nmero absoluto de menes;

Introdutrio:
(4)

Completo:
(5)
1.10 - Metodologia CATI/CAPI

- Menos trabalho que pesquisa de campo;
- Abrangncia da amostra ao ser acessvel a todos usurios;
- Processo novo;
- Processo trabalhoso demanda trabalho ativo de funcionrios ou equipe, embora menos trabalho de campo;
- Precisa identificar telefone dos usurios.

(6)

(7)

(8)
Quadro 6: Ferramentas

Detalhamento
Prs
Contras
Links, obs., etc.
2.1 - Gertec (Aparelho porttil)
Contratao de aparelho especializado em pesquisa de satisfao no formato porttil para aplicar as pesquisas.

- Abrangncia da amostra ao ser acessvel a todos usurios;
- Facilidade de reprogramao do questionrio
- Necessidade de manuteno frequente do equipamento;
(10)
2.2 - Solvis (Toten)
Contratao de aparelho especializado em pesquisa de satisfao no formato ttem para aplicar as pesquisas
- Abrangncia da amostra ao ser acessvel a todos usurios;
- Facilidade de reprogramao do questionrio
- Necessidade de presena de aplicador do questionrio;
(11)
2.3 - Like no Like
Exemplo de contratao de aparelho especializado em pesquisa de satisfao no formato totem para aplicar as pesquisas

- Abrangncia da amostra ao ser acessvel a todos usurios;
- Facilidade de reprogramao do questionrio
- Necessidade de manuteno frequente do equipamento;


Fonte para coletar ideias:
Associao Brasileira de Empresas de Pesquisa
http://www.abep.org/

Avaliao destes diversos tipos:
http://www.inf.ufsc.br/~vera.carmo/Ensino_2013_2/Instrumento_Coleta_Dados_Pesquisas_Educacionais.pdf

Discusso sobre formulrio, questionrio ou entrevista:
http://www.editorarealize.com.br/revistas/conedu/trabalhos/TRABALHO_EV056_MD1_SA13_ID8319_03082016000937.pdf

Links para metodologias e Ferramentas:

1) http://www.scielo.br/paiedeia/v12n24/04
2) https://revistas.ufpr.br/cogitare/article/view/14486
3) https://leansurvey.com.br/
4) https://bibliotecas.sebrae.com.br/chronus/ARQUIVOS_CHRONUS/bds/bds.nsf/24131C962E2F9B6C0325714700683043/$File/NT00031FF6.pdf
5) https://www.ibpad.com.br/wp-content/uploads/2016/12/Monitoramento-e-pesquisa-em-midias-sociais.pdf
6) https://www.institutophd.com.br/como-funcionam-as-pesquisas-capi-e-cati/
7) https://pt.wikipedia.org/wiki/CATI
8) http://www.brazilpanels.com.br/Cati.aspx
9) https://www.gertec.com.br/produtos/pesquisa-rapida/
10) https://www.solvis.com.br/


Marco 3:  Estudo de viabilidade para definio das ferramentas de pesquisa

Na execuo deste Marco esto previstas trs aes: estudo de viabilidade tcnica; estudo de viabilidade operacional; e estudo de viabilidade econmica. O prazo para concluso desta tarefa expira em 30 de agosto de 2019.

Durante a elaborao do cronograma para execuo deste Marco, o grupo responsvel entendeu que ele est fortemente correlacionado com os marcos 4 - Definio da estratgia para a seleo da ferramenta, 5 - Aplicao da estratgia para a seleo da ferramenta e 6  Seleo da ferramenta.

Assim, foi proposta a criao de um modelo para seleo baseada na Metodologia Multicritrio de Apoio a Deciso  Construtivista (MCDA-C). Tal modelo ser o produto do Marco 4 e englobar o estudo de viabilidade do Marco 3 e se constituir na etapa predecessora da estratgia para seleo que ser aplicada (marco 5) para seleo da ferramenta (Marco 6).

Como a concluso desse marco dependia da concluso do Marco 4, o que se deu em outubro/2019, este marco ser executado concomitantemente com os Marcos 5 e 6. Dessa forma, a partir de novembro de 2019, deu-se incio a execuo dos Marcos 3, 5 e 6, que esto em andamento com previso de concluso dentro do prazo estipulado no cronograma da ao.

Marco 4:  Definio da estratgia para a seleo da ferramenta

Como dito no item anterior, o produto deste Marco ser um modelo para seleo da ferramenta baseada na Metodologia Multicritrio de Apoio a Deciso  Construtivista (MCDA-C).

A Metodologia Multicritrio de Apoio  Deciso  Construtivista (MCDA-C), de acordo com Ensslin et al (2010),  uma ramificao do MCDA tradicional para apoiar os decisores em contextos complexos, conflituosos e incertos. Dutra et al. (2009) resumiram as premissas da MCDA-C e chegaram a dois consensos: o primeiro  de que nos problemas decisrios existem mltiplos critrios; e o segundo,  de que a noo de melhor soluo  substituda pela busca de uma soluo que melhor se enquadre nas necessidades do decisor e no contexto decisional como um todo. Desta forma, a metodologia MCDA-C permite aos atores de um processo decisrio aumentarem seu grau de conformidade e de entendimento no desenvolvimento de um processo de tomada de deciso, no qual esto presentes seu sistema de valor e seus objetivos (pontos de vista), e busca encontrar a melhor soluo para atender aos valores dos decisores.

A Anlise Multicritrio de Apoio  Deciso  Construtivista (MCDA-C)  construda a partir de quatro etapas: Identificao do Contexto Decisrio, Estruturao do Problema, Estruturao do Modelo Multicritrio e Avaliao das Aes Potenciais.

A etapa de Identificao do Contexto Decisrio aborda os aspectos que devem ser definidos no incio da construo do modelo de anlise multicritrio. Nela, so identificados os atores envolvidos no processo de construo do modelo,  identificado o tipo de ao que ser avaliado e  escolhida a problemtica de referncia (ENSSLIN et al., 2001).

A identificao dos atores envolvidos no processo decisrio constitui-se num importante passo na construo de um modelo multicritrio. Na prtica,  dos atores o sistema de valores que nortear a construo de modelo. Ensslin et al. (2001) distinguem os atores em dois grupos, conforme a participao no processo decisrio: os intervenientes, que participam diretamente do processo de deciso, e os agidos que sofrem de forma passiva as consequncias da implementao da deciso tomada.

No processo de apoio  deciso foram identificados como atores intervenientes trs servidores da Ouvidoria e dois servidores da Superintendncia Executiva da ANTT, representantes do governo na OGP. Por outro lado, foram elegidos como atores agidos os Usurios dos servios regulados pela ANTT e a Sociedade Civil (Tabela 1):

Tabela 1  Atores do processo construo do modelo para seleo da ferramenta
INTERVENIENTES
Especialistas e pesquisadores do PPGT - UnB

Facilitador  Coordenador do compromisso
AGIDOS
Usurios dos servios regulados pela ANTT

Sociedade Civil
Aps a identificao dos atores, o prximo passo consiste em identificar o tipo de ao avaliada pelo modelo. Segundo Roy, apud Ensslin et al., 2001, ao  a representao de uma possvel contribuio  deciso, representao esta que pode ser considerada autnoma com relao ao processo de deciso. Assim, neste modelo foi identificada como ao potencial a seleo da ferramenta para coleta de dados para melhoria de servios regulados pela Agncia Nacional de Transportes Terrestres (ANTT).

Para finalizar etapa de Identificao do Contexto Decisrio, foi escolhida a Problemtica da Escolha, uma vez que o objetivo deste trabalho  escolher uma ferramenta para coleta de dados para melhoria de servios regulados pela Agncia Nacional de Transportes Terrestres (ANTT) dentre as diversas opes existentes no mercado.

A etapa de Estruturao do Problema visa  definio de um rtulo para o problema e a determinao da Famlia de Pontos de Vista Fundamentais (PVF).

Nesta etapa da construo do modelo multicritrio, foram identificados os Elementos Primrios de Avaliao - EPA, com base na dinmica de grupo chamada de brainstorming, que visa explorar a potencialidade criativa dos especialistas em transportes. Aps serem identificados, os EPA, que segundo Bana e Costa (1992) so constitudos de objetivos, metas, valores dos decisores, bem como aes, opes e alternativas, os mesmos foram testados para verificar se atendiam s propriedades necessrias para transform-los em Pontos de Vista Fundamentais (PVF). Somente aps atenderem a essas propriedades, passaram a ser considerados como Famlia dos Pontos de Vista Fundamentais (Figura 1).



Figura 1 - Famlia dos Pontos de Vista Fundamentais

Com a determinao da famlia dos Pontos de Vistas Fundamentais, concluiu-se a etapa de estruturao do problema. A prxima etapa consiste na estruturao do modelo multicritrio.

Na etapa de Estruturao do Modelo Multicritrio define-se, inicialmente, quais os aspectos, dentro do contexto decisrio, que os decisores consideram essenciais e desejveis no processo de avaliao das aes potenciais (ENSSLIN et al., 2001). Estes aspectos constituem os eixos de avaliao, que Bana e Costa et al. (1999) definem como uma dimenso considerada como relevante, segundo os valores dos decisores, para avaliar as aes potenciais. Segundo Ensslin et al. (2001), a identificao dos eixos de avaliao do problema  chamada de transio de um mapa cognitivo para um modelo multicritrio.

A estruturao do modelo multicritrio foi realizada a partir da construo de uma rvore de Pontos de Vista Fundamentais; criao de critrios de avaliao para cada PVF com a definio de um Descritor para mensurar cada critrio de avaliao e a obteno de uma Funo de Valor Associada ao Descritor. Por fim, foram definidas as Taxas de substituio entre os PVF.

A estruturao em rvore (ou rvore de valores) permite visualizar de forma organizada a totalidade dos aspectos importantes do problema (BANA E COSTA, 2005). De acordo com Ensslin et al. (2001), a estrutura arborescente utiliza a lgica da decomposio, em que um critrio mais complexo de ser mensurado  decomposto em subcritrios de mais fcil mensurao. Em regra, o critrio de nvel hierrquico superior  definido pelo conjunto de critrios de nvel hierrquico inferior que esto ligados a ele na rvore.

A rvore de Pontos de Vista Fundamentais  estruturada em nveis, cada nvel utiliza um elemento (Rtulo, PVF, PVE, Sub PVE). O primeiro nvel  composto pelo Rtulo do Problema, que descreve o problema a ser solucionado e representa o objetivo a ser alcanado. O nvel seguinte  composto pela Famlia de Pontos de Vista Fundamentais que podem ou no ser decompostos em Pontos de Vista Elementares (PVE). Os PVE so utilizados sempre que existe a necessidade de decomposio do eixo de avaliao e permitem que seja realizada uma melhor avaliao da performance das aes potenciais no ponto de vista considerado. Os PVE podem ser decompostos em sub PVE, desde que os decisores sintam necessidade, para uma melhor explicao de um ponto de vista. De acordo com Keeney (1992), devem existir pelo menos dois critrios de nvel hierrquico inferior conectados ao critrio de nvel hierrquico superior. A estrutura genrica de um modelo multicritrio que adota uma estrutura de arborescente  apresentada na Figura 2.


Figura 2 - Estrutura genrica de um Modelo Multicritrio

Assim, a rvore de Pontos de Vista Fundamentais para avaliao da qualidade do servio semiurbano est representada na Figura 3 abaixo:



Figura 3  rvore dos Pontos de Vista Fundamentais

Aps a definio da rvore dos Pontos de Vista Fundamentais, foram construdos os descritores para cada eixo de avaliao, formados pelos sub PVE (critrios de avaliao).
 
Os descritores, segundo Bana e Costa (1992) e Bana e Costa et al (1999) apud  Ensslin et al. (2001), podem ser definidos como um conjunto de nveis de impacto que servem como base para descrever as performances plausveis das aes potenciais em termos de cada PVF. Desta forma foram criados 17 descritores com suas respectivas funes de valor, e foram estabelecidos nveis de impacto para cada um desses descritores. 

Algumas abordagens tm sido propostas para a construo das funes de valor, por exemplo, "Direct Rating" (VON WINTERFELDT e EDWARDS, 1986), "Bisection" (GOODWIN e WRIGHT, 1991) e MACBETH (BANA E COSTA e VANSNICK, 1995b, 1995c, 1995d, 1997; BANA E COSTA et al., 1995a).

Este trabalho  baseado na metodologia MACBETH (Mensuring Attractiveness by a Category Based Technique). Atravs de sua simplificao, ele pode superar dificuldades decorrentes do processo de questionamento. Os intervenientes tm que elaborar um julgamento absoluto sobre a diferena entre dois nveis (BANA E COSTA e VANSNICK, 1995b).

O procedimento de questionamento MACBETH consiste em fazer aos intervenientes a seguinte pergunta: Qual  a relao de atratividade de passar de nvel inferior para um nvel superior, por exemplo, de um nvel Bom para o nvel Muito Bom.  Este questionamento se faz para todos os nveis. Os intervenientes respondem, segundo seus juzos de valor para cada dois nveis umas das categorias semnticas:  'indiferente', 'muito fraco', 'fraco', 'moderado', 'forte', 'muito forte' ou 'extremo'.

Para facilitar esse dilogo, utiliza-se uma escala ordinal semntica composta por sete categorias de diferena atratividade, a saber (ENSSLIN et al., 2001):

C0  nenhuma diferena de atratividade (indiferena)
C1  diferena de atratividade muito fraca
C2  diferena de atratividade fraca
C3  diferena de atratividade moderada
C4  diferena de atratividade forte
C5  diferena de atratividade muito forte
C6  diferena de atratividade extrema

Durante este processo de questionamento, o facilitador preenche uma submatrix triangular superior  matriz n x n, de acordo com as respostas dadas pelos intervenientes das categorias semnticas. Em seguida, o M-MACBETH encontra (por programao linear) a escala cardinal que melhor representa os julgamentos absolutos dos intervenientes.

Para exemplificar, a Figura 4 mostra a Matriz de Julgamento Semntico do Software M-MACBETH, preenchida a partir do juzo de valor dos atores intervenientes e a respectiva funo de valor obtida a partir da matriz de julgamento. Na Tabela 2,  apresentado o Descritor do Sub PVE N50  Aquisio da Ferramenta.


Figura 4 - Matriz de Julgamento Semntico + Funo de Valor extrada do Software M-Macbeth







Tabela 2  Descritor do Sub PVE N50  Aquisio da Ferramenta.
Critrio de avaliao do Sub PVE N50  Aquisio da Ferramenta.
Nveis de Impacto
Nveis de Referncia
Descrio
Funo de Valor
NENHUM
Bom
A ANTT no ter nenhum custo com a aquisio da ferramenta
100,00
BAIXO

A ANTT ter um custo baixo com a aquisio da ferramenta
76,92
MDIO

A ANTT ter um custo mdio com a aquisio da ferramenta
53,85
ALTO

A ANTT ter um custo alto com a aquisio da ferramenta
30,77
MUITO ALTO
Neutro
A ANTT ter um custo muito alto com a aquisio da ferramenta
0,00
	
Em seguida, foram definidas as taxas de substituio. Segundo Ensslin et al. (2001), as taxas de substituio, tambm conhecidas como pesos, so parmetros que os decisores julgam adequados para agregar, de forma compensatria, desempenhos locais (nos critrios) em uma performance global.

As taxas de substituio de um modelo multicritrio expressam,  luz da preferncia do decisor, a perda de performance que uma ao potencial deve sofrer em um critrio para compensar o ganho de desempenho em outro. Elas so tambm chamadas de trade-offs, taxas de compensao e constantes de escala. Vulgarmente, e na literatura inglesa, so tambm conhecidas como pesos (weights) (ENSSLIN et al., 2001).

As taxas de substituio foram obtidas junto aos especialistas que atuaram como atores intervenientes. O resultado obtido  apresentado na Tabela 3.

Tabela 3  Taxas de Substituio do Modelo Multicritrio para Seleo da Ferramenta



Na ltima etapa, Avaliao das Aes Potenciais, de acordo com Ensslin et al. (2001), as aes tm seu desempenho avaliado. A partir do desempenho de cada ao, utiliza-se uma frmula de agregao aditiva, que permite agregar em uma avaliao global as performances locais das aes, em cada um dos critrios do modelo. Ainda nesta etapa,  realizada a anlise dos resultados do modelo por meio de uma anlise de sensibilidade a fim de testar a robustez do modelo diante de variaes de seus diversos parmetros (ZAMCOP et al., 2012).

At o dia 31/10/2019, as etapas: Identificao do Contexto Decisrio; Estruturao do Problema; e Estruturao do Modelo Multicritrio, que representam a construo do modelo para a seleo da ferramenta, foram concludas. A Avaliao das Aes Potenciais representa a utilizao do modelo construdo para execuo dos Marcos 3, 5 e 6. 




Pgina16

Controladoria-Geral da Unio
Parceria para Governo Aberto  Open Government Partnership - OGP