RELATÓRIO DE STATUS DE EXECUÇÃO DE COMPROMISSO RESUMO DO COMPROMISSO DATA DO RELATÓRIO COMPROMISSO PREPARADO POR 11 de novembro de 2019 Compromisso 5. Definir mecanismo de coleta de dados para melhoria de serviços regulados pela Agência Nacional de Transporte Terrestres (ANTT) e estímulo da participação da sociedade nas pesquisas de satisfação Paulo Henrique da Silva Costa ÓRGÃO RESPONSÁVEL E ENTIDADES PARTICIPANTES Órgão coordenador Agência Nacional de Transportes Terrestres - ANTT Atores Envolvidos Governo Controladoria-Geral da União – CGU Sociedade Civil Instituto de Estudos Socioeconômicos – INESC Instituto Brasileiro de Defesa do Consumidor – IDEC VISÃO GERAL DO COMPROMISSO O presente compromisso faz parte do tema “Análise de satisfação dos usuários e impacto social da regulação da ANTT, por meio de pesquisa eletrônica”, proposto pela Agência Nacional de Transportes Terrestres – ANTT com o objetivo de desenvolver tecnologia e integrar dados dos sistemas online de usuários que utilizam as rodovias, ferrovias e os ônibus interestaduais para envolver o cidadão e gerar valor à atividade regulatória da ANTT, promovendo regulação por meio de incentivos e com melhor observação dos problemas dos mercados regulados. Além de procurar atender o objetivo do tema proposto, existe uma necessidade legal que é a busca de mecanismos para atender o disposto na Lei nº 13.460, de 26 de junho de 2017, mais especificamente o disposto no § 1º do art. 23, onde existe a previsão de que os órgãos e entidades públicos devem avaliar os serviços prestados por pesquisa de satisfação feita, no mínimo, a cada um ano, ou por qualquer outro meio que garanta significância estatística aos resultados. Desta forma, ao cumprir o compromisso assumido no 4º Plano de Ação, espera-se que o produto seja capaz de atingir o objetivo proposto, além de contribuir para implementação de pesquisas de satisfação que possam ser realizadas de acordo com a Lei nº 13.460/2017. VISÃO GERAL DO MARCO / PRAZOS MARCOS % CONCLUSÃO DATA PARA CONCLUSÃO RESPONSÁVEL OBSERVAÇÕES E EVIDÊNCIAS 1 – Levantamento interno dos dados necessários para avaliação do serviço 100% 31/12/2018 ANTT * IDEC Foram realizadas ações junto às áreas finalísticas da ANTT que resultaram no levantamento dos dados necessários para avaliação do serviço. 2 – Mapeamento das opções de ferramentas de coleta de dados 100% 31/03/2019 IDEC* INESC ANTT OGU/CGU O mapeamento foi realizado a partir de sítios eletrônicos especializados no tema e em pesquisas científicas sobre satisfação publicadas. 3 – Estudo de viabilidade para definição das ferramentas de pesquisa 0% 31/08/2019 ANTT* Este Marco será executado após a conclusão do Marco 4, porém deverá ser concluído dentro do prazo estabelecido. 4 – Definição da estratégia para a seleção da ferramenta 100% 31/01/2020 ANTT* IDEC INESC OGU/CGU O modelo MCDA-C foi construído. 5 – Aplicação da estratégia para a seleção da ferramenta 0% 31/05/2020 ANTT* OGU/CGU IDEC 6 – Seleção da ferramenta 0% 31/07/2020 ANTT* OGU/CGU IDEC * Órgão/entidade responsável por coordenar a execução do marco RISCOS E PROBLEMAS / SOLUÇÕES A SEREM TOMADAS PROBLEMA CAUSA SOLUÇÃO NIL NIL NIL NIL NIL NIL CONCLUSÃO (RECOMENDAÇÕES/OBSERVAÇÕES/NECESSIDADE DE REPLANEJAMENTO) Marco 1: Levantamento interno dos dados necessários para avaliação do serviço Preliminarmente, cabe ressaltar que não foram identificados riscos e problemas na execução do 1º marco. Tal situação deve-se ao fato de que as duas últimas pesquisas de satisfação realizadas pela ANTT permitiram a consolidação dos dados pesquisados. Somente uma área técnica – Superintendência de Transporte Rodoviário de Multimodal de Cargas – SUROC, não possuía mapeados estes dados, pois não participava das pesquisas. Assim não houve dificuldades em levantar os dados. O primeiro marco - Levantamento interno dos dados necessários para avaliação do serviço, teve início em 01/10/2018, e foi realizado utilizando as seguintes ações: 1º) realizou-se uma apresentação para os superintendentes e gerentes das áreas finalísticas da Agência Nacional de Transportes Terrestres – ANTT, que são responsáveis pela regulação e fiscalização dos serviços de transportes terrestres sob a competência da Agência (Transporte Rodoviário e Ferroviário de Passageiros; Transporte Rodoviário e Ferroviário de Cargas; Infraestrutura Rodoviária), para falar sobre a OGP, Planos de Ação e o compromisso que a Agência está coordenando; 2º) solicitou-se a cada superintendente a indicação de um servidor para representa-lo durante a execução dos trabalhos referentes ao 1º marco; 3º) foram realizadas seis reuniões: a) a primeira contou com representantes de todas as áreas finalísticas, e da Superintendência Executiva – Coordenadora do compromisso; b) as demais reuniões foram realizadas com o representante de cada área individualmente, da Ouvidoria e da Superintendência Executiva. Na primeira reunião, foram apresentados o compromisso e os respectivos marcos. Em seguida foi estabelecida uma agenda para reuniões individuais nas quais os representantes de cada área deveriam trazer os dados a serem levantados para avaliação do serviço. Foram realizadas posteriormente cinco reuniões: * A primeira reunião foi realizada com a Superintendência de Exploração da Infraestrutura Rodoviária – SUINF, responsável pelo acompanhamento dos contratos de concessão rodoviária. A SUINF apresentou algumas sugestões para a lista com atributos e itens a serem pesquisados junto aos usuários de rodovias federais concedidas, tomando como referência a pesquisa de satisfação finalizada em 2018; * A segunda reunião foi realizada com a Superintendência de Fiscalização – SUFIS, responsável pela fiscalização dos serviços de transporte rodoviário e ferroviário de passageiros e de cargas, que não apresentou especificamente nenhum dado diferente daqueles que foram levantados na pesquisa de satisfação dos usuários realizadas no último ano e que teve seu resultado apresentado em outubro de 2018; * A terceira reunião foi realizada com a Superintendência de Serviços de Transporte de Passageiros – SUPAS, que após analisar os atributos e itens utilizados na pesquisa de 2017/2018 para avaliar a satisfação dos usuários com os serviços prestados pelas empresas que operam o serviço de transporte rodoviário interestadual e internacional de passageiros, optou por mantê-los; * A quarta reunião foi realizada com a Superintendência de Serviços de Transporte Rodoviário de Multimodal de Cargas – SUROC, que ressaltou a necessidade de participação em pesquisas de satisfação e chamou a atenção para a diversidade de usuários do TRC e o fato de até recentemente o modal não ter uma regulação econômica, os quais podem ser fatores que venham a influenciar os atributos. Particularmente, a diversidade de usuário pode ser um dificultador para a identificação do usuário. Por fim, apresentou os dados a serem pesquisados; e * Finalmente, a quinta reunião foi realizada com a Superintendência de Infraestrutura e Serviços de Transporte Ferroviário de Cargas – SUFER, que informou que serão mantidos os atributos utilizados na última pesquisa. Abaixo, são apresentados os quadros com dados internos levantados durante a execução dos trabalhos junto às superintendências da Agência: Quadro 1: Dados Levantados na SUINF Atributos ITENS Pista Condições do pavimento (buracos, desníveis, etc.) Condições do pavimento em dias de chuva Desnível entre pista e acostamento Desnível na entrada de pontes Sinalização Clareza nas informações das placas Condição da pintura do pavimento Visibilidade da sinalização Facilidade de identificação do serviço de Atendimento ao Usuário - SAU Fluidez Velocidade dos veículos na rodovia Facilidade de ultrapassagem Fluidez nas travessias urbanas Fluidez nos acessos e cruzamentos Segurança Largura do acostamento Condições das encostas Condição das proteções laterais das pontes Condição das proteções laterais da pista Segurança nos acessos e cruzamentos Serviços Utilidade das mensagens nos painéis eletrônicos Qualidade da informação prestada ao usuário pelos canais de atendimento Atendimento nos SAUs – Serviço de Atendimento ao Usuário (disponibilidade de água, limpeza nos banheiros, etc.) Satisfação com o atendimento médico de emergência (tempo e eficiência) Satisfação com o socorro mecânico (tempo e eficiência) Limpeza Limpeza da pista Limpeza das laterais da rodovia Condição da vegetação lateral Pedágio Valor do pedágio é justo em relação aos serviços oferecidos Facilidade e rapidez no pagamento do pedágio Atributos Itens Atendimento da Empresa Facilidade para compra (acesso, tempo na fila, opções de pagamento) Facilidade para a troca de bilhetes Capacidade da equipa da empresa em resolver problemas Conforto Conforto do veículo (poltrona, espaço interno, temperatura, nível de ruído, etc.) Cortesia Gentileza e educação dos funcionários (motorista e pessoal da empresa) Higiene Limpeza do banheiro do veículo Limpeza dos outros elementos do veículo (corredor, poltrona, cortina, espaço para bagagem de mão) Confiabilidade da viagem Experiências quanto a não ocorrência de quebra de veículos e interrupção da viagem Integridade e segurança da bagagem (cuidado com o manuseio / arrumação da bagagem) Pontualidade Pontualidade (horário em que o veículo parte e chega em relação ao programado Regularidade Disponibilidade dos serviços (quantidade de viagens / horários na linha) Segurança Informações do motorista sobre procedimentos de segurança antes do início da viagem Segurança na condução do veículo pelos motoristas (Manobras, velocidades, etc.) Preço Justo Preço pago pela viagem é justo em relação ao serviço oferecido Conservação do veículo Estado de conservação do veículo Parada para refeições e lanches Quantidade de paradas Tempo das paradas Segurança Limpeza e conforto das instalações, inclusive banheiro Qualidade dos produtos e serviços Preço dos produtos e serviços Informações e sinalização (facilidade para localizar o veículo e serviço) Terminal de embarque Segurança Limpeza, conservação e conforto das instalações, inclusive banheiros Serviço de informação e sinalização Qualidade dos produtos e serviços Preço dos produtos e serviços Facilidade de acesso (transporte público, taxi, estacionamento) Quadro 2: Dados levantados pela SUPAS Quadro 3: Dados levantados pela SUROC Atributos Itens Operacionais Integridade da carga após o transporte Comunicação sobre a entrega da carga Prazo de entrega Prazo de carregamento / descarregamento Comerciais Liberdade para negociação do valor do frete              Valor do frete Informação sobre RNTRC (status do transportador) Competitividade com relação a outros modos Administrativos Facilidade de contratação de serviço de transporte Facilidade de contratação do seguro de cargas Facilidade para realização do pagamento do Vale – Pedágio obrigatório Facilidade para realização do pagamento Eletrônico de Frete Quadro 4: Dados levantados pela SUFER Atributos Itens Operacionais Manutenção da integridade da carga Pontualidade na entrega da carga Programação e suprimento dos vagões de acordo com a necessidade do usuário Qualidade dos vagões Segurança – prevenção de acidentes Solução dos problemas operacionais Tempo de trânsito Comerciais Cumprimento dos volumes acordados Preço das operações acessórias Ressarcimento de prejuízos com quebra, avaria, roubo e extravio de carga Valor das tarifas de transporte Administrativos Comunicação para tratativas comerciais e operacionais Facilidade para contratação de serviço de transporte Informação sobre a localização da carga Qualidade dos serviços de atendimento de usuários Desta forma, o 1º marco do Compromisso nº do 4º Plano de Ação Nacional foi concluído com o levantamento interno dos dados necessários para avaliação do serviço. Marco 2: Mapeamento das opções de ferramentas de coleta de dados Na execução deste Marco, foram mapeadas as opções de ferramentas e metodologias de coleta de dados disponíveis, buscando identificar em sites especializados no assunto e em pesquisas anteriores realizadas por outras entidades, as metodologias mais frequentemente utilizadas para realizar pesquisa de levantamento de opinião de usuários ou clientes. Também foram encontrados alguns instrumentos específicos de aplicação de questionário, os quais se incluem dentro de uma única metodologia de aplicação in loco, com ou sem aplicador presencial. As opções levantadas foram encontradas em sites especializados, como o da Associação Brasileira de Empresas de Pesquisa e o Instituto Brasileiro de Pesquisa e Análise de Dados, em pesquisas científicas sobre pesquisa de satisfação, e em sites com exemplos de Pesquisas realizadas. Ao fim do levantamento, as observações começaram a se tornar repetitivas, visto a predominância desses modos listados acima no mercado atual. Também é importante ressaltar a proeminência recente de vários métodos de Pesquisas exclusivamente digitais, voltados a redes sociais ou aplicativos de rastreamento de opinião de diversas formas, que podem ser avaliados em maior detalhe no item 1.9, mas que não foram priorizados por apresentar, na avaliação dessa pesquisa, limitações de abrangência da amostra, considerado o tipo e segmentação de usuários do sistema de transportes. O mapeamento apontou que as formas de pesquisas têm limitações, vantagens, custos e técnicas envolvidas muito diferentes uns dos outros levando a especificações e níveis de trabalho muito diferentes. Isto pode fazer com que ocorram impactos diversos nos usuários de diferentes meios de transportes que a ANTT regula no país devido à alta diferença de tempo de uso, de tempo de embarque e de modo de utilização dos meios de transportes, que variam desde ônibus interestaduais, a rodovias, passando por ônibus suburbanos. Em outras palavras, ônibus suburbanos que possuem uma alta rotatividade e grande volume de passageiros, por linha e por hora, podem exigir uma metodologia mais ágil, já os ônibus interestaduais e sistemas ferroviários que possuem embarque mais vagaroso e os números de usuários mais controlado pode ter uma metodologia mais estática fisicamente. Por outro lado, as rodovias que possuem usuários guiando os próprios veículos pode ter uma metodologia que se adeque a isso. Estas variações podem ser estudadas em mais detalhe nas próximas fases do compromisso. Diante disso, este mapeamento apresenta este cenário inicial que deverá ser debatido em maiores detalhes entre as entidades do projeto nos próximos Marcos. Abaixo é apresentado o resultado do Mapeamento das Opções de Ferramentas de Coleta de Dados, composto de metodologias (Quadro 5) e ferramentas (Quadro 6): Quadro 5: Metodologias Detalhamento Prós Contras Links, obs., etc. 1.1 – Tablet + Aplicativo “Aberto” Comprar tablets para serem utilizados nos veículos, estações ou pontos de parada, e implantar software desenvolvido por parceiros, empresas, startups, hackatonas, etc... - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de licitar insumo e serviço em separado; - Facilidade de reprogramação do questionário. - Necessidade de manutenção frequente do equipamento; - Necessidade de programar localização e suporte da ferramenta nos locais de interação com usuário. 1.2 - Tablet + Aplicativo ANTT Comprar tablets para serem utilizados nos veículos, estações ou pontos de parada, e implantar software por equipe contratada internamente na ANTT - Abrangência da amostra ao ser acessível a todos usuários; - Pela facilidade de produzir o aplicativo, talvez valha a pena fazer internamente; - Facilidade de reprogramação do questionário. - Necessidade de manutenção frequente do equipamento; - Necessidade de programar localização e suporte da ferramenta nos locais de interação com usuário. 1.3 - Aplicativo ANTT para usuário Desenvolver um aplicativo para celulares de usuários - Simplicidade e relativamente fácil difusão - (Oportunidade) Necessidade de existir ferramenta de serviço ao usuário, como venda de passagens, reclamação, etc. para manter o uso do aplicativo. - Não terá total cobertura das categorias de usuário; - Amostra enviesada (posse de celular, com serviço 3G contratado). 1.4 - Grupo Focal Desenvolver procedimento para pesquisas de grupo focal constantes com usuários - Bastante customizável; - Fácil de medir a reação do usuário; - Abrangência da amostra ao ser acessível a todos usuários; - Trabalhoso para estruturar o processo; - Momento de fala e relação presencial pode afetar a espontaneidade dos usuários; - Custo pode ser elevado. Sobre grupos focais: (1) (2) 1.5 - Pesquisas tradicionais Desenvolver procedimento para efetivar a realização de pesquisas tradicionais, com aplicadores, constantes com usuários - Expertise da ANTT na metodologia; - Abrangência da amostra ao ser acessível a todos usuários; - Custo elevado; - Demora do processamento dos dados; 1.6 - Lean Survey Startup com metodologia em rede de aplicação de pesquisas tradicionais por aplicadores autônomos - Expertise da ANTT na metodologia; - Economia de até 70% na aplicação da pesquisa, segundo site; - Abrangência da amostra ao ser acessível a todos usuários; - Processo novo, pode haver falta de confiabilidade; - Talvez o custo ainda seja mais elevado que em outras opções; Sobre a ferramenta: (3) 1.7 - Disparo de e-mails aos usuários cadastrados - Abrangência da amostra ao ser acessível a todos usuários; - Simplicidade e fácil execução e compilação dos dados. - Necessidade de compilar o e-mail dos usuários; - Possível baixo número de respostas; 1.8 - Telefonema aos usuários cadastrados - Menos trabalho que pesquisa de campo; - Abrangência da amostra ao ser acessível a todos usuários; - Processo trabalhoso demanda trabalho ativo de funcionários ou equipe, embora menos trabalho de campo; - Necessidade de compilar o telefone dos usuários. 1.9 - Menções em Redes Sociais - Simplicidade e fácil execução. - Amostragem muito enviesada; - Questão não é orientada, então é necessário desenvolver uma metodologia a partir do número absoluto de menções; Introdutório: (4) Completo: (5) 1.10 - Metodologia CATI/CAPI - Menos trabalho que pesquisa de campo; - Abrangência da amostra ao ser acessível a todos usuários; - Processo novo; - Processo trabalhoso demanda trabalho ativo de funcionários ou equipe, embora menos trabalho de campo; - Precisa identificar telefone dos usuários. (6) (7) (8) Quadro 6: Ferramentas Detalhamento Prós Contras Links, obs., etc. 2.1 - Gertec (Aparelho portátil) Contratação de aparelho especializado em pesquisa de satisfação no formato portátil para aplicar as pesquisas. - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de reprogramação do questionário - Necessidade de manutenção frequente do equipamento; (10) 2.2 - Solvis (Toten) Contratação de aparelho especializado em pesquisa de satisfação no formato tótem para aplicar as pesquisas - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de reprogramação do questionário - Necessidade de presença de aplicador do questionário; (11) 2.3 - Like no Like Exemplo de contratação de aparelho especializado em pesquisa de satisfação no formato totem para aplicar as pesquisas - Abrangência da amostra ao ser acessível a todos usuários; - Facilidade de reprogramação do questionário - Necessidade de manutenção frequente do equipamento; Fonte para coletar ideias: Associação Brasileira de Empresas de Pesquisa http://www.abep.org/ Avaliação destes diversos tipos: http://www.inf.ufsc.br/~vera.carmo/Ensino_2013_2/Instrumento_Coleta_Dados_Pesquisas_Educacionais.pdf Discussão sobre formulário, questionário ou entrevista: http://www.editorarealize.com.br/revistas/conedu/trabalhos/TRABALHO_EV056_MD1_SA13_ID8319_03082016000937.pdf Links para metodologias e Ferramentas: 1) http://www.scielo.br/paiedeia/v12n24/04 2) https://revistas.ufpr.br/cogitare/article/view/14486 3) https://leansurvey.com.br/ 4) https://bibliotecas.sebrae.com.br/chronus/ARQUIVOS_CHRONUS/bds/bds.nsf/24131C962E2F9B6C0325714700683043/$File/NT00031FF6.pdf 5) https://www.ibpad.com.br/wp-content/uploads/2016/12/Monitoramento-e-pesquisa-em-midias-sociais.pdf 6) https://www.institutophd.com.br/como-funcionam-as-pesquisas-capi-e-cati/ 7) https://pt.wikipedia.org/wiki/CATI 8) http://www.brazilpanels.com.br/Cati.aspx 9) https://www.gertec.com.br/produtos/pesquisa-rapida/ 10) https://www.solvis.com.br/ Marco 3: Estudo de viabilidade para definição das ferramentas de pesquisa Na execução deste Marco estão previstas três ações: estudo de viabilidade técnica; estudo de viabilidade operacional; e estudo de viabilidade econômica. O prazo para conclusão desta tarefa expira em 30 de agosto de 2019. Durante a elaboração do cronograma para execução deste Marco, o grupo responsável entendeu que ele está fortemente correlacionado com os marcos 4 - Definição da estratégia para a seleção da ferramenta, 5 - Aplicação da estratégia para a seleção da ferramenta e 6 – Seleção da ferramenta. Assim, foi proposta a criação de um modelo para seleção baseada na Metodologia Multicritério de Apoio a Decisão – Construtivista (MCDA-C). Tal modelo será o produto do Marco 4 e englobará o estudo de viabilidade do Marco 3 e se constituirá na etapa predecessora da estratégia para seleção que será aplicada (marco 5) para seleção da ferramenta (Marco 6). Como a conclusão desse marco dependia da conclusão do Marco 4, o que se deu em outubro/2019, este marco será executado concomitantemente com os Marcos 5 e 6. Marco 4: Definição da estratégia para a seleção da ferramenta Como dito no item anterior, o produto deste Marco será um modelo para seleção da ferramenta baseada na Metodologia Multicritério de Apoio a Decisão – Construtivista (MCDA-C). A Metodologia Multicritério de Apoio à Decisão – Construtivista (MCDA-C), de acordo com Ensslin et al (2010), “é uma ramificação do MCDA tradicional para apoiar os decisores em contextos complexos, conflituosos e incertos”. Dutra et al. (2009) resumiram as premissas da MCDA-C e chegaram a dois consensos: o primeiro é de que nos problemas decisórios existem múltiplos critérios; e o segundo, é de que a noção de melhor solução é substituída pela busca de uma solução que melhor se enquadre nas necessidades do decisor e no contexto decisional como um todo. Desta forma, a metodologia MCDA-C permite aos atores de um processo decisório aumentarem seu grau de conformidade e de entendimento no desenvolvimento de um processo de tomada de decisão, no qual estão presentes seu sistema de valor e seus objetivos (pontos de vista), e busca encontrar a melhor solução para atender aos valores dos decisores. A Análise Multicritério de Apoio à Decisão – Construtivista (MCDA-C) é construída a partir de quatro etapas: Identificação do Contexto Decisório, Estruturação do Problema, Estruturação do Modelo Multicritério e Avaliação das Ações Potenciais. A etapa de Identificação do Contexto Decisório aborda os aspectos que devem ser definidos no início da construção do modelo de análise multicritério. Nela, são identificados os atores envolvidos no processo de construção do modelo, é identificado o tipo de ação que será avaliado e é escolhida a problemática de referência (ENSSLIN et al., 2001). A identificação dos atores envolvidos no processo decisório constitui-se num importante passo na construção de um modelo multicritério. Na prática, é dos atores o sistema de valores que norteará a construção de modelo. Ensslin et al. (2001) distinguem os atores em dois grupos, conforme a participação no processo decisório: os intervenientes, que participam diretamente do processo de decisão, e os agidos que sofrem de forma passiva as consequências da implementação da decisão tomada. No processo de apoio à decisão foram identificados como atores intervenientes três servidores da Ouvidoria e dois servidores da Superintendência Executiva da ANTT, representantes do governo na OGP. Por outro lado, foram elegidos como atores agidos os Usuários dos serviços regulados pela ANTT e a Sociedade Civil (Tabela 1): Tabela 1 – Atores do processo construção do modelo para seleção da ferramenta INTERVENIENTES Especialistas e pesquisadores do PPGT - UnB Facilitador – Coordenador do compromisso AGIDOS Usuários dos serviços regulados pela ANTT Sociedade Civil Após a identificação dos atores, o próximo passo consiste em identificar o tipo de ação avaliada pelo modelo. Segundo Roy, apud Ensslin et al., 2001, ação é a representação de uma possível contribuição à decisão, representação esta que pode ser considerada autônoma com relação ao processo de decisão. Assim, neste modelo foi identificada como ação potencial a seleção da ferramenta para coleta de dados para melhoria de serviços regulados pela Agência Nacional de Transportes Terrestres (ANTT). Para finalizar etapa de Identificação do Contexto Decisório, foi escolhida a Problemática da Escolha, uma vez que o objetivo deste trabalho é escolher uma ferramenta para coleta de dados para melhoria de serviços regulados pela Agência Nacional de Transportes Terrestres (ANTT) dentre as diversas opções existentes no mercado. A etapa de Estruturação do Problema visa à definição de um rótulo para o problema e a determinação da Família de Pontos de Vista Fundamentais (PVF). Nesta etapa da construção do modelo multicritério, foram identificados os Elementos Primários de Avaliação - EPA, com base na dinâmica de grupo chamada de brainstorming, que visa explorar a potencialidade criativa dos especialistas em transportes. Após serem identificados, os EPA, que segundo Bana e Costa (1992) são constituídos de objetivos, metas, valores dos decisores, bem como ações, opções e alternativas, os mesmos foram testados para verificar se atendiam às propriedades necessárias para transformá-los em Pontos de Vista Fundamentais (PVF). Somente após atenderem a essas propriedades, passaram a ser considerados como Família dos Pontos de Vista Fundamentais (Figura 1). Figura 1 - Família dos Pontos de Vista Fundamentais Com a determinação da família dos Pontos de Vistas Fundamentais, concluiu-se a etapa de estruturação do problema. A próxima etapa consiste na estruturação do modelo multicritério. Na etapa de Estruturação do Modelo Multicritério define-se, inicialmente, quais os aspectos, dentro do contexto decisório, que os decisores consideram essenciais e desejáveis no processo de avaliação das ações potenciais (ENSSLIN et al., 2001). Estes aspectos constituem os eixos de avaliação, que Bana e Costa et al. (1999) definem como uma dimensão considerada como relevante, segundo os valores dos decisores, para avaliar as ações potenciais. Segundo Ensslin et al. (2001), a identificação dos eixos de avaliação do problema é chamada de transição de um mapa cognitivo para um modelo multicritério. A estruturação do modelo multicritério foi realizada a partir da construção de uma Árvore de Pontos de Vista Fundamentais; criação de critérios de avaliação para cada PVF com a definição de um Descritor para mensurar cada critério de avaliação e a obtenção de uma Função de Valor Associada ao Descritor. Por fim, foram definidas as Taxas de substituição entre os PVF. A estruturação em árvore (ou “árvore de valores”) permite visualizar de forma organizada a totalidade dos aspectos importantes do problema (BANA E COSTA, 2005). De acordo com Ensslin et al. (2001), a estrutura arborescente utiliza a lógica da decomposição, em que um critério mais complexo de ser mensurado é decomposto em subcritérios de mais fácil mensuração. Em regra, o critério de nível hierárquico superior é definido pelo conjunto de critérios de nível hierárquico inferior que estão ligados a ele na árvore. A Árvore de Pontos de Vista Fundamentais é estruturada em níveis, cada nível utiliza um elemento (Rótulo, PVF, PVE, Sub PVE). O primeiro nível é composto pelo Rótulo do Problema, que descreve o problema a ser solucionado e representa o objetivo a ser alcançado. O nível seguinte é composto pela Família de Pontos de Vista Fundamentais que podem ou não ser decompostos em Pontos de Vista Elementares (PVE). Os PVE são utilizados sempre que existe a necessidade de decomposição do eixo de avaliação e permitem que seja realizada uma melhor avaliação da performance das ações potenciais no ponto de vista considerado. Os PVE podem ser decompostos em sub PVE, desde que os decisores sintam necessidade, para uma melhor explicação de um ponto de vista. De acordo com Keeney (1992), devem existir pelo menos dois critérios de nível hierárquico inferior conectados ao critério de nível hierárquico superior. A estrutura genérica de um modelo multicritério que adota uma estrutura de arborescente é apresentada na Figura 2. Figura 2 - Estrutura genérica de um Modelo Multicritério Assim, a Árvore de Pontos de Vista Fundamentais para avaliação da qualidade do serviço semiurbano está representada na Figura 3 abaixo: Figura 3 – Árvore dos Pontos de Vista Fundamentais Após a definição da Árvore dos Pontos de Vista Fundamentais, foram construídos os descritores para cada eixo de avaliação, formados pelos sub PVE (critérios de avaliação). Os descritores, segundo Bana e Costa (1992) e Bana e Costa et al (1999) apud Ensslin et al. (2001), podem ser definidos como um conjunto de níveis de impacto que servem como base para descrever as performances plausíveis das ações potenciais em termos de cada PVF. Desta forma foram criados 17 descritores com suas respectivas funções de valor, e foram estabelecidos níveis de impacto para cada um desses descritores. Algumas abordagens têm sido propostas para a construção das funções de valor, por exemplo, "Direct Rating" (VON WINTERFELDT e EDWARDS, 1986), "Bisection" (GOODWIN e WRIGHT, 1991) e MACBETH (BANA E COSTA e VANSNICK, 1995b, 1995c, 1995d, 1997; BANA E COSTA et al., 1995a). Este trabalho é baseado na metodologia MACBETH (Mensuring Attractiveness by a Category Based Technique). Através de sua simplificação, ele pode superar dificuldades decorrentes do processo de questionamento. Os intervenientes têm que elaborar um julgamento absoluto sobre a diferença entre dois níveis (BANA E COSTA e VANSNICK, 1995b). O procedimento de questionamento MACBETH consiste em fazer aos intervenientes a seguinte pergunta: Qual é a relação de atratividade de passar de nível inferior para um nível superior, por exemplo, de um nível Bom para o nível Muito Bom. Este questionamento se faz para todos os níveis. Os intervenientes respondem, segundo seus juízos de valor para cada dois níveis umas das categorias semânticas: 'indiferente', 'muito fraco', 'fraco', 'moderado', 'forte', 'muito forte' ou 'extremo'. Para facilitar esse diálogo, utiliza-se uma escala ordinal semântica composta por sete categorias de diferença atratividade, a saber (ENSSLIN et al., 2001): C0 – nenhuma diferença de atratividade (indiferença) C1 – diferença de atratividade muito fraca C2 – diferença de atratividade fraca C3 – diferença de atratividade moderada C4 – diferença de atratividade forte C5 – diferença de atratividade muito forte C6 – diferença de atratividade extrema Durante este processo de questionamento, o facilitador preenche uma submatrix triangular superior à matriz n x n, de acordo com as respostas dadas pelos intervenientes das categorias semânticas. Em seguida, o M-MACBETH encontra (por programação linear) a escala cardinal que melhor representa os julgamentos absolutos dos intervenientes. Para exemplificar, a Figura 4 mostra a Matriz de Julgamento Semântico do Software M-MACBETH, preenchida a partir do juízo de valor dos atores intervenientes e a respectiva função de valor obtida a partir da matriz de julgamento. Na Tabela 2, é apresentado o Descritor do Sub PVE N50 – Aquisição da Ferramenta. Figura 4 - Matriz de Julgamento Semântico + Função de Valor extraída do Software M-Macbeth Tabela 2 – Descritor do Sub PVE N50 – Aquisição da Ferramenta. Critério de avaliação do Sub PVE N50 – Aquisição da Ferramenta. Níveis de Impacto Níveis de Referência Descrição Função de Valor NENHUM Bom A ANTT não terá nenhum custo com a aquisição da ferramenta 100,00 BAIXO A ANTT terá um custo baixo com a aquisição da ferramenta 76,92 MÉDIO A ANTT terá um custo médio com a aquisição da ferramenta 53,85 ALTO A ANTT terá um custo alto com a aquisição da ferramenta 30,77 MUITO ALTO Neutro A ANTT terá um custo muito alto com a aquisição da ferramenta 0,00 Em seguida, foram definidas as taxas de substituição. Segundo Ensslin et al. (2001), as taxas de substituição, também conhecidas como pesos, são parâmetros que os decisores julgam adequados para agregar, de forma compensatória, desempenhos locais (nos critérios) em uma performance global. As taxas de substituição de um modelo multicritério expressam, à luz da preferência do decisor, a perda de performance que uma ação potencial deve sofrer em um critério para compensar o ganho de desempenho em outro. Elas são também chamadas de trade-offs, taxas de compensação e constantes de escala. Vulgarmente, e na literatura inglesa, são também conhecidas como “pesos” (weights) (ENSSLIN et al., 2001). As taxas de substituição foram obtidas junto aos especialistas que atuaram como atores intervenientes. O resultado obtido é apresentado na Tabela 3. Tabela 3 – Taxas de Substituição do Modelo Multicritério para Seleção da Ferramenta Na última etapa, Avaliação das Ações Potenciais, de acordo com Ensslin et al. (2001), as ações têm seu desempenho avaliado. A partir do desempenho de cada ação, utiliza-se uma fórmula de agregação aditiva, que permite agregar em uma avaliação global as performances locais das ações, em cada um dos critérios do modelo. Ainda nesta etapa, é realizada a análise dos resultados do modelo por meio de uma análise de sensibilidade a fim de testar a robustez do modelo diante de variações de seus diversos parâmetros (ZAMCOPÉ et al., 2012). Até o dia 31/10/2019, as etapas: Identificação do Contexto Decisório; Estruturação do Problema; e Estruturação do Modelo Multicritério, que representam a construção do modelo para a seleção da ferramenta, foram concluídas. A Avaliação das Ações Potenciais representa a utilização do modelo construído para execução dos Marcos 3, 5 e 6. Página6 Controladoria-Geral da União Parceria para Governo Aberto – Open Government Partnership - OGP