Motivação dos índices e indicadores de qualidade divulgados pela Anatel
OS INDICADORES REGULAMENTARES
A Anatel acompanha permanentemente a qualidade do SCM (Banda Larga Fixa), SMP (Telefonia Móvel), STFC (Telefonia Fixa) e do STVA (Serviços de TV por Assinatura) por meio do monitoramento de indicadores de desempenho operacional das prestadoras de serviço. Cada indicador possui uma meta associada, que deve ser alcançada mensalmente pela prestadora do serviço em cada área geográfica definida na regulamentação dentro da sua Área de Atuação. Os indicadores, bem como seus respectivos métodos de coleta, cálculo e demais requisitos de qualidade, estão definidos em uma regulamentação específica editada pela Anatel, em conformidade com a legislação e após consulta pública à sociedade. Os indicadores para o SCM, SMP e STFC estão estabelecidos nos Regulamentos de Gestão da Qualidade, anexos, respectivamente, à Resolução nº 574/2011 , à Resolução nº 575/2011 e à Resolução nº 605/2012. Já os indicadores para o STVA estão estabelecidos no Plano Geral de Metas da Qualidade, anexo à Resolução nº 411/2005 . Ademais, tais normativos estabelecem a transparência e publicação dos resultados apurados, conforme abaixo:
- Regulamento de Gestão da Qualidade do Serviço de Comunicação Multimídia (RGQ-SCM):
Art. 4º A Anatel deve dar publicidade aos resultados apresentados pelas Prestadoras de SCM quanto aos indicadores definidos neste Regulamento, por meio de sistema interativo disponível em seu sítio na Internet.
- Regulamento de Gestão da Qualidade da Prestação do Serviço Móvel Pessoal (RGQ-SMP):
Art. 5º A Anatel dará publicidade aos resultados apresentados pelas Prestadoras de SMP quanto ao disposto neste Regulamento, por meio de sistema interativo disponível em seu sítio na Internet.
- Regulamento de Gestão de Qualidade da Prestação do Serviço Telefônico Fixo Comutado (RGQ-STFC):
Art. 2º A Anatel dará publicidade aos resultados alcançados pelas prestadoras do STFC quanto ao disposto neste Regulamento, por meio de seu sítio na Internet e por outros meios que entenda adequados.
- Plano Geral de Metas de Qualidade para os serviços de televisão por assinatura (PGMQ – televisão por assinatura):
Art. 25. A Anatel, a seu critério, poderá tornar disponível ao público em geral as informações apresentadas pelas prestadoras relativas ao cumprimento das metas de qualidade.
A divulgação dos resultados alcançados pelas prestadoras no cumprimento das obrigações de qualidade é feita por meio da página da qualidade, disponível no site da Anatel, no Portal "Dados", na aba "Qualidade", que pode ser acessada diretamente no endereço https://www.gov.br/anatel/pt-br/dados/qualidade/indicadores-de-qualidade . A seguir é apresentada uma imagem ilustrativa dessa página:
Nesse site, o interessado pode selecionar no menu "Banda Larga Fixa", "Telefonia Móvel", "Telefonia Fixa" ou "TV por Assinatura", que correspondem aos nomes técnicos dos serviços "Serviço de Comunicação Multimídia", "Serviço Móvel Pessoal", "Serviço Telefônico Fixo Comutado" e aos “Serviços de TV por Assinatura”, respectivamente. Ao clicar no menu do serviço desejado, o interessado é encaminhado para uma página onde são detalhadas as informações daquele respectivo serviço, onde também pode encontrar indicações dos regulamentos aplicáveis, indicadores e suas respectivas metas estabelecidas e formas de consolidação. É possível também ler os resultados aferidos mensalmente e seus respectivos relatórios com avaliações sobre a qualidade do serviço. Salienta-se que em todos os resultados aferidos para cada prestadora, mês, indicador, região de consolidação, estarão disponíveis para consulta no link "Série Histórica dos Indicadores", que provê os resultados de toda a série histórica aplicável.
No caso do SCM e TV por Assinatura, o atual regulamento é o único já exarado. Todavia, no caso do STFC e SMP, os atuais regulamentos vêm a substituir regulamentos anteriores, mas todos os resultados apurados nas versões regulamentares anteriores também estão disponíveis.
Em contraste aos indicadores regularmente publicados e em vigência os indicadores "SCM2", "SMP2" e "REA", previstos nos Regulamentos de Qualidade do SCM, SMP e STFC, respectivamente, são exceções, pois estes não possuem resultados diretos no sistema SGQ (Sistema de Gestão da Qualidade) o qual é responsável pelo cálculo dos indicadores.
O cálculo do “SMC2”, “SMP2” e REA é específico, pois depende da obtenção e processamento das reclamações recebidas pela Anatel em seus canais de atendimento. Após a coleta de dados é feita uma integração entre sistemas que realiza uma transformação do conjunto de dados das reclamações registradas.
A transformação dos dados promove a reclassificação dos tipos de reclamações registradas nos canais de atendimento para os tipos adotados nos regulamentos de qualidade; Ademais, todas as alterações nos tipos de reclamações recebidas, gera necessária compatibilização sistêmica. Desde a última revisão da árvore de reclamações, a Agência tem trabalhado em evoluções dessa integração, de forma a solucionar o problema. O cálculo desses indicadores também dependia da evolução e melhoria dos canais de atendimento para que o município objeto das reclamações dos consumidores fosse registrado no sistema. Caso que ocorreu em 2015, pois a identificação do município era requisito para a identificação correta da outorga de serviço da prestadora reclamada, haja vista que os indicadores são calculados individualmente para cada outorga de serviço. A Agência tem trabalhado para resolução do tema e, tão logo seja resolvida, divulgará os resultados.
É importante ressaltar que cada regulamento prevê uma quantidade de indicadores que, quando apurados mensalmente para cada operadora abrangida e/ou em cada região monitorada, acabam por resultar numa quantidade relevante de resultados a serem controlados e publicados. Por esse motivo, os regulamentos do STFC e SMP, por exemplo, previram a consolidação dos resultados dos indicadores em índices, com o intuito de consolidar uma visão sistêmica, resumindo os resultados gerais de cada operadora.
DOS ÍNDICES CONSOLIDADORES
A regulamentação de qualidade prevê o acompanhamento de um conjunto de indicadores operacionais, medidos mensalmente, para os quais há metas estabelecidas com abrangência de medição por Código Nacional – CN ou por Unidade da Federação - UF. O acompanhamento por prestadora dos indicadores para cada CN ou UF, a depender do indicador, resulta numa grande quantidade de indicadores monitorados pela Anatel. Por exemplo, no ano de 2017, para o SMP, foram 62.745 indicadores medidos. Em razão da grande quantidade de indicadores acompanhados a regulamentação criou alguns índices consolidadores dos indicadores, de forma a apresentar uma visão consolidada do desempenho de qualidade. Ao consumidor final, seria muito complicado ter conclusões sobre as operadoras a partir da consulta a todos os indicadores previstos e publicados, razão pela qual a consolidação em índices permite a sintetização e a comparação por meio de rankings.
As informações publicadas na forma de ranking facilitam aos consumidores o entendimento sobre os melhores e piores desempenhos de cada operadora, lhe provendo melhores condições de tomada de decisão de consumo, que também vem a promover um ambiente de competição pela qualidade.
A regulamentação vigente de qualidade teve origem quando a Anatel ainda era estruturada por superintendência de serviços, nessa época, cada superintendência desenvolvia a regulamentação relacionada aos temas sob sua atribuição. Como efeito direto dessa estrutura do Regimento Interno anterior, o RGQ-STFC previu a criação de um índice consolidador intitulado Índice Geral de Qualidade Operacional – IGQO, enquanto o RGQ-SMP previu a criação do Índice de Desempenho na Qualidade – IDQ, que têm metodologias de cálculos diferentes entre si. Já os regulamentos do RGQ-SCM e o PGMQ da TV por assinatura não previram índices consolidadores.
Os 2 índices previstos (IGQO, do STFC, e IDQ, do SMP), são regularmente publicados na página da Agência.
Considerando a convergência dos serviços e a necessidade de apresentar à sociedade os resultados consolidados dos serviços, a Gerência de Controle de Obrigações de Qualidade decidiu, em complemento à divulgação dos índices regulares, usar a metodologia do IGQO, do STFC, para consolidar também os dados do SCM, SMP e TV, permitindo a comparação, inclusive, do nível de cumprimento de metas de cada serviço, o que não seria possível sem tal cálculo. Tal informação sobre o cumprimento de metas também é regularmente apresentada pela Agência em seus Relatórios Anuais.
Outra opção seria usar o IDQ, porém, embora tal índice tenha incorporado na metodologia, além do cumprimento de metas, a distância dos resultados em relação às metas, sua apresentação não é de fácil entendimento, pois a fórmula de cálculo traz resultados de 1 (um) como valor máximo, a valores negativos sem limite para o mínimo, que variam em razão da quantidade de CN ou UF que a prestadora atue. Enquanto isso, o IGQO, previsto no RGQ-STFC, é equivalente ao percentual de cumprimento das metas dos indicadores, e consiste na divisão entre a quantidade de indicadores que atingiram as metas regulamentares pelo total de indicadores válidos acompanhados no período, e seus resultados se situam entre zero e cem por cento, valores muito mais adequados para comunicação com o público.
Adicionalmente à divulgação dos resultados dos indicadores, com base no acompanhamento do percentual de cumprimento de metas (IGQO), a COQL faz a divulgação do ranking das prestadoras dos serviços, em âmbito nacional e por UF (à exceção da TV por Assinatura que possui acompanhamento em âmbito nacional), e a divulgação de relatórios analíticos de avaliação do cumprimento de metas dos serviços acompanhados.
Outro índice previsto nos regulamentos RGQ-SMP e RGQ-SCM é o Índice de Desempenho no Atendimento – IDA, que é publicado na página dos consumidores, acessível no endereço https://www.gov.br/anatel/pt-br/consumidor, e é composto da quantidade de reclamações registradas contra as operadoras e da agilidade e eficiência delas em responder as reclamações registradas nos canais de atendimento da Anatel. É essencial destacar que tal índice, conforme se pode observar, não usa os resultados dos indicadores em seu cálculo, mas as reclamações de consumidores, razão pela qual foi entendido ser mais adequada a sua apresentação no Portal dos Consumidores. Ressalta-se que, atualmente, o Regimento Interno da Agência atribui à Superintendência de Relacionamento com Consumidores, a responsabilidade pela gestão dos canais de atendimento, apuração dos motivos e divulgação de diagnósticos, o que reforça o entendimento da vinculação do IDA com o portal citado.
DAS MÉTRICAS ADICIONAIS DE ACOMPANHAMENTO DA QUALIDADE
Em 2012, a Agência decidiu por suspender a venda de chips de operadoras de telefonia móvel e exigir planos de melhoria dos serviços com ações até 2014, de forma cautelar, em razão da percepção da degradação na qualidade dos serviços prestados.
Desde então, em razão das métricas estabelecidas nos Despachos 5.156, 5.158e 5.159/2012/PVCPA/PVCP/SPV de 02/08/2012 e 5.671, 5.672 e 5.673/2012/PVCPA/PVCP/SPV de 10/09/2012, além do acompanhamento dos resultados dos indicadores previstos no RGQ-SMP, a Anatel realiza um acompanhamento excepcional da qualidade do SMP, para todos os 5.570 municípios brasileiros, mensalmente e perenemente, dos seguintes indicadores:
- acesso à rede de voz;
- queda da rede de voz;
- conexão à rede de dados (2G, 3G e 4G);
- desconexão da rede de dados (2G, 3G e 4G).
Na época, indicadores foram escolhidos em razão d o funcionamento da rede móvel ser o tema mais reclamado pelos consumidores, então somente esses indicadores permitem uma análise do desempenho da rede móvel por município.
O cálculo e publicação desses indicadores por município, portanto, em nível de abrangência mais granular que a regulamentar, foi adotada pela Agência visando dirimir um problema de distanciamento dos indicadores regulamentares com a sociedade, identificado no processo de Relacionamento Institucional, já que a sociedade apresenta uma grande demanda por informações nesse nível de detalhamento. A disponibilização dos indicadores nesse nível também gerou uma melhor recepção pelos interessados das métricas de qualidade. Essa iniciativa também trouxe elementos para subsidiar a proposta de revisão da regulamentação de qualidade que considera na proposta atual a previsão de formação dos indicadores por município.
Tais indicadores foram escolhidos por:
- serem capazes de demonstrar congestionamentos e quedas na rede de acesso do município;
- possuírem disponibilidade técnica de cálculo na granularidade de município;
- serem calculados pela fiscalização da Anatel de forma certificada e padronizada;
- são indicadores relacionados com as principais reclamações recebidas em relação ao funcionamento do serviço.
Também é importante mencionar que se trata de indicadores usados regularmente pela indústria de telecomunicações no Brasil e em todo o mundo, como métricas mais comuns de desempenho de serviço de rede de serviço móvel. Conforme se sabe, a telefonia móvel usa radiofrequência para a conexão de terminais, ou seja, não existe infraestrutura dedicada a um usuário em específico, mas uma oferta de infraestrutura que é dividida entre os consumidores. Se houver maior demanda que a capacidade ofertada, haverá congestionamento, que serão observados nos indicadores de conexão às redes de voz e dados. Adicionalmente, o raio de abrangência de uma determinada infraestrutura não é infinito, e compreende uma área que comumente se relata como "cobertura". Consumidores que estejam no limiar de tal cobertura podem sofrer com as desconexões da rede de voz e dados, o que afeta os indicadores de desconexão. Desconexões decorrentes da falha da rede em fazer a transposição da conexão de uma antena para outra, em caso de movimentação do usuário, também é aferida nesses indicadores. Assim, entendeu-se que tais indicadores eram os essenciais e representavam a qualidade do serviço no município. Convém mencionar que, uma rede congestionada também trará impactos na própria fruição da conexão, seja nos ruídos, qualidade da chamada, na capacidade de transmissão de dados (velocidade de internet).
Tais indicadores também são calculados com as informações de 24 horas por dia, 30 dias do mês, o que é mais abrangente do que o modelo de cálculo regulamentar, que coleta as informações em horários e dias específicos de maior movimento. Contudo, entendeu-se que importante considerar todo o período em razão de que o serviço móvel não tem horários de maior movimento tão fixos, variando conforme o município e período.
A forma de acompanhamento do SMP por meio dos indicadores de acesso e queda das redes de voz e dados, por município, também permitiu identificar situações de degradação de qualidade que os indicadores regulamentares não demonstravam. Assim, foi percebida no Relacionamento Institucional da Agência, grande aceitação das informações, que proporcionam aos órgãos de controle e aos cidadãos, informações adequadas à comparação dos desempenhos das operadoras, em complemento àquelas regulares. Diante dos ganhos observados com essa iniciativa, a divulgação dos resultados foi mantida mesmo após o período de vigência das cautelares, já exaurido.
Convém mencionar ainda que tais resultados ensejam a expedição de novas medidas cautelares pela Agência, que determinou prazos para melhoria de indicadores considerados críticos nos municípios. Tal iniciativa e seus resultados são divulgados na página da Agência.
Por fim, ressalta-se que a Agência, inclusive, além de publicar tais dados em seu portal, os disponibilizou à sociedade por meio do aplicativo para terminais móveis Anatel Serviço Móvel, para Android e IOS (imagens a seguir).
Em tal aplicativo é possível consultar a série histórica dos resultados dos últimos 12 meses, o ranking entre operadoras do município, bem como informações complementares, especialmente: a quantidade de antenas por tecnologia de cada empresa em cada município e a localização de cada antena em mapa. Ademais, a Agência escolheu a publicação de tais informações no aplicativo e no site na forma de ranking, de forma mais moderna e atrativa aos consumidores, visando propiciar diagnóstico claro sobre o desempenho das empresas ofertantes no seu município. Com tais informações os consumidores têm maiores condições de tomada de decisão sobre o seu consumo.
Os resultados evolutivos de cada operadora, com visão nacional, estão dispostos no link abaixo:
Conforme previsto no art. 10 do RGQ-SMP, transcrição a seguir, a Anatel poderá utilizar métodos alternativos aos previstos no Regulamento para coleta de dados dos Indicadores para comprovação do cumprimento das metas estabelecidas no Regulamento.
Art. 10. A Anatel poderá utilizar métodos alternativos aos previstos neste Regulamento para coleta de dados dos Indicadores para comprovação do cumprimento das metas estabelecidas neste Regulamento.
REVISÃO DO MODELO DE QUALIDADE
Por fim, informamos que todas as iniciativas que buscam a qualidade dos serviços ensejaram na Agência a percepção da necessidade de melhoria dos regulamentos, que culminaram no Novo Modelo de Gestão da Qualidade, em debate público, com previsão de ser aprovado no ano de 2019.