Indicador de Qualidade da AIR (IQAIR)
Entre os anos de 2020 e 2023, a Agência Nacional de Águas e Saneamento Básico (ANA) produziu 23 Análises de Impacto Regulatório (AIR), sendo 9 para normas de saneamento básico e 14 para resoluções sobre políticas de recursos hídricos. Todas essas AIRs foram avaliadas retrospectivamente por meio do Indicador de Qualidade da AIR (IQAIR) desenvolvido pela Agência. Os gráficos abaixo apresentam os resultados alcançados:
- Fonte: elaboração própria
O primeiro gráfico aponta para um aumento significativo da participação das AIR relacionadas aos temas de saneamento básico no total de AIR produzidas pela ANA, ao longo dos últimos quatros. Esse resultado era esperado, já que a partir da Lei nº 14.026, de 15 de julho de 2020, a Agência passou a ser responsável pela edição de normas de referência sobre o serviço de saneamento no país.
O segundo gráfico, que apresenta a pontuação média anual da qualidade das AIR da ANA, mostra uma clara e crescente evolução da qualidade. Em uma escala que varia de 0 a 100 pontos, nas nove AIR realizadas ao longo do ano de 2023, a pontuação média alcançada foi de 89 pontos, o que sinaliza para um padrão médio alto de qualidade das AIR da Agência.
Além da análise das médias anuais do IQAIR, outro dado importante de ser analisado é a dispersão das pontuações obtidas em relação a média, em cada ano. O terceiro gráfico mostra que o ano de 2021, apesar de ter obtido uma pontuação média superior ao ano de 2020, apresentou uma maior dispersão. A partir de 2022, a dispersão vem diminuindo. O ano de 2023 alcançou um comportamento que é o desejado, ou seja, uma média alta e com baixa dispersão. Apesar de ter sido o ano com o maior número de AIR produzidas, todas as pontuações se situaram entre 84,40 (mínimo) e 92,80 (máximo). Esse aumento da qualidade das AIR da Agência foram corroborados pelos três selos ouro de Boas Práticas Regulatórias alcançados no ano de 2024.
Saiba mais: relatório gerencial qualidade AIR (março 2024)
1) O que é e como é calculado o Indicador de Qualidade da AIR (IQAIR)?
O IQAIR é um indicador quantitativo utilizado para medir a qualidade das AIR realizadas na ANA. Esse indicador é composto por 12 critérios e 24 subcritérios, conforme detalhado na Tabela abaixo. Os critérios são baseados nos elementos obrigatórios da AIR, definidos no Art. 6º do Decreto 10.411/2020, e os subcritérios são desagregações dos critérios, formulados com base no Decreto ou no Guia de AIR da Casa Civil.
Para cada critério e subcritério, foram atribuídos pesos, conforme indicado na Tabela abaixo. Os pesos dos critérios refletem sua importância relativa no cálculo do valor da pontuação global e totalizam 1, ou 100%. Da mesma forma, os pesos dos subcritérios refletem a importância relativa destes dentro de cada critério e, da mesma forma, totalizam 1, somados dentro de cada critério.
A tabela a seguir apresenta os critérios e subcritérios do IQAIR, bem como os seus respectivos pesos:
- Fonte: elaboração própria
Na utilização do IQAIR, cada Análise de Impacto Regulatório (AIR) é avaliada quanto ao cumprimento de cada subcritério, sendo classificada como integral (SIM), parcial (PARCIAL) ou não atendida (NÃO). Atribuem-se pontuações da seguinte forma: SIM (pontuação 1), PARCIAL (pontuação 0,5) e NÃO (pontuação 0). A pontuação geral é obtida pela fórmula a seguir:
- Fonte: elaboração própria
A pontuação final varia de 0 a 100, refletindo a qualidade da AIR, sendo maior quanto mais próxima de 100 for a pontuação. Adicionalmente, é possível avaliar individualmente cada critério ou subcritério. Ao dividir a pontuação final pelo peso, obtemos o percentual de atendimento do critério em relação à sua pontuação máxima possível, o que possibilita avaliar o desempenho de cada critério. O Box 1 fornece um exemplo ilustrativo do exercício do cálculo do indicador.
2) Qual a finalidade do IQAIR?
2.1)Objetivo Geral:
Aumentar a qualidade das AIR da ANA. A proposta de um indicador de qualidade da AIR visa a, principalmente, aprimorar a qualidade desses estudos dentro da ANA. Este indicador representa uma ferramenta que otimiza o processo de monitoramento e avaliação das AIR na Agência, abrangendo tanto o nível micro (cada estudo específico) quanto o macro (considerando o conjunto de estudos da Agência). Como afirmava Lord Kelvin, "Aquilo que não pode ser medido, não pode ser melhorado".
2.2) Objetivos Específicos:
2.2.1) Reduzir a subjetividade nas avaliações das AIR. Embora não seja possível eliminar completamente a subjetividade na avaliação da qualidade de uma AIR, é desejável buscar a redução dessa subjetividade. Isso ajuda a evitar, por exemplo, o uso de critérios muito discrepantes entre os avaliadores, com o risco potencial de uma mesma AIR ser "aprovada" por um avaliador e "reprovada" por outro. A redução dessa subjetividade também impacta o objetivo descrito a seguir.
2.2.2) Reduzir o risco de orientações contraditórias para as equipes na execução das AIR. A ausência de critérios mais objetivos relacionados à qualidade das AIR pode resultar em orientações divergentes e, por vezes, contraditórias para as equipes na elaboração da AIR. Por exemplo, se um critério estipula que, para uma AIR ser bem avaliada na definição dos objetos, estes devem ser formulados em níveis hierárquicos (objetivo geral e objetivos específicos), durante a elaboração da AIR, as equipes devem ser orientadas a formulá-los dessa maneira.
2.2.3) Aumentar a agilidade na avaliação das AIR. Tendo em vista o princípio da eficiência, criar mecanismos que tornem a avaliação das AIR mais célere, sem comprometer a qualidade da própria avaliação, é crucial, especialmente diante de situações de urgência.
2.2.4) Aumentar a transparência nos critérios de avaliação das AIR na ANA. Outro benefício significativo do indicador é a promoção de maior transparência nos critérios empregados na avaliação das AIR. Esse resultado é crucial para diversos stakeholders, incluindo as próprias áreas responsáveis pelo estudo, a Diretoria Colegiada, os órgãos de controle e a sociedade em geral. Por esse motivo, é essencial que os critérios estabelecidos no indicador estejam em conformidade com as normas que regem a elaboração desses estudos em âmbito nacional, conforme os guias de AIR reconhecidos nacionalmente.
2.2.5) Produzir informações sistematizadas sobre a qualidade da AIR na ANA. A aplicação sistemática do indicador de qualidade das AIR resultará em dados que contribuirão para o monitoramento e avaliação desses estudos pela Agência. Através desses dados, será possível acompanhar a evolução da qualidade dos estudos realizados pela Agência como um todo, permitindo diferentes análises. Isso possibilita o planejamento de ações de melhoria, como, por exemplo, a identificação dos critérios ou subcritérios que necessitam de capacitações específicas.