4.4 ETAPAS PARA AVALIAR A QUALIDADE DOS INDICADORES DE SAÚDE
Alguns autores formularam diretrizes para a avaliação dos dados e indicadores de saúde (3-4). Contudo, existem alguns aspectos fundamentais que podem ser aplicados na avaliação de indicadores de saúde, descritos nas etapas a seguir.
Passo 1. Examinar a integridade dos dados completos e válidos que compõem o indicador
- O indicador está baseado em dados representativos da população objeto de estudo? Observar atentamente a que população que supostamente deve estar descrita nos dados. Não fazer generalizações indevidas (extrapolações). Atentar para possíveis vieses na seleção por falta de resposta, assim como vieses de demanda e de indicação. Verifique se alguns dos serviços geram mais notificações que outros serviços (por exemplo, serviços públicos em comparação aos particulares, por exemplo).
- As variáveis usadas para calcular o indicador estão completas e são adequadas e suficientes? Calcular e tabular as características das variáveis usadas para elaborar o indicador. Incluir as proporções de falta de resposta (se possível), respostas inválidas e outras perdas. Detectar problemas de cobertura das variáveis de interesse, levando em conta a baixa representatividade, um possível viés de seleção do indicador e os cálculos baseados em dados não representativos.
- O indicador está baseado em dados válidos da população destinatária? As variáveis usadas para calcular o indicador foram mensuradas corretamente e segundo um padrão mínimo? Analisar detalhadamente o modo como foram definidas, calculadas e coletadas as variáveis que produziram o indicador. Isso abrange a revisão das definições de caso, competência do pessoal responsável pela coleta de dados e qualidade dos instrumentos usados para coletar os dados (exames diagnósticos, equipamento de mensuração etc.). Estabelecer os problemas de validade das variáveis de interesse e considerar um possível viés de mensuração nos indicadores baseados em cálculos problemáticos.
Do passo 2 a 5 são avaliados os valores observados e esperados para o indicador em diferentes situações, segundo as características do indivíduo, espaço e tempo. Com esta avaliação, serão respondidas as três perguntas a seguir:
- As discrepâncias observadas resultam de flutuações aleatórias por causa do número pequeno da amostra? Um número insuficiente de observações não permite estimar indicadores com a devida precisão.
- As discrepâncias observadas resultam de vieses (erros sistemáticos na mensuração do indicador) que comprometem a qualidade do indicador?
- As discrepâncias observadas podem ser válidas? As discrepâncias entre os valores esperados e observados devem ser examinadas atentamente para não deixar escapar variabilidades verdadeiras atribuíveis a variações locais.
Passo 2. Examinar a consistência do indicador estimado quanto aos atributos de indivíduo
O indicador é consistente com as características do indivíduo? Analisar a consistência considerando do indicador, considerando as variáveis do indivíduo (sexo, idade etc.) provenientes da fonte de dados, por categorias relevantes para o indicador considerado. Observar os valores do indicador segundo essas variáveis e analisar se fazem sentido. Os resultados são consistentes com o que se espera obter para esses subgrupos da população?
Por exemplo, se o indicador for a taxa de mortalidade por doenças cardiovasculares, a distribuição observada desse indicador segundo sexo e idade deve, no mínimo, refletir maior risco em certos grupos (por exemplo, indivíduos do sexo masculino com idade mais avançada). A verificação de que a magnitude mais alta destes indicadores é consistente com os grupos esperados de ter maior risco de doença reforça a credibilidade na qualidade do indicador.
Passo 3. Examinar a consistência do indicador estimado quanto aos atributos de espaço
O indicador é consistente no espaço? Realizar uma análise, se possível, da distribuição espacial do indicador (por municípios, estados, área de residência urbana versus rural). A maioria dos indicadores tem um padrão espacial esperado segundo a distribuição conhecida dos principais fatores de risco (por exemplo, pobreza, população jovem ou idosa, áreas mais ou menos urbanizadas). Examinar se o padrão do indicador considerado condiz com o que seria esperado ou relevante para suspeitar da qualidade.
A Tabela 4 apresenta a média de indicadores selecionados para as sub-regiões da Região das Américas. Estes valores podem ser usados como referência para avaliar a consistência dos indicadores nos países. Ao fim deste capítulo há um link para a lista dos indicadores básicos publicados pela OPAS e suas tendências.
| INDICADORES | ANO | AMÉRICAS | AMÉRICA DO NORTE | AMÉRICA LATINA | ISTIMO CENTRO-AMERICANO | CARIBE LATINO | ÁREA ANDINA | CONE SUL | CARIBE NÃO-LATINO |
|---|---|---|---|---|---|---|---|---|---|
| Esperança de vida ao nascer | 2016 | 77,0 | 79,7 | 75,5 | 74,4 | 73,4 | 74,4 | 77,8 | 73,8 |
| Razão de mortalidade materna/100.000 nv (reportada) | UAD* | 46,8 | 12,1 | 60,8 | 80,2 | 104,4 | 77,3 | 35,2 | 88,8 |
| Razão de mortalidade materna/100.000 nv (estimada) | 2015 | 51 | 13 | 66 | 87 | 188 | 87 | 54 | 105 |
| Taxa de mortalidade infantil/100.000 nv (reportada) | UAD* | 13,0 | 5,9 | 15,9 | 17,5 | 32,8 | 18,7 | 10,3 | 17,2 |
| Taxa de mortalidade neonatal/100.000 nv (reportada) | UAD* | 8,2 | 4,0 | 10,0 | 9,8 | 19,1 | 12,0 | 7,1 | 15,8 |
| Taxa de mortalidade < 5 anos/100.000 nv (reportada) | UAD* | 15,9 | 6,9 | 19,6 | 22,2 | 48,9 | 22,9 | 11,9 | 18,9 |
| Taxa de mortalidade geral/1.000 hab | 2014 | 5,6 | 4,8 | 6,0 | 6,7 | 5,8 | 6,3 | 5,5 | 7,2 |
| Taxa de mortalidade por causas externas/100.000 hab | 2014 | 63,5 | 53,3 | 68,8 | 81,1 | 61,4 | 87,7 | 46,6 | 70,3 |
| Incidencia de HIV/100.000 hab | 2015 | 12,9 | 13,1 | 12,3 | 12,4 | 18,0 | 18,2 | 15,3 | 56,8 |
| Incidencia de tuberculose/100.000 hab | 2014 | 22,1 | 3,0 | 33,2 | 28,4 | 58,8 | 45,3 | 20,8 | 15,9 |
| Desnutrição crônica em < 5 años (%) | 2012 | 10,1 | 2,1 | 13,2 | 30,2 | 13,1 | 16,5 | 7,1 | 6,9 |
| Sobrepeso em < 5 años (%) | 2012 | 7,2 | 6,0 | 7,7 | 5,4 | 7,7 | 6,6 | 10,0 | 6,6 |
| Sobrepeso em adultos | 2014 | 61,0 | 67,0 | 57,6 | 54,0 | 51,2 | 57,6 | 60,8 | 59,4 |
* UAD = último ano disponível
Fonte: OPAS. Indicadores básicos. Situação da Saúde nas Américas 2016.
Passo 4. Examinar a consistência do indicador estimado quanto aos atributos de tempo
O indicador é consistente no tempo? Realizar uma análise, sempre que possível, das tendências do indicador no tempo (anos, meses, semanas, entre outros). Vários indicadores têm um caráter cíclico conhecido, ou seja, apresentam variação cíclica ou tendências históricas esperadas que podem servir como referência para a análise da uniformidade. A maioria dos indicadores também apresenta flutuações lentas nas tendências temporais, com aumento ou declínio discreto sem variação brusca, exceto em situações especiais. Grandes flutuações temporárias dos indicadores no tempo podem indicar:
- Flutuações reais em situação de epidemia (decorrente de algum evento dramático que alterou o curso do indicador). Um exemplo seria o aumento inusitado de casos de microcefalia associada à epidemia de infecção pelo vírus zika em cidades do nordeste brasileiro.
- Flutuações aleatórias devido a um número pequeno de casos em lugares com populações pequenas (denominador) ou pequeno número de eventos (por exemplo, doenças pouco frequentes). A soma ou a subtração de poucos casos (numerador) pode representar um aumento ou redução acentuada das taxas. Portanto, é melhor atentar ao número absoluto de casos que às taxas, porque nestas situações as taxas podem induzir falsas interpretações. São situações muito frequentes, mas facilmente detectadas. Basta observar a razão da mudança na taxa com relação ao tamanho da população de referência. Para evitar este fenômeno estatístico, podem ser combinados dados de períodos mais longos (triênios, por exemplo) ou em áreas geográficas maiores (como municípios ou outras entidades semelhantes vizinhas, por exemplo). Estes ajustes conferem aos indicadores a estabilidade necessária para que sejam significativos.
- Flutuações devido a erro (não aleatória). Erros sistemáticos na medida do denominador ou numerador em determinado ponto no tempo geram variações importantes nos indicadores analisados. São exemplos comuns deste fenômeno a mudança na definição de casos pela incorporação de novas técnicas de diagnóstico nos sistemas de vigilância, a subcontagem ou sobrecontagem de casos a partir de determinado ponto no tempo e problemas com os métodos usados para estimar o tamanho da população entre dois censos (denominadores). Como mencionado anteriormente, comunicação e parceria com quem participou da produção dos dados usados no indicador ajuda a esclarecer a situação ou permite corrigir retrospectivamente o fenômeno observado.
Passo 5. Examinar a plausibilidade da magnitude do indicador estimado segundo outras fontes de dados
Comparar a magnitude obtida para o indicador com as informações existentes e as evidências obtidas de outras fontes de dados. O resultado da mensuração do indicador é plausível considerando o que se sabe a respeito? A magnitude é plausível considerando as estimativas feitas com outros métodos (métodos indiretos, pesquisas ou outras fontes de dados)? A magnitude é plausível considerando o contexto atual da população em que foi estimado o indicador? A magnitude é plausível considerando os fatores de risco presentes nesta população? E considerando os valores para o mesmo indicador estimados em outros países, estados ou municípios em condições melhores ou piores?
Por exemplo, a observação de baixa razão de mortalidade materna em países com atendimento precário de saúde da mulher na gravidez, parto e puerpério e qualidade limitada dos sistemas de vigilância nacionais limitados levantam dúvidas sobre a qualidade do indicador. A comparação deste indicador com o de outros países com um nível de atenção de saúde mais alto ajuda a esclarecer a disparidade percebida.