Imprensa

Entenda por que o Datafolha
é uma usina de fake news (4)

  DANIEL LIMA - 04/06/2020

Quando afirmo que a metodologia de pesquisas (sobretudo eleitorais, mas não somente eleitorais) que abarca a chamada margem de erro é um eufemismo para a prática de margem de manobra, provavelmente provoco calafrios nos formuladores de questionários. A maioria dos institutos de pesquisa faz o diabo com a margem de erro convencional e também com a margem de erro estendida. Vou explicar tanto uma quanto outra.

O que importa aos chamados cientistas políticos e seres estranhos que adoram desenhar o presente mais conveniente e o futuro mais apropriado para eles com o uso de pesquisas de opinião pública é que a margem de erro faz parte da estratégia. Quanto maior, melhor. A margem de erro que é margem de manobra permite muitas contravenções que não resistiriam a uma legislação rigorosa sobre o uso da ciência estatística para fins escusos.

Num passado não muito distante e num presente que pode voltar a qualquer momento, na esteira de campanhas eleitorais, especialistas em flexibilizar números decorrentes de entrevistas com eleitores fazem da margem de erro convencional passaporte a suposta eficiência.

Sustentado resultados 

Sustentar resultados parciais em campanhas eleitorais tendo como garantia de ajuste mais adiante com a margem de erro é um procedimento comum. O Datafolha sempre fez isso. Outros institutos também.  O ajustamento vai de acordo com o andar da carruagem dos dados divulgados. Os institutos de pesquisa, em geral, se sentem deuses do comportamento do eleitorado.

A margem de erro está intrinsecamente relacionada ao número de entrevistas de cada rodada de pesquisas. Guarde essa informação, porque esse é o ponto central. Quanto mais entrevistas, menor a margem de erro. Pesquisa com mais de três pontos percentuais de margem de erro é pesquisa inconfiável. Como três ou dois pontos percentuais são pesquisas sujeitas a muito cuidado.

O que esperar, então, de pesquisa com margem de erro de dois dígitos de margem de erro. Como assim? É o que veremos mais adiante. Esse é um típico uso e abuso do Instituto Datafolha e também de outras instituições do gênero. Por isso chamo esse modelo de margem de erro estendida, que também pode ser compreendida como margem de erro escondida.

Até nove pontos

Primeiro vamos tratar de margem de erro convencional. Trabalhemos com três pontos percentuais, que é a mais comum. Três pontos percentuais significam flexibilização de nove pontos percentuais de diferença. É um latifúndio numérico quando se objetiva mandraquismos estatísticos.

Trata-se do seguinte o conceito de três pontos percentuais: quem tem 30% de determinada pesquisa ante 26% de outro mais próximo, pode ter mais que os quatro pontos percentuais explícitos da comparação, ou seja, 30% menos 26%. Com a margem de erro de três pontos percentuais para cima e para baixo, o resultado pode ser 33% a 23% (portanto, 10 pontos de diferença) ou 27% a 29%, portanto apenas um ponto percentual de distância, ou quase empate técnico.

Não é nada difícil imaginar possibilidades que brotam dessa vastidão de pontos percentuais disponíveis a encaixes.

Mesmo com a redução da margem de erro convencional de três para dois pontos percentuais, a distância é relativamente confortável para quem pretende ajustar os ponteiros mais adiante e sustentar a tese de que os resultados seguiram a trilha de acertos do instituto de pesquisa.

Com dois pontos percentuais de margem de erro, os 30% contra 26% do exemplo anterior podem ser respectivamente 32% a 24% (oito pontos percentuais) ou 28% a 28% (empate técnico). Convenhamos que o efeito sanfona se manifesta igualmente com mil possibilidades de arranjos.

Simulação de confrontos

Na pesquisa do Instituto Datafolha, matriz desta série de análises, não se registra diretamente um confronto entre o governo federal, o Legislativo e o Judiciário em reprovação e aprovação. A disputa é indireta e subliminar, como mostramos no capítulo anterior. Mas é possível, como especulação didática, mostrar os efeitos de uma margem de erro de três pontos percentuais.

Vamos primeiro invadir a seara de reprovação. Jair Bolsonaro registrou 43% de ruim/péssimo, enquanto o Congresso Nacional marcou 32% e o Supremo Tribunal Federal 26%. Se aplicada a margem de erro de três pontos, o resultado do confronto entre Jair Bolsonaro e Congresso Nacional poderia ser tanto de 46% a 29% como de 40% a 35%. E a disputa entre Jair Bolsonaro e o STF poderia ser tanto 46% a 23% como 40% a 29%.

As equações seguem rigorosamente o conceito de margem de erro: ao mesmo tempo em que se elevam os valores para um, reduzem-se os valores para o outro. Desta forma, a diferença de ruim/péssimo de Jair Bolsonaro em relação ao Congresso Nacional tanto pode ser de 17 pontos percentuais quanto de cinco pontos percentuais. Já no confronto com o STF, Bolsonaro poderia ter no quesito ruim/péssimo tanto 23 pontos percentuais quanto 11 pontos percentuais.

Presença dos militares

O mesmo bloco de questionamentos do Datafolha que resultou em série de matérias na Folha de S. Paulo e em muitos veículos de comunicação abordou a presença de militares no governo federal. A margem de erro de dois pontos percentuais reduz ou aumenta a diferença. Os militares podem ser vistos de duas maneiras distintas.

O resultado primário do Datafolha sobre a presença dos militares apontou uma diferença de nove pontos percentuais de entrevistados contrários à ocupação de cargos: 52% a 43%. Quanto se aplica o critério de margem de erro, o resultado tanto pode ser 50% a 45% como 54% a 41%. Ou seja: sai-se de uma situação de cinco para 11 pontos percentuais.

No terreno da percentagem, que é diferente de pontos percentuais, isso significa sair de uma distância inicial de 17,30% contrária à participação dos militares e passar para o estreitamento de 10% no caso de aplicação da margem de erro favorável aos miliares ou de 24,07% na hipótese de dar elasticidade contrária aos militares.

Não é preciso ser inventivo demais para, ao transpor o conceito e o exemplo em situação de disputa eleitoral, o quanto a maleabilidade da margem de erro pode determinar usos e abusos nas pesquisas de opinião pública.

O resumo da ópera ao se aferir o conceito prático de margem de erro é que em situação de dados históricos reiterados, as análises não podem desconsiderar o imperativo da relativização. No caso específico do nível de aprovação e de rejeição ao presidente Jair Bolsonaro, apenas em situação de descolamento de números além da margem de erro é possível construir premissas favoráveis ou contrárias.

Margem estendida

Quem se surpreende com a gelatinosa equação determinada pela margem de erro convencional, não sabe o estrago causado pelo conceito de margem de erro estendida, modalidade que extrapola a ciência estatística, mas que nem por isso deixa de ser prática usual e abusiva, além de incorreta, do Instituto Datafolha e dos demais que estão na praça.

A margem de erro estendida, também imprecisa, quando não abusiva e deletéria, dá-se quando a estrutura básica de pesquisas que delimitam a margem de erro é violentada. No caso da última pesquisa do Datafolha, os dois pontos percentuais de margem de erro correspondiam a aplicação de 2.069 entrevistas. Guardem bem esse número.

A margem de dois pontos percentuais é válida como ferramenta de análise (com condicionantes expostas) somente quando todos os entrevistados respondem ao questionário central e integral. Um exemplo: o Datafolha perguntou sobre a avaliação do presidente Jair Bolsonaro na pandemia (o enunciado, como já escrevi, foi omitido na reportagem). Do total de entrevistados, 50% consideraram a atuação ruim/péssima, 27% de ótimo/bom e 22% de regular. Apenas 1% não soube responder.

Até esse ponto não resta dúvida sobre o resultado. Qualquer outra valoração numérica da pesquisa que se consolide como substrato da referida questão foge completamente da margem de erro. Torna-se praticamente incalculável. Vou explicar.

Parte pelo todo

Escreveu a Folha de S. Paulo na edição de 29 de maio que 32% entre os entrevistados que ganham mais de 10 salários mínimos consideram o governo de Jair Bolsonaro ótimo/bom no tratamento ao Coronavírus. E que 62% dos entrevistados que têm Ensino Superior consideram as ações ruim/péssima. Não é bem assim. Ou não é nada assim.

Lembre-se que a margem de erro de dois pontos percentuais está referendada pelo total de 2.906 entrevistas. Só vale para isso, exclusivamente para esse universo de entrevistados.

Quantos por cento dos entrevistados que ganham mais de 10 salários mínimos responderam aos questionários? E quantos entrevistados que contam com Ensino Superior também responderam ao questionamento do Instituto Datafolha? Resposta: nada, absolutamente nada que tenha anteparo estatístico de dois pontos percentuais para mais ou para menos.

Trocando em miúdos: os dados complementares do Datafolha que viraram interpretação da Folha de S. Paulo e de tantos outros veículos de comunicação não oferecem garantia alguma de desdobramentos das perguntas-chave.

Extrapolando a margem

Supondo-se que não mais que 20% dos entrevistados representem a população brasileira que recebe mais de 10 salários mínimos e que o mesmo tanto tem Ensino Superior (esses números são aleatórios, mas retratam um País tão desigual), teríamos então ao invés de mais de dois mil questionários, não mais que 200 especificamente voltados a esses dois públicos-alvo. Então, em consequência, a margem de erro explodiria. O que é retratado pelo Datafolha como pesquisa não passaria, em última instância, de enquete. Sem valor cientifico, portanto. Enquete é uma fresta de porta. Pesquisa é o quarto iluminado. Se bem iluminado ou não depende da ética dos formuladores das questões.

Para que houvesse respaldo técnico-cientifico de que 32% dos entrevistados que ganham mais de 10 salários mínimos apoiam a política do governo Jair Bolsonaro na epidemia (contra 27% do resultado aferido) e também para que se desse sustentação à divulgação de que 63% dos portadores de Ensino Superior são contrários ao presidente no tratamento ao Coronavírus (contra 50% do público em geral), deveriam ter sido entrevistados 2.069 eleitores de cada um desses respectivos grupamentos, os quais assegurariam a margem de erro de dois pontos percentuais.

Qualquer iniciativa diferente significa fraude numérica e avaliativa. Não o fosse, os institutos de pesquisa não precisariam contratar mais de duas mil entrevistas.

No próximo capítulo trato de “Neutralidade obscura”.

Leia mais matérias desta seção: