7. Viés de pesquisa

1. Mais dados podem repetir o mesmo problema

Em uma pesquisa hipotética, uma equipe quer conhecer o tempo de espera de todos os usuários de um serviço. Ela envia um questionário apenas a quem usa o aplicativo. Recebe mil respostas e depois amplia para cinco mil, sempre pelo mesmo canal.

O aumento pode tornar mais estável a média entre os respondentes. Mas os usuários sem acesso ao aplicativo continuam fora. Se eles enfrentam tempos de espera diferentes, a média obtida pode descrever mal o conjunto que a equipe pretendia estudar. O problema está no caminho até os dados, não apenas em quantos dados existem.

Chamamos de viés um desvio sistemático nos resultados ou nas conclusões. Ele pode decorrer da escolha dos participantes, da medição, da interpretação das evidências ou da divulgação dos resultados. Não exige fraude ou intenção de enganar.

As situações didáticas seguintes também são hipotéticas. Elas mostram quatro mecanismos do recorte: seleção, medição, confirmação e publicação. Mais de um pode existir na mesma pesquisa.

2. Distinguir viés, variação e alcance da conclusão

Uma amostra é um subconjunto observado do conjunto que se pretende estudar. Mesmo com uma seleção adequada, duas amostras podem produzir médias diferentes por acaso. Essa variação aleatória gera imprecisão: o resultado muda de uma repetição para outra. Já o viés decorre de um mecanismo que desloca o resultado sistematicamente; repetir esse mecanismo não o elimina.

Imagine um sistema que acrescente dois minutos a cada tempo registrado. Fazer mais medições pode estabilizar a média, mas ela continuará dois minutos acima da média dos tempos reais. Ter pouca dispersão não garante estar perto do alvo: precisão e ausência de viés são propriedades diferentes.

Aumentar a amostra costuma reduzir a variação de amostragem em condições comparáveis. Não conserta automaticamente cadastro incompleto, instrumento desajustado ou exclusão seletiva de resultados. Observar todos os elementos do conjunto pretendido — fazer um censo — também não elimina erros de medição, registro e interpretação.

O alvo precisa estar definido. Uma pesquisa feita apenas com usuários do aplicativo pode responder corretamente a uma pergunta sobre esses usuários. O problema é usá-la para concluir sobre todos os usuários sem justificar essa passagem. Limitação de alcance não torna, por si só, falso o resultado no grupo efetivamente estudado.

Também é preciso distinguir risco de viés de comprovação de sua intensidade. Um procedimento inadequado pode ameaçar a conclusão sem permitir calcular quanto ela mudou ou em qual direção. Identificar o mecanismo é mais informativo que declarar que “a pesquisa inteira está errada”.

3. Seleção: quem consegue entrar e permanecer nos dados?

A população-alvo é o conjunto sobre o qual queremos concluir. A amostra é o subconjunto observado. Entre ambos há um processo de recrutamento, seleção, resposta e, em algumas pesquisas, acompanhamento.

O viés de seleção ocorre quando esse processo favorece sistematicamente certos participantes de modo relevante para a conclusão. No exemplo inicial, o cadastro do aplicativo deixa de alcançar parte da população-alvo. É um problema de cobertura: a lista usada para selecionar não cobre adequadamente o conjunto pretendido.

Outras duas situações merecem atenção:

• Participação voluntária: um convite aberto pode atrair principalmente usuários muito satisfeitos ou muito insatisfeitos. A decisão de participar pode estar relacionada ao que será medido.
• Não resposta ou perda de acompanhamento: pessoas escolhidas podem não responder ou sair do estudo. Se quem fica difere de quem sai em aspectos relevantes, analisar apenas os restantes pode distorcer a conclusão.

Ausência de resposta não prova, sozinha, a existência ou o tamanho de um viés. Importam a quantidade de perdas, suas razões e a relação entre participação e a característica estudada. Uma taxa de resposta, isoladamente, não descreve todo o mecanismo.

Sortear não corrige uma lista incompleta. Um sorteio entre usuários cadastrados no aplicativo continua sem dar chance aos usuários ausentes dessa lista. A seleção aleatória precisa ser compatível com a população-alvo; depois dela, a resposta e a permanência também precisam ser examinadas.

Para reduzir esses problemas, defina o alvo, avalie o cadastro, diversifique os meios de contato e acompanhe as perdas. Comparar respondentes e não respondentes por informações disponíveis ajuda a avaliar o risco. Ajustes que atribuem pesos diferentes às observações podem ajudar sob condições justificadas; não recuperam automaticamente informações de grupos desconhecidos.

Não confunda duas decisões: sortear participantes ajuda a construir a amostra; sortear a distribuição de participantes entre procedimentos ajuda a tornar a comparação entre grupos mais justa. Uma decisão não substitui a outra.

4. Medição: o registro representa o que se quer observar?

Agora suponha que a seleção alcance o conjunto pretendido. Ainda precisamos medir corretamente.

O viés de medição é um desvio sistemático produzido na obtenção ou no registro da característica estudada. Faz parte dos problemas de informação: um instrumento pode estar desajustado; uma pergunta pode induzir respostas; observadores podem usar critérios diferentes; lembranças podem ser imprecisas de forma relacionada ao que se investiga.

No sistema que soma dois minutos, o desvio foi definido e sua direção é conhecida. Em outros casos, reconhecer o risco não informa automaticamente a direção. Perguntas e critérios diferentes entre grupos podem exagerar ou reduzir uma diferença aparente.

Se uma equipe espera que um procedimento funcione e avalia seus resultados com mais tolerância que os do procedimento usado para comparação, a expectativa pode influenciar o registro. Cegamento significa ocultar de quem avalia uma informação, como o grupo do participante, que poderia afetar o julgamento. Ele reduz esse caminho de influência, quando viável; não conserta um aparelho desajustado.

As medidas de prevenção devem atingir a causa: verificar instrumentos contra referências adequadas, padronizar definições e procedimentos, treinar observadores e formular perguntas neutras. Repetir a mesma medição incorreta pode diminuir a dispersão sem remover o desvio. Fazer todas as perguntas de forma idêntica também não garante neutralidade se a própria pergunta já induz uma resposta.

5. Confirmação: a hipótese orienta a investigação ou filtra a evidência?

Uma hipótese é uma afirmação que a pesquisa pretende confrontar com evidências. Tê-la desde o início é normal; o problema é tratar a conclusão desejada como um filtro do que poderá ser considerado.

Uma equipe acredita que o novo serviço reduziu a espera. Examina os registros que mostram redução, mas descarta registros contrários apenas porque “não combinam com o esperado”. Outra equipe usa critérios de qualidade definidos antes da análise e aplica esses critérios tanto aos resultados favoráveis quanto aos desfavoráveis. Os procedimentos não têm o mesmo valor.

O viés de confirmação é a tendência de procurar, selecionar ou interpretar informações de maneira a favorecer ideias já aceitas, desconsiderando evidências contrárias. Pode influenciar a escolha do que investigar e o modo de interpretar um resultado ambíguo; não é um problema restrito a números ou questionários.

Uma proteção é perguntar: que observação colocaria esta explicação em dúvida, e que outra explicação também cabe nos dados? Critérios explícitos de inclusão e exclusão, busca de evidências contrárias e revisão por outras pessoas ajudam a enfrentar o mecanismo. Discordar da hipótese não é, por si só, razão metodológica para excluir um resultado; apresentar uma hipótese também não prova que houve viés de confirmação.

O estudo de hipóteses e desenho de pesquisa é desenvolvido em método científico. Aqui, o ponto indispensável é manter a possibilidade de confronto real entre a explicação e os dados.

6. Publicação: quais resultados se tornam visíveis?

O problema pode aparecer depois que pesquisas foram realizadas. Imagine dez estudos comparáveis sobre o serviço: alguns encontram melhora, outros não a encontram. Se os favoráveis têm maior chance de ser publicados, quem lê apenas os artigos disponíveis recebe uma visão filtrada da evidência.

Há viés de publicação quando a possibilidade de divulgação de um estudo depende de seus resultados, por exemplo, por favorecer achados considerados positivos ou atraentes. A evidência publicada pode deixar de representar o conjunto de estudos realizados. Isso pode ocorrer mesmo que cada estudo divulgado tenha sido bem conduzido.

Há um mecanismo relacionado dentro de um estudo: medir tempo, custo e satisfação, mas divulgar apenas a satisfação porque foi favorável. É relato seletivo de resultados. A distinção é útil: no primeiro caso, estudos inteiros deixam de aparecer; no segundo, partes ou análises são escolhidas para divulgação conforme o resultado.

Nem todo estudo ausente foi ocultado por seu resultado: atrasos, limitações operacionais e critérios metodológicos também podem explicar ausência. Tampouco um resultado desfavorável demonstra, sozinho, que o estudo é ruim. Um protocolo registra como a pesquisa será conduzida. Para investigar o risco, procure registros de pesquisas, protocolos e relatórios, além de artigos publicados, e compare o que estava planejado com o que foi relatado.

O pré-registro documenta antecipadamente hipóteses e decisões de desenho ou análise, antes de conhecer os resultados relevantes. Ele torna mais visível a diferença entre plano e execução. Não elimina todos os vieses nem proíbe novas análises: análises surgidas após examinar os dados podem gerar hipóteses, desde que sejam identificadas como exploratórias e não apresentadas como testes planejados desde o início.

7. Reconhecer o mecanismo antes de escolher o nome

Os quatro problemas podem se combinar. Selecionar apenas voluntários e fazer uma pergunta que induz respostas cria dois riscos diferentes. Corrigir a seleção não neutraliza a pergunta. Uma expectativa pode afetar tanto o registro de uma medição quanto a interpretação posterior: os nomes não são compartimentos exclusivos.

Em uma questão, encontre a escolha que produziu o desvio, diga qual conclusão ela ameaça e selecione uma medida dirigida a esse mecanismo. Mais observações, mais casas decimais ou maior confiança declarada não substituem essa análise.