A pressa de acreditar

O primeiro princípio é que você não deve enganar a si mesmo. E você é a pessoa mais fácil de enganar. Richard Feynman, "Cargo Cult Science", discurso de formatura na Caltech, 1974

Eu não conhecia essa curva.

Encontrei ela por acaso, dentro de um material que tratava de outra coisa. Uma linha subindo, despencando e voltando a subir. Achei ótima. E a primeira coisa que ela fez comigo foi me dar razão sobre outras pessoas.

Não sobre mim. Sobre outras pessoas.

O desenho é simples. No eixo vertical, a confiança. No horizontal, o quanto se entende de um assunto. A linha dispara quase imediatamente, chega ao topo quando a pessoa mal começou, despenca fundo quando ela descobre o tamanho do que não sabia, e depois sobe devagar, sem nunca reencontrar o pico do começo.

Traduzido para a conversa de mesa: quem menos entende é quem mais tem certeza.

O nome disso é efeito Dunning-Kruger. Vem de um artigo de 1999, e o gráfico que circula hoje não estava nele.

Levei alguns dias para desconfiar. E não foi da curva.

Justin Kruger e David Dunning publicaram Unskilled and Unaware of It (abre em nova aba) no Journal of Personality and Social Psychology. Quatro estudos, com estudantes universitários americanos, em três tarefas: humor, gramática e lógica. Os participantes faziam o teste e depois estimavam a própria posição em relação aos colegas.

Quem ficou no quartil inferior estava, objetivamente, por volta do décimo segundo percentil, e se imaginava por volta do sexagésimo segundo.

Os autores foram mais cuidadosos que a fama do achado. Trabalharam com três tarefas e uma população de estudantes, e mostraram no próprio artigo que treinar os participantes melhorava a calibragem, o que já indicava que não se tratava de um traço fixo.

Nada disso sobreviveu ao gráfico.

O que sobreviveu foi a curva. E a curva tem um problema que apareceu três anos depois.

Em 2002, Krueger e Mueller publicaram uma reanálise (abre em nova aba) mostrando que o mesmo padrão de erros podia ser previsto por duas coisas banais: regressão à média, que é a tendência de resultados extremos ficarem menos extremos quando você mede de novo, e o viés de se achar acima da média, que é geral e não exclusivo de ninguém. Combinadas, as duas produziam o desenho sem precisar de nenhum déficit metacognitivo especial.

Em 2016, Edward Nuhfer e colegas foram além. Eles simularam dados (abre em nova aba) com números aleatórios, sem nenhuma pessoa envolvida e sem nenhuma habilidade sendo medida, e mostraram que várias das convenções gráficas correntes na literatura de autoavaliação produzem padrão a partir de ruído puro. Uma das piores é agregar os participantes em quantis.

Parte do que se lia como achado era artefato de como o gráfico tinha sido montado.

Refiz a conta antes de escrever isto. Mil pares de números sorteados, autoavaliação e desempenho sem nenhuma relação entre si, agrupados em quartis. O desempenho sobe de 13 a 87 do primeiro quartil ao quarto, e a autoavaliação fica parada em torno de 49 nos quatro. Lido do jeito de sempre, o desenho diz que os piores se superestimam e os melhores se subestimam. Não tem ninguém ali dentro.

O código está aberto.

"""
Figuras do ensaio "A pressa de acreditar" (wagnerlima.cc).

hero.png    a curva que circula
image1.png  mil pares de números sorteados, agrupados em quartis
            pela convenção que Nuhfer e colegas condenam

Semente da figura publicada: 1447564174
Sem argumento, sorteia outra.

    python3 gerar-figuras.py 1447564174

Dependências: numpy, cairosvg
"""

import os
import sys

import numpy as np

CAMPO = "#101015"   # fundo do site, tema escuro
LINHA = "#F4F4F5"   # zinc-100
EIXO = "#9F9FA9"    # zinc-400
TEAL = "#00D5BE"    # teal-400
W, H = 1200, 630


def catmull(pts, n=400):
    """Spline suave passando por todos os pontos de controle."""
    p = [pts[0]] + list(pts) + [pts[-1]]
    out = []
    passo = n // (len(p) - 3)
    for i in range(len(p) - 3):
        p0, p1, p2, p3 = p[i], p[i + 1], p[i + 2], p[i + 3]
        for k in range(passo):
            t = k / passo
            t2, t3 = t * t, t * t * t
            x = 0.5 * ((2 * p1[0]) + (-p0[0] + p2[0]) * t +
                       (2 * p0[0] - 5 * p1[0] + 4 * p2[0] - p3[0]) * t2 +
                       (-p0[0] + 3 * p1[0] - 3 * p2[0] + p3[0]) * t3)
            y = 0.5 * ((2 * p1[1]) + (-p0[1] + p2[1]) * t +
                       (2 * p0[1] - 5 * p1[1] + 4 * p2[1] - p3[1]) * t2 +
                       (-p0[1] + 3 * p1[1] - 3 * p2[1] + p3[1]) * t3)
            out.append((x, y))
    out.append(pts[-1])
    return out


def fmt(pts):
    return " ".join(f"{x:.1f},{y:.1f}" for x, y in pts)


def hero(path):
    """A curva popular. Composição deslocada para a direita: os 38% da
    esquerda ficam livres para o texto do cartão de compartilhamento."""
    x0, x1 = 500, 1120
    y0, y1 = 92, 512
    ctrl = [(0.00, 0.04), (0.035, 0.56), (0.075, 0.96), (0.120, 0.83),
            (0.200, 0.50), (0.320, 0.11), (0.460, 0.21), (0.640, 0.44),
            (0.820, 0.61), (1.000, 0.70)]
    pts = catmull([(x0 + t * (x1 - x0), y1 - v * (y1 - y0)) for t, v in ctrl])
    ticks = "".join(
        f'<line x1="{x0 + i * (x1 - x0) / 4:.0f}" y1="{y1 + 30}" '
        f'x2="{x0 + i * (x1 - x0) / 4:.0f}" y2="{y1 + 44}"/>' for i in range(5))
    svg = f'''<svg xmlns="http://www.w3.org/2000/svg" width="{W}" height="{H}" viewBox="0 0 {W} {H}">
  <rect width="{W}" height="{H}" fill="{CAMPO}"/>
  <g stroke="{EIXO}" stroke-width="3" stroke-linecap="round" opacity="0.38" fill="none">
    <line x1="{x0 - 40}" y1="{y0 - 30}" x2="{x0 - 40}" y2="{y1 + 30}"/>
    <line x1="{x0 - 40}" y1="{y1 + 30}" x2="{x1 + 40}" y2="{y1 + 30}"/>
  </g>
  <g stroke="{EIXO}" stroke-width="3" stroke-linecap="round" opacity="0.22" fill="none">{ticks}</g>
  <polyline points="{fmt(pts)}" fill="none" stroke="{LINHA}" stroke-width="8"
            stroke-linecap="round" stroke-linejoin="round"/>
</svg>'''
    open(path, "w").write(svg)


def ruido(path, seed):
    """Ruído puro pela convenção condenada: agregar em quantis."""
    rng = np.random.default_rng(seed)
    n = 1000
    real = rng.uniform(0, 100, n)     # desempenho, aleatório
    achou = rng.uniform(0, 100, n)    # autoavaliação, aleatória e INDEPENDENTE
    q = np.array_split(np.argsort(real), 4)
    m_real = [real[g].mean() for g in q]
    m_achou = [achou[g].mean() for g in q]

    x0, x1, y0, y1 = 210, 1010, 110, 500
    xs = [x0 + i * (x1 - x0) / 3 for i in range(4)]

    def Y(v):
        return y1 - (v / 100) * (y1 - y0)

    pr = [(x, Y(v)) for x, v in zip(xs, m_real)]
    pa = [(x, Y(v)) for x, v in zip(xs, m_achou)]
    grid = "".join(f'<line x1="{x0 - 30}" y1="{Y(v)}" x2="{x1 + 30}" y2="{Y(v)}"/>'
                   for v in (25, 50, 75))
    dots = "".join(f'<circle cx="{x:.1f}" cy="{y:.1f}" r="9" fill="{CAMPO}" '
                   f'stroke="{EIXO}" stroke-width="5"/>' for x, y in pr)
    dots += "".join(f'<circle cx="{x:.1f}" cy="{y:.1f}" r="9" fill="{CAMPO}" '
                    f'stroke="{TEAL}" stroke-width="5"/>' for x, y in pa)
    svg = f'''<svg xmlns="http://www.w3.org/2000/svg" width="{W}" height="{H}" viewBox="0 0 {W} {H}">
  <rect width="{W}" height="{H}" fill="{CAMPO}"/>
  <g stroke="{EIXO}" stroke-width="2" opacity="0.16" stroke-dasharray="10 9" fill="none">{grid}</g>
  <g stroke="{EIXO}" stroke-width="3" stroke-linecap="round" opacity="0.38" fill="none">
    <line x1="{x0 - 30}" y1="{y0 - 30}" x2="{x0 - 30}" y2="{y1 + 30}"/>
    <line x1="{x0 - 30}" y1="{y1 + 30}" x2="{x1 + 30}" y2="{y1 + 30}"/>
  </g>
  <polyline points="{fmt(pr)}" fill="none" stroke="{EIXO}" stroke-width="7" stroke-linecap="round" stroke-linejoin="round"/>
  <polyline points="{fmt(pa)}" fill="none" stroke="{TEAL}" stroke-width="7" stroke-linecap="round" stroke-linejoin="round"/>
  {dots}
</svg>'''
    open(path, "w").write(svg)
    return m_real, m_achou


if __name__ == "__main__":
    import cairosvg

    seed = int(sys.argv[1]) if len(sys.argv) > 1 else int.from_bytes(os.urandom(4), "big")
    aqui = os.path.dirname(os.path.abspath(__file__))
    imagens = os.path.join(aqui, "imagens")
    os.makedirs(imagens, exist_ok=True)

    hero(os.path.join(imagens, "hero.svg"))
    mr, ma = ruido(os.path.join(imagens, "image1.svg"), seed)

    for nome in ("hero", "image1"):
        cairosvg.svg2png(url=os.path.join(imagens, f"{nome}.svg"),
                         write_to=os.path.join(imagens, f"{nome}.png"),
                         output_width=2400, output_height=1260)

    print("semente:", seed)
    print("desempenho real por quartil:", [round(v, 1) for v in mr])
    print("autoavaliação por quartil:  ", [round(v, 1) for v in ma])

No ano seguinte, com o mesmo conjunto de 1.154 pessoas (abre em nova aba), eles argumentaram que representações mais adequadas mostram autoavaliações razoavelmente calibradas, e que boa parte da literatura estava lendo o gráfico, não os dados.

Em 2020, Gilles Gignac e Marcin Zajenkowski publicaram um artigo cujo título já entrega a posição: o efeito Dunning-Kruger é, na maior parte, um artefato estatístico (abre em nova aba). Com 929 participantes, testes de inteligência e métodos desenhados para detectar exatamente o padrão previsto pela hipótese, não encontraram o padrão.

Esse artigo levou resposta. Houve comentário argumentando que a recodificação de escala adotada por eles produzia o resultado, e trabalhos posteriores que revisitaram a questão com métodos parecidos e encontraram um efeito pequeno, mas presente. Isso não é um debate encerrado, e quem disser que é, não leu a bibliografia inteira.

E em julho deste ano entrou a peça mais recente.

Chris Dawson, da Universidade de Bath, e David de Meza, da London School of Economics, publicaram na Psychological Review um artigo que não é sobre Dunning-Kruger (abre em nova aba). É uma teoria evolutiva sobre por que excesso de confiança e aversão à perda coexistem em nós, com a autoconfiança funcionando, na imagem dos próprios autores, como a cauda do pavão: cara demais para ser fingida, e por isso informativa.

O efeito Dunning-Kruger é citado uma vez no artigo inteiro, numa nota de rodapé que remete ao material suplementar. Foi essa nota que virou manchete.

O que eles fizeram foi inverter a conta. Pegaram dados de outro estudo, com cerca de quatro mil pessoas recrutadas numa plataforma de tarefas online, que responderam testes de gramática e de lógica e depois estimaram quantas questões tinham acertado. Em vez de perguntar o que a pessoa achava dado o que ela acertou, perguntaram o que ela acertou dado o que ela achava. O argumento é que o ruído da medição está mais na nota, que é um retrato imperfeito da habilidade, do que na expectativa da pessoa.

Feita assim, a distância entre o que se acredita e o que se consegue cresce com a habilidade, em vez de encolher.

Repare no que os autores não dizem. Eles não declaram que o efeito morreu, e registram no próprio artigo que a sobreconfiança pode não crescer de forma constante com a habilidade. Nos mesmos dados, um quarto dos participantes no teste de gramática e mais de um terço no de lógica subestimaram o que tinham acertado. Dunning, do seu lado, discute as controvérsias de interpretação numa revisão de 2011 (abre em nova aba) e segue sustentando que existe ali um fenômeno real, o de a ignorância se esconder de quem a tem.

A questão está aberta.

O que não está em aberto é o uso do gráfico como laudo da burrice alheia. Essa parte não se sustenta desde 2002, e mesmo assim a curva rodou o mundo por vinte e quatro anos, compartilhada por gente que nunca abriu o artigo.

Eu fui um deles por alguns dias. E foi rápido.

Falta de informação seria a explicação confortável, e é a errada.

Em 1990, Ziva Kunda publicou The Case for Motivated Reasoning (abre em nova aba) no Psychological Bulletin. A tese costuma ser resumida como "as pessoas acreditam no que querem acreditar", e o resumo perde exatamente a parte interessante.

O que ela propõe é que a motivação não fabrica a conclusão: ela seleciona quais processos cognitivos vão ser mobilizados. Quem quer ser preciso convoca as estratégias que parecem apropriadas para a precisão. Quem quer chegar a uma conclusão específica convoca as que tendem a produzir aquela conclusão. Só dá para chegar onde se quer se for possível construir uma justificativa que pareça razoável.

Ninguém acredita em qualquer coisa. Acredita-se no que dá para defender.

Isso muda o que a gente procura. Não se procura prova. Procura-se material com o qual seja possível montar uma defesa apresentável.

O exemplo clássico dessa mecânica é de 1956, e vale contar com as ressalvas na mesa. Leon Festinger, Henry Riecken e Stanley Schachter acompanharam um pequeno grupo americano que previa o fim do mundo numa data específica. O mundo não acabou. E o grupo, segundo o relato, reinterpretou o fracasso como prova de que a própria fé havia salvado o planeta, e passou a recrutar mais. É observação participante, num grupo único, com pesquisadores dentro dele, e a literatura histórica posterior levanta que o tamanho do grupo e a intensidade do proselitismo podem ter sido inflados. Serve como ilustração. Não serve como evidência.

Medir isso em política é mais difícil do que parece. A tentativa mais citada é a de Dan Kahan e colegas, que descreveram uma numeracia motivada (abre em nova aba): diante da mesma tabela de números, pessoas com mais habilidade matemática acertavam num contexto neutro e divergiam politicamente num contexto carregado. É um achado elegante e é um achado contestado. Há trabalhos que não replicam a associação, e há trabalhos concluindo que numeracia costuma andar junto com crenças mais acuradas, não com mais polarização. Registro pelo que é: a melhor tentativa disponível de medir, com o resultado ainda em disputa.

O que não está em disputa é que o desconforto é grande. Uma pesquisa do Pew Research Center (abre em nova aba) de setembro de 2024 mostrou que 80% dos brasileiros percebem conflitos fortes ou muito fortes entre pessoas que apoiam grupos políticos diferentes. Isso mede percepção de conflito, não hostilidade individual, e a diferença importa. Mas quatro em cada cinco é bastante gente sentindo a mesma coisa.

Uma observação minha, sem estudo por trás. Os aplicativos que a gente usa medem o que segura a pessoa na tela, e não é a dúvida. Isso não é conspiração, é desenho de produto. Mas eu não tenho pesquisa para afirmar magnitude, e não vou fingir que tenho.

Em 2010, Brendan Nyhan e Jason Reifler publicaram When Corrections Fail (abre em nova aba), onde correções factuais não só falhavam em alguns subgrupos como pareciam reforçar a crença falsa. Batizaram de efeito backfire. A ideia viajou muito além do artigo e virou senso comum: não adianta corrigir ninguém, só piora.

Em 2019, Thomas Wood e Ethan Porter foram atrás disso em escala (abre em nova aba). Cinco experimentos, mais de dez mil e cem participantes, cinquenta e duas afirmações políticas corrigidas, incluindo temas escolhidos por serem inflamáveis.

Não encontraram um único caso de backfire.

Em todos, a correção moveu as crenças na direção da precisão. As amostras não eram probabilísticas e a medição foi de curto prazo, e eles dizem isso. Mas o resultado é robusto o suficiente para que, em 2021, o próprio Nyhan publicasse na PNAS um artigo (abre em nova aba) argumentando que o efeito backfire não explica a durabilidade das percepções erradas. Correções funcionam. O problema é que funcionam pouco e o efeito dissipa.

Vale separar duas coisas que a gente costuma tratar como uma só.

As pessoas aceitam o fato. O que quase não se move é o lado.

Aceitar um dado e trocar de time são operações diferentes, e só a segunda cobra um preço social. É por isso que a conversa parece inútil mesmo quando não é: você mudou alguma coisa pequena na cabeça da outra pessoa e não vai ver o efeito, porque o que você estava olhando era o placar.

Ninguém muda de ideia diante de uma audiência.

Teimosia explica pouco. Mudar de ideia na frente dos outros não é mudar de ideia, é assinar publicamente uma derrota, e o preço disso é cobrado por gente que a pessoa vê no domingo.

Foi o que aconteceu comigo com a curva. Eu não abandonei aquele gráfico por causa de um argumento. Abandonei sozinho, lendo, sem ninguém olhando, sem precisar admitir nada para ninguém. Se alguém tivesse me corrigido num comentário, eu provavelmente teria defendido.

A parte incômoda é que eu não errei por falta de informação. Errei por pressa. A curva me deu razão rápido demais, e eu não perguntei por quê.

Antes de compartilhar: eu acreditaria nisso tão rápido se fosse contra o meu lado?