Quando a máquina
O GPS propõe um percurso. O sistema de análise destaca uma anomalia. Uma plataforma recomenda uma…
O GPS propõe um percurso. O sistema de análise destaca uma anomalia. Uma plataforma recomenda uma ação. Um copiloto gera uma resposta que parece razoável.
Nada disto é estranho. Pelo contrário: tudo encaixa o suficiente para avançarmos.
Esse «o suficiente» é importante.
Quando uma recomendação automática parece plausível, tendemos a dedicar-lhe menos atenção. Deixamos de a verificar, de procurar uma segunda explicação ou de nos perguntarmos que informação poderá estar a ficar de fora. A resposta não precisa de nos parecer perfeita. Só precisa de parecer suficientemente boa.
O problema surge quando essa confiança se mantém mesmo perante sinais que deveriam fazer-nos duvidar: conhecemos uma exceção, detetamos uma incoerência, temos contexto que o sistema provavelmente não tem ou, simplesmente, algo não encaixa totalmente.
E, ainda assim, aceitamos a recomendação.
Porque confiamos numa resposta automática mesmo quando dispomos de informação que nos deveria levar a questioná-la?
Quando a recomendação se transforma em autoridade
Confiar numa ferramenta não é necessariamente um problema. Aliás, grande parte do valor da automatização consiste precisamente em permitir-nos delegar tarefas, filtrar informação e tomar decisões com maior rapidez.
O problema surge quando essa confiança se transforma numa forma de autoridade.
O automation bias descreve a nossa tendência para atribuir um peso excessivo às recomendações geradas por sistemas automatizados, mesmo quando existem razões para as questionar. Não significa simplesmente que confiamos na tecnologia. Significa que, perante uma discrepância, podemos chegar a considerar a resposta do sistema mais fiável do que o nosso próprio juízo ou do que outras evidências disponíveis.
Há vários elementos que podem reforçar essa perceção. Uma interface limpa. Um resultado expresso com precisão decimal. Uma recomendação instantânea. Um indicador de confiança de 94%. Um dashboard que apresenta uma conclusão sem mostrar toda a incerteza que existe por detrás dela.
Tudo isto transmite uma sensação de objetividade.
Mas a objetividade percecionada não é o mesmo que correção.
Um sistema pode trabalhar com dados incompletos, aplicar um modelo que não representa bem uma situação concreta ou interpretar corretamente um padrão que, naquele contexto, não é relevante. A resposta pode estar perfeitamente calculada e, ainda assim, ser a resposta errada.
Por isso, talvez uma das distinções mais importantes em contextos cada vez mais automatizados seja também uma das mais simples: uma resposta pode parecer objetiva sem ser necessariamente correta.
Pensar custa; aceitar uma resposta é mais fácil
Pensar exige trabalho.
Avaliar uma recomendação significa rever dados, comparar alternativas, detetar possíveis contradições e assumir a responsabilidade de chegar a uma conclusão própria. Contradizer um sistema, além disso, costuma exigir uma razão: explicar porque acreditamos que essa resposta não é a mais adequada.
Aceitar a recomendação é muito mais simples.
Quando uma ferramenta nos oferece uma resposta fechada, reduz parte dessa carga cognitiva. Já não temos de construir uma opção de raiz: podemos validá-la, modificá-la ligeiramente ou simplesmente avançar.
Essa eficiência é precisamente uma das razões pelas quais utilizamos sistemas automatizados. O problema surge quando a redução do esforço também altera a nossa relação com a decisão.
A transição pode ser quase impercetível: usamos uma ferramenta para nos ajudar a pensar e acabamos por usar a sua resposta em vez de pensar.
Não necessariamente porque confiemos cegamente na tecnologia nem porque deixemos de ter discernimento. Muitas vezes, acontece por uma razão muito mais simples: aceitar uma resposta plausível é cognitivamente menos exigente do que questioná-la.
E quanto mais rápido, cómodo e convincente for o sistema, menor poderá ser o impulso para pararmos e verificarmos se estamos realmente de acordo com ele.
Quando vemos o erro e, ainda assim, seguimos o sistema
O problema não surge apenas quando não sabemos que o sistema está errado.
Por vezes, acontece algo mais incómodo: vemos um sinal que não encaixa e, ainda assim, avançamos.
Temos uma intuição diferente. Conhecemos uma exceção. Sabemos que falta contexto. Detetamos uma incoerência nos dados ou uma recomendação que não faz totalmente sentido naquela situação concreta.
Mas a resposta automatizada continua a pesar mais.
Parte dessa força vem da autoridade que atribuímos ao sistema. Se uma recomendação foi gerada a partir de milhares de dados, de um modelo preditivo ou de uma ferramenta que normalmente funciona bem, questioná-la pode parecer quase o mesmo que questionar algo mais sólido do que o nosso próprio discernimento.
E é aí que surge uma tensão importante.
O nosso juízo tende a ser parcial, imperfeito e difícil de explicar. A resposta do sistema, pelo contrário, chega estruturada, quantificada e apresentada como uma conclusão. Embora ambas possam falhar, uma delas parece muito mais convincente.
Por isso, em determinados contextos, não basta detetar uma anomalia. Também precisamos de sentir que temos legitimidade suficiente para contrariar o sistema.
Este deslocamento é subtil, mas relevante: o sistema deixa de ser uma ferramenta que informa a nossa decisão e começa a transformar-se na referência perante a qual temos de justificar qualquer desacordo.
E, quando isso acontece, o risco já não é apenas que uma máquina se engane.
É deixarmos de ouvir os sinais que nos diziam que ela podia estar enganada.
O problema aumenta quanto melhores são as máquinas
Pode parecer que o automation bias é, sobretudo, um problema de sistemas pouco fiáveis. Mas acontece algo paradoxal: quanto melhor funciona uma ferramenta, mais fácil é deixarmos de a vigiar.
Se uma recomendação acerta vezes sem conta, aprendemos a confiar nela. E essa confiança faz sentido. Rever cada resultado seria ineficiente e, em muitos casos, desnecessário.
O problema surge quando essa confiança se transforma em hábito.
Se o sistema acertou nove vezes, é provável que prestemos menos atenção à décima. Não porque saibamos que também vai acertar, mas porque deixámos de esperar que possa falhar.
Aí surge um risco importante: quanto mais fiável é a automatização, menos oportunidades temos de exercer o nosso próprio juízo. Deixamos de procurar anomalias, de questionar resultados plausíveis e, pouco a pouco, de treinar a capacidade de reconhecer quando estamos perante uma exceção.
E são precisamente as exceções os casos em que mais precisamos de discernimento.
O paradoxo é que uma tecnologia melhor não elimina necessariamente o risco humano. Pode deslocá-lo. Já não consiste apenas em interpretar mal a informação, mas em deixar de olhar porque o sistema quase sempre tem razão.
Por isso, o desafio não é desconfiar das máquinas quando funcionam bem. É evitar que a sua fiabilidade nos faça perder a capacidade de detetar o momento em que deixam de o fazer.
Não precisamos de menos automatização, mas de melhor discernimento
A resposta ao automation bias não pode ser voltar a rever manualmente tudo o que uma máquina faz.
Isso anularia grande parte do valor da automatização.
A automatização funciona precisamente porque permite reduzir a carga, acelerar decisões e reservar a atenção para aquilo que realmente precisa dela. O desafio não está em desconfiar de todos os sistemas, mas em aprender a distinguir quando confiar e quando parar.
Nem todas as decisões exigem o mesmo nível de supervisão. Algumas podem ser delegadas quase por completo. Outras precisam de uma revisão ocasional. E há decisões em que o custo de errar é suficientemente elevado para exigir intervenção humana.
A questão, portanto, não é escolher entre humano ou máquina.
É decidir o que podemos delegar, o que merece supervisão, que sinais devem ativar a nossa atenção e em que situações uma recomendação automática precisa de ser questionada antes de se transformar em ação.
Isso exige algo mais do que literacia tecnológica.
A competência importante já não será apenas saber utilizar sistemas inteligentes, mas saber quando confiar neles, quando pedir mais contexto e quando assumir a responsabilidade de dizer: desta vez, não.
Conclusão
Durante muito tempo, tentámos construir sistemas que nos ajudassem a decidir melhor.
Mais dados. Melhores previsões. Recomendações mais precisas. Automatizações capazes de reduzir erros, poupar tempo e ajudar-nos a identificar padrões que, de outro modo, poderiam passar despercebidos.
Tudo isso continua a ter valor.
Mas, à medida que esses sistemas melhoram, surge outro desafio: evitar que a ajuda acabe por substituir a nossa capacidade de decidir.
A automatização pode oferecer-nos informação, padrões, probabilidades e recomendações. Pode reduzir a incerteza, organizar a complexidade e até detetar sinais que não vemos.
Mas nada disso elimina a necessidade de discernimento.
Talvez, na verdade, aconteça o contrário.
Quanto mais capazes forem os sistemas de nos dizer o que fazer, mais importante será conservar a capacidade de nos perguntarmos se devemos fazê-lo.
Duvidar não significa desconfiar sistematicamente da tecnologia. Significa manter aberta a possibilidade de existir contexto que o sistema não conhece, uma exceção que o modelo não previu ou um sinal que merece ser ouvido antes de avançarmos.
Porque o verdadeiro risco não está em as máquinas se enganarem.
Está em chegar um momento em que já não nos sintamos capazes de as questionar.
Quando uma máquina e o teu próprio discernimento não estão de acordo, de que precisas para decidir qual dos dois ouvir?
Fontes:
Comentários