Quan la màquina sembla
El GPS proposa una ruta. El sistema d’analítica destaca una anomalia. Una plataforma recomana una…
El GPS proposa una ruta. El sistema d’analítica destaca una anomalia. Una plataforma recomana una acció. Un copilot genera una resposta que sembla raonable.
Res d’això no resulta estrany. Al contrari: tot encaixa prou perquè continuem endavant.
Aquest «prou» és important.
Quan una recomanació automàtica sembla plausible, tendim a dedicar-hi menys atenció. Deixem de contrastar, de buscar una segona explicació o de preguntar-nos quina informació pot estar quedant fora. La resposta no ens ha de semblar perfecta. Només ha de semblar prou bona.
El problema apareix quan aquesta confiança es manté fins i tot davant de senyals que ens haurien de fer dubtar: coneixem una excepció, detectem una incoherència, tenim un context que probablement el sistema no té o, simplement, alguna cosa no acaba d’encaixar.
I, així i tot, acceptem la recomanació.
Per què confiem en una resposta automàtica fins i tot quan disposem d’informació que ens hauria de portar a qüestionar-la?
Quan la recomanació es converteix en autoritat
Confiar en una eina no és necessàriament un problema. De fet, bona part del valor de l’automatització consisteix precisament a permetre’ns delegar tasques, filtrar informació i prendre decisions amb més rapidesa.
El problema apareix quan aquesta confiança es transforma en una forma d’autoritat.
L’automation bias descriu la nostra tendència a donar un pes excessiu a les recomanacions generades per sistemes automatitzats, fins i tot quan hi ha motius per qüestionar-les. No vol dir simplement que confiem en la tecnologia. Vol dir que, davant d’una discrepància, podem arribar a considerar la resposta del sistema més fiable que el nostre propi judici o que altres evidències disponibles.
Hi ha diversos elements que poden reforçar aquesta percepció. Una interfície neta. Un resultat expressat amb precisió decimal. Una recomanació instantània. Un indicador de confiança del 94%. Un dashboard que presenta una conclusió sense mostrar tota la incertesa que hi ha al darrere.
Tot això transmet una sensació d’objectivitat.
Però l’objectivitat percebuda no és el mateix que la correcció.
Un sistema pot treballar amb dades incompletes, aplicar un model que no representa bé una situació concreta o interpretar correctament un patró que, en aquell context, no és rellevant. La resposta pot estar perfectament calculada i, així i tot, ser la resposta equivocada.
Per això, potser una de les distincions més importants en entorns cada cop més automatitzats és també una de les més senzilles: una resposta pot semblar objectiva sense ser necessàriament correcta.
Pensar costa; acceptar una resposta és més fàcil
Pensar exigeix esforç.
Avaluar una recomanació vol dir revisar dades, comparar alternatives, detectar possibles contradiccions i assumir la responsabilitat d’arribar a una conclusió pròpia. Contradir un sistema, a més, sol requerir una raó: explicar per què creiem que aquella resposta no és l’adequada.
Acceptar la recomanació és molt més senzill.
Quan una eina ens ofereix una resposta tancada, redueix part d’aquesta càrrega cognitiva. Ja no hem de construir una opció des de zero: la podem validar, modificar lleugerament o simplement continuar endavant.
Aquesta eficiència és precisament una de les raons per les quals utilitzem sistemes automatitzats. El problema apareix quan la reducció de l’esforç també canvia la nostra relació amb la decisió.
La transició pot ser gairebé imperceptible: utilitzem una eina per ajudar-nos a pensar i acabem utilitzant la seva resposta en lloc de pensar.
No necessàriament perquè confiem cegament en la tecnologia ni perquè deixem de tenir criteri. Moltes vegades passa per una raó molt més simple: acceptar una resposta plausible és cognitivament més barat que qüestionar-la.
I com més ràpid, còmode i convincent sigui el sistema, menor pot ser l’impuls d’aturar-nos a comprovar si realment hi estem d’acord.
Quan veiem l’error i, així i tot, seguim el sistema
El problema no apareix únicament quan no sabem que el sistema està equivocat.
De vegades passa una cosa més incòmoda: veiem un senyal que no encaixa i, així i tot, continuem endavant.
Tenim una intuïció diferent. Coneixem una excepció. Sabem que falta context. Detectem una incoherència en les dades o una recomanació que no acaba de tenir sentit en aquella situació concreta.
Però la resposta automatitzada continua tenint més pes.
Part d’aquesta força prové de l’autoritat que atribuïm al sistema. Si una recomanació s’ha generat a partir de milers de dades, un model predictiu o una eina que normalment funciona bé, qüestionar-la pot semblar gairebé com qüestionar alguna cosa més sòlida que el nostre propi criteri.
I aquí apareix una tensió important.
El nostre judici sol ser parcial, imperfecte i difícil d’explicar. La resposta del sistema, en canvi, arriba estructurada, quantificada i presentada com una conclusió. Encara que totes dues es puguin equivocar, una d’elles sembla molt més convincent.
Per això, en determinats contextos, no n’hi ha prou amb detectar una anomalia. També necessitem sentir que tenim prou legitimitat per contradir el sistema.
Aquest desplaçament és subtil, però rellevant: el sistema deixa de ser una eina que informa la nostra decisió i comença a convertir-se en la referència davant de la qual hem de justificar qualsevol desacord.
I quan això passa, el risc ja no és només que una màquina s’equivoqui.
És que deixem d’escoltar els senyals que ens deien que podia estar equivocada.
El problema augmenta com millors són les màquines
Pot semblar que l’automation bias és, sobretot, un problema de sistemes poc fiables. Però passa una cosa paradoxal: com més bé funciona una eina, més fàcil és que deixem de vigilar-la.
Si una recomanació encerta una vegada i una altra, aprenem a confiar-hi. I aquesta confiança té sentit. Revisar cada resultat seria ineficient i, en molts casos, innecessari.
El problema apareix quan aquesta confiança es converteix en hàbit.
Si el sistema ha encertat nou vegades, és probable que prestem menys atenció a la desena. No perquè sapiguem que també encertarà, sinó perquè hem deixat d’esperar que pugui fallar.
Aquí sorgeix un risc important: com més fiable és l’automatització, menys ocasions tenim d’exercir el nostre propi judici. Deixem de buscar anomalies, de qüestionar resultats plausibles i, a poc a poc, d’entrenar la capacitat de reconèixer quan ens trobem davant d’una excepció.
I precisament les excepcions són els casos en què més necessitem criteri.
La paradoxa és que una tecnologia millor no elimina necessàriament el risc humà. El pot desplaçar. Ja no consisteix només a interpretar malament la informació, sinó a deixar de mirar perquè el sistema gairebé sempre té raó.
Per això, el repte no és desconfiar de les màquines quan funcionen bé. És evitar que la seva fiabilitat ens faci perdre la capacitat de detectar el moment en què deixen de fer-ho.
No necessitem menys automatització, sinó millor criteri
La resposta a l’automation bias no pot ser tornar a revisar manualment tot el que fa una màquina.
Això anul·laria bona part del valor d’automatitzar.
L’automatització funciona precisament perquè permet reduir càrrega, accelerar decisions i reservar l’atenció per a allò que realment la necessita. El repte no és desconfiar de tots els sistemes, sinó aprendre a distingir quan confiar i quan aturar-nos.
No totes les decisions requereixen el mateix nivell de supervisió. Algunes es poden delegar gairebé del tot. D’altres necessiten una revisió ocasional. I hi ha decisions en què el cost d’equivocar-se és prou alt per exigir intervenció humana.
La qüestió, per tant, no és triar entre humà o màquina.
És decidir què podem delegar, què mereix supervisió, quins senyals haurien d’activar la nostra atenció i en quines situacions una recomanació automàtica ha de ser qüestionada abans de convertir-se en acció.
Això exigeix alguna cosa més que alfabetització tecnològica.
L’habilitat important ja no serà únicament saber utilitzar sistemes intel·ligents, sinó saber quan confiar-hi, quan demanar més context i quan assumir la responsabilitat de dir: aquesta vegada, no.
Conclusió
Durant molt de temps hem intentat construir sistemes que ens ajudin a decidir millor.
Més dades. Millors prediccions. Recomanacions més precises. Automatitzacions capaces de reduir errors, estalviar temps i ajudar-nos a identificar patrons que, d’una altra manera, podrien passar desapercebuts.
Tot això continua tenint valor.
Però a mesura que aquests sistemes milloren, apareix un altre repte: evitar que l’ajuda acabi substituint la nostra capacitat de decidir.
L’automatització ens pot oferir informació, patrons, probabilitats i recomanacions. Pot reduir la incertesa, ordenar la complexitat i fins i tot detectar senyals que nosaltres no veiem.
Però cap d’aquestes coses elimina la necessitat de criteri.
Potser, de fet, passa el contrari.
Com més capaços siguin els sistemes de dir-nos què hem de fer, més important serà conservar la capacitat de preguntar-nos si ho hauríem de fer.
Dubtar no vol dir desconfiar sistemàticament de la tecnologia. Vol dir mantenir oberta la possibilitat que hi hagi un context que el sistema no coneix, una excepció que el model no ha previst o un senyal que mereix ser escoltat abans de continuar endavant.
Perquè el veritable risc no és que les màquines s’equivoquin.
És que arribi un moment en què ja no ens sentim capaços de qüestionar-les.
Quan una màquina i el teu propi criteri no estan d’acord, què necessites per decidir a quin dels dos escoltar?
Fonts:
Comentaris