Supervisar una resposta automàtica exigeix poder-hi intervenir. No n'hi ha prou que una persona miri un tauler, rebi alertes o aparegui al final d'un procés. Si no pot aturar un resultat perjudicial, corregir la informació que l'ha produït i comunicar la reparació, la supervisió és decorativa. La intel·ligència artificial quotidiana necessita límits operatius visibles abans de necessitar discursos sobre confiança.

Una resposta automàtica pot orientar una cita, resumir una sol·licitud, prioritzar un avís o redactar un missatge. En qualsevol d'aquests usos, una errada pot fer perdre temps, amagar una alternativa o transformar una sospita en una conclusió. El risc no depèn només que hi hagi una decisió formal: també compta la influència pràctica d'una recomanació que sembla definitiva.

Supervisar vol dir tenir una palanca real#

La supervisió humana sovint es descriu com una persona “dins del circuit”. Aquesta imatge és insuficient. Hi ha supervisió quan es coneixen la finalitat i els límits de l'eina, es pot consultar l'evidència rellevant, es disposa de temps per revisar i existeix autoritat per modificar o aturar la sortida. Una signatura posterior, sense accés a les dades ni possibilitat de canvi, no protegeix ningú.

La supervisió humana sovint es descriu com una persona “dins del circuit”. Aquesta imatge és insuficient.

Abans de posar el sistema en servei convé acordar quatre accions: pausar una resposta concreta, desconnectar una funció quan aparegui un patró, corregir la informació lliurada i avisar qui hagi pogut actuar a partir de l'error. Cada acció necessita una persona responsable, un canal d'activació i un registre proporcionat. No es tracta de vigilar converses privades, sinó de reconstruir què va fer el servei quan algú demana una explicació.

El marc de gestió de riscos d'IA del NIST proposa governar, mapar, mesurar i gestionar riscos de manera contínua. Els Principis d'IA de l'OCDE reclamen transparència, solidesa i responsabilitat. Ambdues referències institucionals porten a una pregunta quotidiana: qui té la facultat de dir “això s'atura ara” i què passa durant la pausa? Si la resposta no cap en un procediment breu, l'eina encara no està preparada per afectar altres persones.

Abans d'automatitzar cal dissenyar la sortida.

Un botó d'ajuda no equival a una via de recurs. Una sortida útil indica que la resposta ha estat generada o assistida per un sistema, explica quina part pot ser incorrecta, ofereix contacte humà i aclareix si hi ha un termini. També ha de servir a qui té dificultats de lectura, usa el telèfon, necessita una altra llengua o no confia en una pantalla. L'alternativa humana no pot ser un càstig en forma d'espera interminable.

La documentació mínima ha d'incloure versió, finalitat, fonts permeses, destinataris, llindars de pausa i canvis realitzats. Quan intervenen dades personals, s'apliquen minimització, seguretat i drets d'accés i rectificació; una incidència no ha de servir per reunir més informació de la necessària. El Reglament General de Protecció de Dades i les orientacions de les autoritats de protecció de dades recorden que una explicació comprensible forma part del tracte just.

També és essencial separar suggeriment, classificació i decisió. Un assistent que redacta una resposta no decideix una prestació; un filtre que ordena expedients pot, tanmateix, alterar quin cas es revisa primer. Anomenar aquesta diferència evita que una interfície transformi una recomanació estadística en una ordre aparentment objectiva. La Llei d'Intel·ligència Artificial de la Unió Europea reforça un enfocament basat en risc i obliga a pensar en informació, supervisió i mitigació segons el context.

Les fonts i els contractes també formen part de la supervisió. Qui adquireix un servei ha de poder saber quina versió era activa, quins canvis ha introduït el proveïdor i com exportar els registres necessaris per a una revisió. Una clàusula que impedeix examinar el funcionament, o que deixa la correcció enterament en mans del proveïdor, fa impossible respondre de pressa davant d'un problema. El proveïdor pot aportar coneixement tècnic; l'organització que posa l'eina davant del públic no pot traslladar-li del tot el seu deure de cura.

Convé assajar el procediment abans que hi hagi una incidència. Un exercici breu pot simular una resposta equivocada: qui la detecta, qui decideix la pausa, quins missatges es retiren, quin canal humà rep les consultes i com s'informa les persones afectades. L'assaig descobreix dependències molt concretes, com un compte compartit, una autorització que només té una persona absent o un telèfon que no figura en cap pàgina. Resoldre-les abans redueix tant el temps de reacció com la temptació d'improvisar.

La proporcionalitat importa. No tota incoherència obliga a apagar un servei complet, però tot senyal ha de tenir una ruta clara. Pot ser suficient bloquejar una plantilla, afegir un avís temporal o derivar una categoria a revisió humana. En canvi, si l'error afecta seguretat, salut, accés a drets o grups que ja troben barreres, la pausa ha de ser més àmplia i prudent. Definir aquests nivells amb antelació permet actuar sense discutir primer si el dany mereix atenció.

Cas primer: la cita sanitària que no va arribar#

Un centre de salut va utilitzar un sistema per respondre preguntes freqüents i recordar cites. Diverses persones van rebre una frase segura: “no cal atenció addicional”. La frase s'havia generat a partir d'un formulari incomplet i es va interpretar com a consell clínic. Ningú no havia autoritzat una decisió mèdica, però algunes persones van deixar de trucar al centre. La conseqüència va ser real encara que el sistema només pretenia orientar.

La mesura responsable va ser pausar de seguida les respostes sobre símptomes, conservar una mostra limitada de converses amb garanties de privacitat i revisar quins missatges s'havien enviat. El centre va publicar un avís clar, va contactar per vies segures amb qui podia estar afectat i va restaurar l'accés directe a personal sanitari. Després va canviar el disseny: les preguntes clíniques es redirigien a un professional, l'assistent mostrava límits visibles i tota resposta ambigua activava revisió.

El cas mostra que aturar no és admetre una culpa abstracta. És evitar que un dubte es converteixi en dany mentre s'investiga. També mostra que corregir no és editar una base de dades en silenci: implica arribar, en la mesura possible, a les persones que van rebre informació errònia. Una correcció publicada només en una pàgina secundària no repara un missatge que ha circulat per SMS o correu.

Cas segon: la beca i el resum incomplet#

Una universitat va incorporar una eina per resumir sol·licituds de beca abans de la revisió administrativa. En diversos resums faltava la referència a un document de cures familiars adjunt a l'expedient. El personal, sotmès a terminis, tendia a llegir el resum abans que l'arxiu complet. L'eina no rebutjava sol·licituds, però la seva omissió podia afectar el judici posterior.

La supervisió útil va consistir a aturar l'ús de resums per a expedients en curs, revisar una mostra de decisions anteriors i tornar l'expedient complet a la posició de font principal. Es va crear una regla simple: cap resum no podia ocultar documents, i tota absència rellevant s'havia d'assenyalar com a incertesa, no com a inexistència. Es va oferir una revisió sense cost a les persones afectades i es van registrar les correccions per avaluar si el problema reapareixia.

La lliçó no és que tot resum sigui inacceptable. És que la comoditat d'una síntesi no pot desplaçar l'obligació d'atendre circumstàncies que canvien una decisió. L'equitat es protegeix quan la persona revisora pot comparar, preguntar i apartar-se de la sortida automàtica sense haver de justificar una excepció impossible davant d'un sistema opac.

Cas tercer: l'assistent municipal i el termini perdut#

Un ajuntament va provar un assistent per orientar sobre ajuts d'habitatge. Quan una pregunta incloïa una adreça incompleta, el sistema indicava un requisit equivocat i ometia el termini correcte. La resposta era educada i semblava precisa; per això algunes persones van deixar de demanar aclariment. L'error no denegava automàticament cap ajut, però podia fer que una sol·licitud es presentés tard.

L'ajuntament va retirar aquella funció, va afegir una via telefònica visible i va revisar les preguntes que portaven a instruccions inconsistents. Les respostes corregides incloïen data, enllaç oficial i una frase inequívoca: l'assistent no tramita ni decideix sol·licituds. A més, es va habilitar una revisió de terminis quan l'error del servei hagués contribuït al retard. Aquesta mesura reconeix que una institució manté responsabilitat per l'orientació que ofereix, encara que la frase hagi estat produïda per programari.

En els tres casos, el senyal de qualitat va ser el mateix: algú tenia autoritat i recursos per aturar, investigar, corregir i reparar. Un protocol sense personal, temps o pressupost produeix una promesa buida. Per això la compra d'una eina ha d'incloure el cost del manteniment, de l'atenció a incidències i de l'accessibilitat de les alternatives.

Corregir ha de deixar un aprenentatge comprovable#

Després d'una incidència convé descriure en llenguatge senzill què ha passat, quina informació s'ha revisat, què s'ha canviat i com es comprovarà el resultat. No cal revelar dades personals ni detalls que facilitin un abús. Sí que cal evitar el silenci tècnic que obliga les persones afectades a repetir la seva història. Una nota amb data, responsable i control següent permet distingir una millora real d'una promesa genèrica.

La revisió periòdica pot mesurar respostes aturades, errors corregits, temps d'atenció humana, accessibilitat dels canals i repetició de fallades. Aquestes mètriques no substitueixen l'escolta: un nombre baix de queixes pot significar que el canal és difícil de trobar. És útil demanar a persones alienes al projecte si entenen que parlen amb una màquina, què poden fer si la resposta falla i qui la pot canviar.

Supervisar no és defensar l'automatització a qualsevol preu ni esperar una perfecció impossible. És conservar la capacitat de retornar una decisió a mans humanes quan falten dades, apareix una excepció o una persona explica un dany. Una resposta automàtica mereix confiança raonable quan el seu límit és visible i quan aturar-la, corregir-la i aprendre'n és una pràctica normal, no una crisi excepcional.