Hi ha una frase que apareix amb massa facilitat quan una decisió automatitzada surt malament: «ho va decidir el sistema». Sembla una explicació, però en realitat és una renúncia. Un sistema no compareix davant d'una família, no repara una oportunitat perduda i no decideix quin error és acceptable. Aquestes responsabilitats pertanyen a les persones i organitzacions que ho posen en funcionament.
La intel·ligència artificial pot intervenir en moltes fases del procés. Podeu ordenar informació, identificar patrons i suggerir una resposta. Com més gran sigui l'efecte sobre la vida d'algú, més clar ha de quedar qui n'autoritza l'ús, qui revisa el resultat i qui respon quan la recomanació falla.
La responsabilitat comença abans de l'error
Respondre no consisteix únicament a atendre una reclamació. Comença en definir el problema que es vol resoldre. Si l'objectiu està mal plantejat, una eina eficient pot produir amb rapidesa el resultat equivocat. Per això algú ha de justificar perquè s'automatitza aquesta tasca i quines alternatives s'han considerat.
Una organització responsable pot explicar què delega i què conserva sota control humà. Aquesta frontera ha d'estar escrita abans de la implantació. No es pot improvisar quan apareix el primer cas difícil ni dependre que una persona concreta recordi com funcionava el procés.
També hi ha responsabilitat a l'elecció del proveïdor. Contractar un servei no trasllada totes les obligacions. L'organització segueix decidint quines dades introdueix, en quin context fa servir la sortida i quines conseqüències permet que tingui. Ha d'exigir prou informació per avaluar límits, seguretat i possibilitats de correcció.
Un pilot responsable defineix criteris de parada. Si augmenta la càrrega de revisió, apareixen resultats desiguals o ningú no pot explicar una recomanació important, continuar no ha de ser l'opció automàtica. Aturar una prova a temps és un senyal de criteri, no pas un fracàs d'innovació.
Revisar significa poder canviar el resultat
Moltes polítiques parlen de supervisió humana, però no tota revisió és real. Si la persona revisora disposa de pocs segons, rep centenars d'alertes o és penalitzada per apartar-se de la recomanació, la presència és simbòlica. Confirmar sistemàticament allò que proposa una pantalla no és exercir judici.
La revisió necessita temps, informació i autoritat per corregir. Qui revisa ha de conèixer el context, entendre les limitacions del sistema i demanar dades addicionals. També heu de registrar per què es va apartar d'una sortida perquè l'organització aprengui d'aquests casos.
L´explicació a la persona afectada forma part d´aquest procés. No cal revelar secrets tècnics ni descriure un model matemàtic. Cal comunicar quins factors van influir, quina informació es va utilitzar i quins passos hi ha per plantejar una objecció. Una explicació que no permet actuar només és una formalitat.
Quan hi ha un error, la reparació ha de mirar les conseqüències. Corregir un registre intern pot ser insuficient si la decisió ja va tancar una oportunitat, va difondre informació equivocada o va generar un perjudici. L'organització ha de localitzar els que van ser afectats i restaurar, tant com sigui possible, la situació.
Construir una cadena de responsabilitats
Els projectes tecnològics solen involucrar direcció, equips tècnics, proveïdors, personal datenció i responsables legals. Si cada part suposa que una altra s'ocupa dels riscos, hi apareix una zona de ningú. Convé assignar responsables concrets per a dades, revisió, incidències i comunicació.
La responsabilitat compartida funciona quan cada obligació té nom, recursos i terminis. Un document de governança pot ser breu, però ha de respondre qui decideix, qui vigila, qui atén i qui pot aturar. També cal revisar-la quan canvien l'ús o l'eina.
Enregistrar incidències permet detectar patrons. Un error aïllat pot ser una excepció; diversos errors semblants revelen un problema de disseny, dades o procediment. Analitzar-los sense cercar culpables immediats ajuda a corregir la causa i no només el cas visible.
La formació completa la cadena. Els qui usen una eina necessiten conèixer no només les seves funcions, sinó també els límits i les situacions en què han de demanar ajuda. Presentar-la com a infal·lible debilita la supervisió; explicar amb exemples on s'equivoca enforteix el criteri professional.
Delegar una tasca pot ser assenyat; delegar l'obligació de respondre per les conseqüències mai no ho és.
La confiança en la intel·ligència artificial no es construeix prometent absència derrors. Es construeix demostrant que hi ha una organització capaç de detectar, explicar i reparar. Aquesta capacitat ha de ser present des del primer disseny fins a la darrera atenció.
Quan la responsabilitat és clara, la tecnologia pot ocupar un lloc útil sense convertir-se en excusa. Ajuda a treballar, però no esborra qui decideix. Amplia capacitats, però conserva una porta humana per a qui necessita ser escoltat.
La cadena també ha d'incloure la conservació d'evidències. Si una decisió pot ser impugnada, cal guardar quina versió de l'eina es va utilitzar, quina informació va rebre i quina revisió es va fer. Sense aquest rastre, explicar mesos després el que ha passat es torna impossible.
Aquesta traçabilitat necessita límits de privadesa. No es tracta d'emmagatzemar indefinidament totes les dades, sinó de conservar allò imprescindible durant un termini justificat i protegir-lo davant d'usos secundaris. Responsabilitat i minimització de dades s'han de dissenyar juntes.
Convé assajar el procediment d'incidències abans de necessitar-ho. Un exercici amb un cas fictici revela si l'equip sap a qui avisar, quant triga a respondre i quina informació falta. És més barat descobrir aquestes llacunes en una simulació que durant una situació real.
La direcció té una obligació especial: assegurar que els responsables compten amb independència suficient per aturar o modificar el sistema. Si corregir un problema amenaça objectius comercials o reputacionals, la governança ha d'impedir que la pressió silenciï l'advertiment.
Finalment, les persones afectades haurien de conèixer els compromisos bàsics de l'organització. Publicar de forma clara quins usos es fan, quins límits hi ha i com reclamar converteix la responsabilitat en alguna cosa comprovable. La confiança millora quan no depèn d'una promesa abstracta, sinó de procediments visibles.
