Quan parlem dels riscos de la intel·ligència artificial, la conversa sovint comença massa lluny de les persones. Hi apareixen paraules enormes: futur, disrupció, amenaça, revolució. Poden servir per obrir un debat, però també poden impedir que vegem una escena concreta. En una oficina municipal d'habitatge, per exemple, una treballadora que es diu Núria obre al matí una llista de missatges sobre lloguers, desnonaments i habitacions compartides. Un sistema nou proposa quines consultes cal atendre primer i redacta una resposta inicial. La pantalla sembla posar ordre al caos. El risc no és que la pantalla sigui misteriosa; és allò que podria passar si una persona amb un termini urgent queda darrere d'un missatge escrit amb menys claredat.
Mirar aquesta escena no obliga a concloure que l'eina sigui inútil. Potser ajuda la Núria a trobar abans casos importants o a alliberar temps per parlar amb qui necessita una explicació. El problema comença quan una millora aparent es converteix en una excusa per no preguntar per les seves conseqüències. Comprendre un risc real vol dir seguir una decisió fins a la vida que toca: quina informació hi entra, quin senyal es considera rellevant, qui pot corregir-lo, què passa si falla i qui assumeix la feina d'arreglar-ho. Aquesta manera de mirar és menys espectacular que una predicció, però molt més útil per decidir.
El risc comença en una situació, no en una etiqueta#
Dir que un sistema té «biaix» o que hi ha un «risc de privacitat» pot ser correcte, però no n'hi ha prou per actuar. La Núria necessita saber alguna cosa més precisa. El sistema interpreta com a menys urgent una consulta curta perquè no reconeix una manera d'escriure? Una família que comparteix telèfon rep missatges que pot llegir una altra persona? La recomanació de prioritat fa que l'equip deixi de mirar el cas complet? Cada pregunta anomena una relació concreta entre una regla i una conseqüència possible. Sense aquesta relació, l'etiqueta es torna tan còmoda com una alarma que mai no diu d'on surt el fum.
Dir que un sistema té «biaix» o que hi ha un «risc de privacitat» pot ser correcte, però no n'hi ha prou per actuar.
Per això convé començar per una petita història que es pugui comprovar. Una persona escriu que ha de deixar el pis en deu dies, però no fa servir la paraula «desnonament». Una altra aporta molts documents i redacta amb vocabulari administratiu, encara que el seu problema pugui esperar. Si el programa premia determinats senyals d'urgència, la llista pot invertir totes dues situacions. No cal afirmar que això passarà sempre. N'hi ha prou de reconèixer que pot passar i que, si passa, el cost no es reparteix d'una manera abstracta: algú pot perdre una cita, una nit de descans o l'oportunitat de rebre orientació a temps.
El llenguatge de les mitjanes pot amagar precisament aquesta diferència. Un tauler pot indicar que el temps mitjà de resposta ha baixat. Aquesta xifra és valuosa, però no respon qui espera més que abans ni quins casos surten perjudicats. Una millora general no esborra una exclusió concreta. La feina responsable consisteix a mirar la distribució: respostes per tipus de consulta, diferències per idioma, casos corregits per l'equip i persones que abandonen el procés perquè no entenen què se'ls demana. Allò que no es mesura no deixa d'existir; senzillament queda fora de la conversa que decideix.
Seguir el recorregut d'una decisió#
La primera pregunta pràctica és quines dades alimenten la recomanació. A l'oficina de la Núria poden ser el text del missatge, la data que s'hi esmenta, el barri, documents adjunts o l'historial de contactes. Cada element té una procedència i un límit. Un barri pot servir per organitzar rutes d'atenció, però també pot convertir-se en una drecera que suposa necessitats sense escoltar qui escriu. L'historial pot revelar que algú ha demanat ajuda diverses vegades; també pot confondre insistència amb gravetat o castigar qui no havia trobat resposta abans.
Després cal preguntar què fa el sistema amb aquestes dades. No n'hi ha prou de respondre que «calcula una prioritat». L'equip ha de poder descriure, amb paraules entenedores, quins senyals influeixen, quins casos queden fora i quines incerteses reconeix el resultat. Si ningú no pot explicar per què una consulta s'ha situat en una posició determinada, costa detectar un error sistemàtic. L'explicació no ha de revelar secrets comercials ni convertir-se en un manual tècnic. Ha de permetre una conversa competent: què sabem, què no sabem i quina decisió humana encara queda pendent.
La tercera pregunta és qui actua. En moltes implantacions es diu que hi ha «supervisió humana» perquè una persona pot prémer un botó al final. Això és insuficient si rep cent recomanacions en una hora, no coneix els criteris o no disposa de temps per llegir el context. La supervisió només és real quan inclou capacitat d'aturar el procés, modificar una prioritat, registrar-ne el motiu i rebre suport per fer-ho. Demanar a la Núria que contradigui una pantalla sense donar-li temps ni autoritat converteix la responsabilitat en una càrrega individual, no en una garantia institucional.
També cal seguir el dany fins a la reparació. Si una consulta urgent es va classificar tard, qui descobreix el problema? La persona afectada pot trucar a algú que entengui el seu cas? L'equip corregeix només aquell expedient o revisa les regles que van causar l'error? Un procediment que es limita a demanar disculpes pot alleujar un moment, però no aprèn. Un procediment que conserva exemples de fallades, identifica patrons i canvia la pràctica protegeix la persona següent. Retre comptes no consisteix a trobar culpables de pressa; consisteix a tenir una ruta per reconèixer, limitar i reparar un dany.
Distingir allò molest d'allò greu#
No tots els errors requereixen la mateixa resposta. Que un esborrany contingui una frase poc elegant no s'assembla a retardar orientació sobre un habitatge. Aquesta diferència hauria de guiar el disseny abans que l'eina s'utilitzi a gran escala. Una regla senzilla és valorar la gravetat, la reversibilitat i la possibilitat que la persona afectada es pugui defensar. Si el resultat pot canviar ingressos, salut, habitatge, seguretat o accés a un dret, la precaució ha d'augmentar. La promesa d'estalviar minuts no equival al permís de traslladar el risc a qui té menys marge.
La reversibilitat mereix una atenció especial. Un missatge incorrecte potser es corregeix amb un altre missatge. Una plaça perduda, una cita que caduca o una família que deixa de demanar ajuda perquè se sent ignorada poden no recuperar-se amb tanta facilitat. Per això una prova responsable no comença pels casos més delicats. Pot començar amb tasques de baix impacte, amb un període limitat i amb una via clara per tornar enrere. Provar no significa deixar anar una eina i observar de lluny; significa crear condicions per aprendre sense convertir les persones en material d'assaig.
L'escala canvia també el tipus de dany. Un error aïllat es pot resoldre amb una conversa entre dues persones. Una regla aplicada milers de vegades exigeix registres, auditoria i una decisió organitzativa. És important no confondre la repetició amb la normalitat. Que una resposta errònia es produeixi de manera automàtica no la fa menys important; pot fer-la més difícil de detectar perquè ningú no sent que hagi pres la decisió completa. Justament per això els equips necessiten aturar-se a revisar mostres de casos i no dependre només dels indicadors que produeix la mateixa eina.
Dissenyar controls que serveixin en un dia difícil#
Un control útil ha de funcionar també un dilluns amb trucades acumulades. Per a la Núria, això podria voler dir que les recomanacions mostrin una raó breu i una marca visible d'incertesa; que determinats termes o circumstàncies obliguin a una revisió humana; i que existeixi una cua alternativa per als missatges que el sistema no entén bé. No són ornaments burocràtics. Són maneres d'impedir que la rapidesa tanqui la porta al dubte quan el dubte importa.
L'equip pot acordar una mostra setmanal d'expedients: alguns atesos de pressa, d'altres endarrerits, d'altres modificats per una persona. Revisar-los plegats permet descobrir preguntes que cap informe automàtic no formularà: si el to d'una resposta va desanimar algú, si una traducció va canviar una condició o si una regla està empenyent sempre els mateixos casos cap al final. La revisió guanya valor quan hi participen les persones que fan la feina diària i, quan sigui possible, persones que coneixen l'experiència de demanar ajuda. Cap mètrica no substitueix completament una conversa sobre allò que ha passat.
Convé, a més, donar data de caducitat a l'eina i a les seves regles. Els missatges que arriben, el context legal, el personal disponible i les necessitats del barri canvien. Una decisió adoptada per sis mesos pot convertir-se en infraestructura permanent per simple cansament. Fixar una revisió amb preguntes concretes —quin benefici s'ha comprovat, quin dany ha aparegut, quins grups han quedat pitjor atesos i quina alternativa menys invasiva existeix— evita que allò provisional es torni intocable. Mantenir la possibilitat de dir «no continua» és una part essencial de l'autonomia col·lectiva.
La millor pregunta no és si la IA és bona o dolenta#
Al final de la jornada, la Núria no necessita una teoria perfecta sobre la intel·ligència artificial. Necessita saber si el sistema l'ajuda a atendre millor sense amagar qui necessita més temps, si pot discutir una recomanació i si una persona té una via digna per demanar revisió. Aquestes preguntes canvien el debat perquè desplacen l'atenció de la fascinació per l'eina cap a les condicions d'una relació justa.
Entendre riscos reals no significa viure amb por ni rebutjar per principi tota automatització. Significa negar-se a anomenar inevitable una decisió que encara es pot dissenyar d'una altra manera. Una tecnologia pot donar suport a la feina humana quan conserva context, permet corregir i reparteix honestament les responsabilitats. Pot perjudicar-la quan converteix la complexitat d'una vida en un senyal que ningú no té temps de qüestionar. El criteri no és en la promesa de la pantalla, sinó en la capacitat de les persones per intervenir quan aquella promesa no arriba.
