Un dilluns al matí, la Núria va obrir el tauler que la seva associació feia servir per ordenar sol·licituds de suport. L’eina havia situat als últims llocs tres famílies que l’equip coneixia prou bé. Una acabava de canviar de domicili i una altra havia enviat un document amb un nom de fitxer estrany. El sistema no entenia aquestes circumstàncies: només veia camps incomplets i assignava una puntuació baixa. La dificultat no era una avaria espectacular ni una conspiració. Era més incòmoda i habitual: una recomanació automàtica semblava raonable, però podia desviar temps, ajudes i atenció de persones que els necessitaven.
En situacions així, la reacció més útil no és discutir amb una pantalla ni acceptar-ne l’ordre com una sentència. Cal un pla petit que transformi el sobresalt en una resposta verificable. Cinc passos poden protegir les persones que reben la decisió, protegir l’equip de la improvisació i deixar un aprenentatge per a la vegada següent. El pla no exigeix saber programar. Exigeix calma per no amplificar l’error, seguretat per reconèixer quan cal aturar-se i acció per corregir allò que tenim al nostre abast.
1. Aturar la conseqüència, no només la conversa#
El primer pas és identificar què passarà si ningú intervé durant les hores o els dies següents. S’enviarà la llista? Algú perdrà una cita, un termini, una oportunitat de feina o una ajuda? El suggeriment porta una persona a un lloc insegur? Segons la resposta, cal posar una pausa proporcionada. No totes les recomanacions obliguen a apagar tota una eina; algunes demanen retirar una notificació, revisar una mostra petita o impedir que una classificació es converteixi en una decisió definitiva.
El primer pas és identificar què passarà si ningú intervé durant les hores o els dies següents.
La Núria no va esborrar la llista ni va acusar qui havia configurat el tauler. Va marcar les sol·licituds com a “pendents de revisió humana” i va avisar l’equip que encara no enviés respostes automàtiques. Aquella mesura tenia un avantatge concret: conservava l’evidència del que havia proposat el sistema i evitava que el dany es multipliqués. Aturar una conseqüència és diferent d’aturar tota la feina. És crear un marge per pensar sense deixar que la rapidesa guanyi per inèrcia.
En aquell moment convé anotar tres dades senzilles: l’hora, la sortida rebuda i l’acció que s’havia de desencadenar. Una captura o una exportació mínima poden ser suficients, sempre que no s’acumuli informació personal innecessària. L’objectiu no és construir un expedient sobre persones usuàries, sinó conservar el context per poder explicar després què ha passat. Si hi ha dades sensibles, el registre s’ha de guardar pels canals autoritzats i amb accés limitat.
2. Anomenar el risc amb una frase concreta#
La segona etapa és formular el problema sense tecnicismes i sense culpar. “El rànquing pot retardar suports a famílies que han canviat recentment de domicili” és més útil que “l’algorisme té biaix” si encara no se’n coneix la causa. Una frase clara obliga a separar el fet observat de la hipòtesi. També permet preguntar qui hi està exposat i quina mesura mínima redueix el risc.
Aquest pas canvia molt la qualitat de la conversa. Si l’equip diu només que “la IA s’ha equivocat”, potser cadascú imagina un problema diferent. Si diu que “tres expedients han quedat avall perquè falta una confirmació recent de domicili”, poden decidir què comprovar i qui ha de rebre una trucada. Anomenar el risc inclou admetre els límits de la informació disponible: potser el canvi d’adreça és rellevant, potser no; encara cal verificar-ho.
Una guia pràctica és classificar l’impacte en tres nivells. En el nivell baix, la recomanació afecta la comoditat o el descobriment, com una cançó o una pel·lícula. En el nivell mitjà, altera temps, diners limitats o accés a un servei, com una ruta, una llista de compra o una prioritat administrativa. En el nivell alt, pot afectar drets, salut, seguretat, educació, feina o ajudes. Com més alt sigui el nivell, menys acceptable és tractar la sortida automàtica com una resposta final i més necessària és una revisió individual abans d’actuar.
3. Reobrir les entrades i buscar allò que el sistema no veu#
Una recomanació s’alimenta de dades, regles i supòsits. El tercer pas és revisar aquestes entrades amb una pregunta senzilla: quina informació rellevant falta, està desactualitzada o s’està interpretant fora de context? No cal inspeccionar tot el sistema. Es pot començar pels casos afectats i per la dada que sembla explicar el resultat.
A l’associació de la Núria, el formulari permetia actualitzar una adreça, però el rànquing trigava uns dies a incorporar el canvi. A més, el sistema tractava una casella buida com si fos una resposta negativa. L’equip va confirmar les dues coses amb la persona responsable de l’eina. No va necessitar veure el codi: va comparar la data d’actualització, va revisar el formulari i va preguntar com es resolien els camps incomplets. Aquest recorregut va revelar una causa corregible i, sobretot, va evitar inventar explicacions sobre les famílies.
Reobrir les entrades també protegeix la privacitat. Abans de demanar més dades, convé decidir quines són realment necessàries per corregir la situació. No s’han de sol·licitar històries clíniques, missatges privats o documents sencers quan n’hi ha prou amb una confirmació breu. Si l’eina externa rep informació, l’equip ha de comprovar quins permisos té, on es desa i qui la pot veure. Demanar “tot per si de cas” augmenta el risc i després dificulta distingir l’essencial de l’accessori.
Una segona mirada independent és especialment valuosa. Pot ser una font pública, una persona que coneix el procés o una comparació amb una llista manual. En un institut, per exemple, una recomanació de recursos d’estudi es pot contrastar amb les necessitats declarades per l’alumnat i amb materials accessibles que no apareixen per popularitat. La independència no intenta demostrar que el sistema falli sempre; serveix per descobrir quan un únic senyal ocupa massa espai.
4. Decidir i reparar amb una persona responsable#
El quart pas retorna la decisió a algú identificable. Hi ha d’haver una persona o un equip que pugui dir: “hem revisat aquesta recomanació, adoptem aquesta alternativa i n’explicarem el motiu”. La responsabilitat no vol dir assumir culpa per cada fallada tècnica; vol dir no amagar l’acció humana darrere d’una puntuació. Quan una decisió importa, una persona ha de poder corregir-la, escoltar informació nova i respondre preguntes.
La Núria i dues companyes van revisar els expedients amb una llista breu: dades confirmades, informació pendent, risc de retard i contacte següent. Van reordenar les tres sol·licituds, van avisar les famílies que els seus casos estaven en revisió i van assignar una resposta provisional. No van prometre que el sistema seria perfecte a partir d’aleshores. Van oferir un canal perquè qualsevol persona pogués assenyalar si una recomanació no encaixava amb la seva situació. Aquesta possibilitat de recurs és una mesura de seguretat, no un gest decoratiu.
La reparació ha de ser proporcionada i útil per a qui ha patit l’efecte. De vegades serà corregir una data; d’altres, retirar un suggeriment, recuperar un termini, oferir ajuda per completar un tràmit o explicar clarament com demanar una segona revisió. El més important és no obligar la persona afectada a demostrar una vegada i una altra un error que no ha creat. En una plataforma de feina, per exemple, si un filtre amaga opcions compatibles amb una necessitat d’accessibilitat, no n’hi ha prou de dir que ajusti millor el perfil: cal revisar el filtre, fer visibles alternatives i oferir una via humana de suport.
5. Convertir la incidència en una prova per a demà#
El cinquè pas evita que la reparació quedi com una anècdota. Després de resoldre el cas, l’equip ha d’escollir una millora petita que es pugui comprovar: actualitzar les dades abans de puntuar, distingir “dada desconeguda” de “dada negativa”, revisar cada setmana una mostra de casos baixos o afegir una alerta quan un canvi recent no arriba al rànquing. Cada millora necessita una persona responsable i una data de revisió. Sense aquestes dues coses, les bones intencions s’evaporen quan torna la urgència quotidiana.
A l’associació, es va afegir una regla temporal: cap sol·licitud amb canvi de domicili en els últims set dies no es tancaria automàticament. Durant un mes, dues persones van comparar una mostra de resultats amb la revisió manual. Van descobrir que no tots els casos requerien intervenció, però sí uns quants que abans haurien quedat avall. L’aprenentatge no va ser “no utilitzem algorismes”. Va ser definir per a què podien ajudar —ordenar tasques repetitives— i quan havien de cedir el pas —quan faltava context o l’impacte era alt.
També val la pena explicar el canvi amb un llenguatge que les persones puguin discutir. “La llista fa servir informació actualitzada cada nit i els canvis recents passen a revisió” és millor que una promesa vaga de “millores intel·ligents”. Una explicació comprensible permet detectar incidències noves, demanar ajuda a temps i saber què fer si el resultat sembla injust. No revela secrets tècnics ni exigeix entendre estadístiques; ofereix una porta clara per intervenir.
Un pla que cuida el ritme i els drets#
Les dificultats amb recomanacions automàtiques solen aparèixer en moments de pressa: quan hi ha moltes sol·licituds, poc personal o una decisió aparentment petita. Precisament per això convé tenir el pla abans de necessitar-lo. Aturar la conseqüència, anomenar el risc, reobrir les entrades, decidir amb responsabilitat i provar una millora converteixen la calma en una pràctica concreta.
La pròxima vegada que una llista, una alerta o una puntuació no encaixi amb la realitat, es pot fer una pregunta inicial: “Quina decisió està a punt de prendre aquesta recomanació per nosaltres?” Si la resposta afecta algú de manera rellevant, el gest següent és senzill: pausar, comprovar i retornar la possibilitat de corregir. Aquesta seqüència no fa desaparèixer tots els errors, però impedeix que la comoditat es converteixi en abandonament del judici. I deixa un sistema una mica més segur per a la persona que arribi després.
