El dia de la presentació tot funciona. La pantalla és neta, el proveïdor respon en minuts i la direcció celebra que un sistema assignarà torns, filtrarà candidatures o assenyalarà absències més de pressa. Sis mesos després canvia la plantilla, apareix una excepció que ningú no va provar i la persona que va impulsar el projecte marxa. Aquí comença la feina de debò. Una automatització laboral no és una compra que queda acabada: és una decisió organitzativa que envelleix, aprèn de dades canviants i pot afectar el sou, el temps i les oportunitats de persones concretes.

El cost ocult després de l’estrena#

Imaginem un sistema que proposa torns per a una botiga. Durant el pilot hi havia vint empleats amb contractes semblants. Quan se n’amplia l’ús apareixen reduccions de jornada, permisos, estudiants, cures familiars i dos centres amb horaris diferents. L’indicador de cobertura continua sent bo, però augmenten els canvis tardans. L’eina no està “trencada” en sentit informàtic: fa allò que es va configurar. El problema és que l’objectiu inicial ja no descriu tota la realitat. Mesurar només rapidesa o estalvi pot amagar cansament, reclamacions, hores administratives i arranjaments informals que absorbeixen altres persones.

Imaginem un sistema que proposa torns per a una botiga. Durant el pilot hi havia vint empleats amb contractes semblants.

Després de l’entusiasme solen quedar quatre tasques sense responsable: comprovar si el resultat continua sent correcte, actualitzar dades i regles, atendre excepcions i decidir quan cal aturar el sistema. Si ningú no té autoritat i temps per fer-les, l’automatització es manté per inèrcia. El proveïdor corregeix fallades tècniques, Recursos Humans gestiona queixes individuals i tecnologia vigila servidors, però ningú no reuneix la història completa. Ser “propietari” no vol dir ser culpable de tot; vol dir poder convocar les àrees necessàries, accedir a proves i ordenar una correcció o una pausa.

Un inventari que respongui preguntes humanes#

La fitxa operativa ha de cabre en dues pàgines i respondre preguntes senzilles: quina decisió ajuda a prendre, quines persones afecta, quines dades utilitza, qui valida el resultat, quant temps es conserva la informació i com es reclama. També ha de registrar versió, proveïdor, data de la darrera prova i dependència d’altres sistemes. Un diagrama enorme no substitueix aquestes dades. Si un comandament no pot explicar si la puntuació recomana o decideix, el treballador tampoc no podrà saber a qui aportar un context que el sistema desconeix.

Convé separar el propòsit declarat dels usos reals. Una eina comprada per planificar demanda pot acabar servint per mesurar rendiment individual; una aplicació d’accés pot utilitzar-se per inferir puntualitat; un filtre de currículums es pot reutilitzar en promocions internes. Cada ús nou canvia el risc i exigeix una avaluació pròpia. L’inventari ha de permetre que empleats i representants comuniquin usos no previstos. La pregunta mensual no és només “està disponible?”, sinó “s’està utilitzant per a una cosa que no vam autoritzar ni explicar?”.

Què cal vigilar sense convertir-ho tot en una mètrica#

Un quadre de seguiment útil combina rendiment tècnic, impacte laboral i funcionament del recurs. En torns pot incloure canvis amb poc preavís, descansos insuficients, distribució per tipus de contracte i sol·licituds de revisió. En selecció: candidats descartats, diferències entre grups, falsos negatius detectats en mostres i temps fins a la revisió humana. En absentisme: alertes confirmades, errors, context mèdic demanat indegudament i decisions revocades. Les mitjanes no són suficients; un resultat global estable pot amagar deteriorament en un centre o grup petit.

Les mètriques necessiten llindars i una resposta pactada. Si només s’observa una gràfica, ningú no sap quan intervenir. La fitxa pot establir: amb dos incidents greus se suspèn la decisió automàtica; amb un augment sostingut de reclamacions es revisen dades i regles; davant un canvi de proveïdor es repeteixen proves; cada trimestre s’analitza una mostra aleatòria. Els llindars no han de convertir-se en permís per ignorar allò que queda just per sota. Una queixa ben documentada pot revelar un dany que l’indicador agregat no detecta.

L’excepció és informació, no soroll#

Qui opera el sistema acostuma a descobrir primer els seus límits. Si una supervisora corregeix manualment tots els torns de famílies monoparentals, aquesta tasca no és una raresa que s’hagi d’amagar: indica que falta una variable o una regla. Cal registrar l’excepció sense recollir més dades íntimes de les necessàries: quin resultat es va proposar, què es va corregir, per què, qui va autoritzar el canvi i si el patró es repeteix. Castigar l’equip per “baixar l’automatització” incentiva que accepti mals resultats per protegir la xifra.

La via manual ha de ser practicable. No n’hi ha prou de dir que una persona revisa si aquesta persona rep centenars de casos, no té informació o només pot confirmar la proposta. Una revisió real disposa de temps, criteris, formació i capacitat de canviar el resultat. La persona afectada necessita saber què ha d’aportar i quan rebrà resposta. En decisions urgents, com un torn de l’endemà, un recurs de trenta dies és inútil: cal una mesura provisional que eviti que el dany es produeixi abans de revisar.

El proveïdor ajuda, però la responsabilitat continua#

Un contracte ha de preveure manteniment, incidents, canvis de model, exportació de registres i sortida. L’organització necessita saber amb quant d’avís canviarà una funció, quines proves lliura el proveïdor i què passa si el servei s’acaba. També ha de poder conservar les proves necessàries per explicar una decisió sense guardar dades indefinidament. Un compromís de disponibilitat del 99,9 % no diu res sobre justícia, exactitud contextual o reclamacions. El contracte tècnic i el procediment laboral s’han de trobar.

Les actualitzacions silencioses són especialment delicades. Una versió nova pot alterar puntuacions encara que la interfície sembli igual. Abans d’activar-la convé comparar resultats amb una mostra representativa, documentar diferències i comprovar casos límit. Si el sistema incorpora un model extern, també se’n registren els canvis rellevants. No es tracta de congelar la innovació, sinó d’impedir que una decisió laboral material canviï sense que ningú ho adverteixi. Quan no és possible avaluar una actualització, l’organització ha de conservar una alternativa segura.

Pressupost i competència per cuidar allò desplegat#

El manteniment no pot dependre d’hores sobrants. El pressupost anual ha de cobrir proves, formació, atenció d’incidències, revisió jurídica i substitució. La persona responsable necessita un suplent i un calendari. Quan canvia de lloc, hi ha d’haver una transferència: accessos, decisions pendents, riscos coneguts, contactes i pròxima revisió. Molts sistemes es tornen opacs no pas per una tecnologia misteriosa, sinó perquè el coneixement va quedar en correus d’algú que ja no hi treballa.

La formació també caduca. Qui valida resultats ha de reconèixer límits, biaixos de dades i senyals de fallada, però també entendre el procés laboral. Un tècnic pot detectar una caiguda de precisió i no saber que un canvi de conveni fa injusta una regla. Un responsable laboral pot entendre el context i no advertir una deriva estadística. La revisió necessita totes dues mirades i l’experiència dels qui reben les decisions. Escoltar usuaris no és una enquesta cerimonial: els seus exemples han de poder produir canvis registrats.

Un pla senzill de manteniment trimestral#

La primera setmana del trimestre es revisen propòsit, població afectada i canvis del context. La segona s’analitza el rendiment amb dades desagregades i una mostra de decisions. La tercera s’estudien reclamacions, correccions manuals i gairebé incidents. La quarta, el responsable decideix mesures amb data i titular: ajustar, formar, limitar, tornar al procediment manual o retirar. L’acta pot ser breu, però ha de deixar clar quines proves es van mirar i per què es va acceptar el risc restant.

La prova ha d’incloure escenaris incòmodes: dada absent, identitat duplicada, persona nova, discapacitat, permís recent, caiguda de connexió i resultat impugnat. També s’assaja la recuperació: quant triga l’equip a operar sense l’eina, com evita perdre salaris o torns i com informa les persones afectades. Una còpia de seguretat que mai no s’ha restaurat és una esperança, no un pla. Passa igual amb el procediment manual que ningú no practica.

Fonts i obligacions que orienten la pràctica#

L’apartat Manage de l’AI Risk Management Framework del NIST proposa vigilància posterior al desplegament, resposta a incidents, recuperació, gestió de canvis i retirada quan se superen toleràncies. El resum oficial de la Comissió Europea sobre el Reglament d’IA explica el paper del seguiment, la documentació i la supervisió humana en sistemes d’alt risc, inclosos determinats usos laborals. I l’instrument de riscos d’IA i protecció de dades de l’ICO ofereix preguntes pràctiques per reduir riscos sobre drets i llibertats. Aquestes guies no substitueixen el conveni, la normativa ni l’assessorament aplicable a cada cas.

Per a una família, el marc es tradueix en preguntes concretes. Si una decisió automàtica afecta un fill en la seva primera feina, convé preguntar què va canviar, qui ho pot revisar, quina dada podia faltar i quin termini hi ha. Es guarden comunicacions amb data, evitant difondre dades de companys. Si hi ha un patró, s’acudeix a representació laboral, sindicat o assessorament competent. La meta no és guanyar una discussió sobre algoritmes: és aconseguir una decisió comprensible, revisable i proporcionada.

Quan cal reparar i quan cal apagar#

No tot sistema mereix una altra actualització. Cal considerar la retirada quan ja no compleix el propòsit, produeix danys repetits, depèn de dades que no es poden mantenir, no té un proveïdor viable o costa més corregir-lo que substituir-lo. Retirar exigeix planificar exportació, conservació legal, eliminació segura, comunicació i continuïtat del servei. Mantenir una eina perquè “ja es va pagar” transforma un cost passat en risc futur.

Allò que queda quan passa l’entusiasme és una disciplina poc vistosa: escoltar, mesurar, documentar, pressupostar i aturar a temps. Precisament aquí es decideix si l’automatització serveix les persones o si les persones acaben sostenint-la amb correccions invisibles. Un sistema madur no és el que no falla mai, sinó el que revela els límits, aprèn de l’excepció i permet a algú reparar el resultat abans que una puntuació es converteixi en destí.