Supervisar una eina digital de benestar no equival a mirar un tauler d'activitat ni a aprovar una política abans del llançament. La supervisió existeix quan un senyal de dany pot arribar a una persona identificable, aquesta persona té autoritat per aturar una funció i l'organització pot corregir el problema sense traslladar tota la càrrega a qui el va patir. Això importa especialment quan l'eina s'adreça a menors, a persones en situació de dependència o a qui busca suport en un moment de vulnerabilitat.

Aquest article tracta de disseny institucional, responsabilitat i protecció de drets; no diagnostica ni ofereix consell clínic individual. Davant perill immediat, violència, amenaces creïbles, possible autolesió, risc de fer mal a una altra persona o impossibilitat de mantenir-se segur, cal contactar amb emergències, serveis sanitaris o recursos locals de crisi. A Espanya, el 112 atén emergències i el 024 ofereix suport davant conducta suïcida.

Supervisar és disposar d'una palanca real#

Una revisió que només produeix recomanacions no és suficient quan un sistema pot enviar missatges insistents, restringir accés, perfilar estats d'ànim o prioritzar una resposta automàtica. Cada funció rellevant necessita una palanca clara: limitar-ne l'abast, desactivar-la, tornar a una versió anterior o suspendre'n l'ús mentre s'investiga. Han de constar per escrit els llindars per actuar, la persona que decideix i el termini màxim de resposta. La pressa comercial, una mètrica favorable o el prestigi del proveïdor no haurien d'anul·lar aquesta potestat.

Una revisió que només produeix recomanacions no és suficient quan un sistema pot enviar missatges insistents, restringir accés, perfilar estats d'ànim o prioritzar una resposta automàtica.

Els rols han de ser visibles abans de la incidència#

Producte pot conèixer la interfície, seguretat pot conèixer una vulnerabilitat, atenció pot rebre queixes i direcció pot controlar el pressupost. Cap d'aquestes funcions no substitueix les altres. Un mapa de responsabilitats ha de distingir qui detecta, qui classifica, qui comunica, qui autoritza una pausa, qui verifica la correcció i qui informa l'òrgan de govern. També ha de preveure absències i conflictes d'interès. Quan tothom creu que actuarà una altra àrea, una incidència urgent es converteix en una cadena d'esperes.

Les decisions automatitzades s'han de poder impugnar#

Una persona afectada necessita entendre, amb llenguatge senzill, que una recomanació, una prioritat o una restricció ha estat generada o assistida per un sistema. Ha de poder demanar revisió humana, aportar context i rebre una resposta raonada dins d'un termini anunciat. Impugnar no significa garantir el resultat desitjat; significa que la decisió no queda blindada per una pantalla opaca. El canal no ha d'exigir vocabulari jurídic, pagament, exposició pública ni repetir una història sensible a cada interlocutor.

Cas primer: un menor queda marcat per una alerta#

Una plataforma escolar de benestar assigna una alerta elevada després d'analitzar paraules escrites en un diari privat. L'avís arriba a personal que no ha rebut formació suficient i, per una prudència mal entesa, es limita l'accés del menor a certs espais digitals. La família rep un missatge ambigu i el menor descobreix que no sap qui ha llegit els seus textos ni com demanar revisió. El sistema potser pretenia detectar necessitat de suport, però va produir estigma i pèrdua de control.

La resposta responsable no és afirmar que l'algoritme "només suggereix". S'ha d'aturar la restricció automàtica, preservar evidència mínima per revisar el cas, informar de manera comprensible sobre la intervenció i oferir revisió humana qualificada. Per a menors, l'organització ha d'aplicar salvaguardes reforçades, valorar interès superior, privacitat, capacitat evolutiva i riscos de represàlia. Si apareixen indicis d'urgència, s'activa el protocol humà i els recursos adequats; una puntuació no substitueix una valoració professional.

La protecció de menors exigeix límits més estrictes#

La curiositat, el silenci, el joc o una expressió intensa no s'han de convertir automàticament en perfils permanents. Les eines destinades a menors han de recollir el mínim de dades, evitar publicitat conductual, limitar per defecte el contacte i explicar les regles amb formats comprensibles per a l'edat. La supervisió ha de preguntar quin dany pot causar un fals positiu, un fals negatiu, una revelació involuntària o una decisió que tracti un adolescent com si fos una dada aïllada del seu context.

El consentiment no allibera de responsabilitat#

Acceptar unes condicions llargues no converteix en acceptable una pràctica desproporcionada. Encara menys si l'accés a suport, educació o comunicació depèn d'acceptar seguiment. S'han de revisar la base jurídica aplicable, els avisos de privacitat i els permisos tècnics, però la pregunta ètica es manté: és necessària aquesta dada per al suport ofert? Han d'existir alternatives raonables, controls de privacitat utilitzables i una manera senzilla de retirar permisos. La supervisió revisa el poder real de decidir, no només una casella marcada.

Cas segon: la ratxa que castiga el silenci#

Una aplicació juvenil premia dies consecutius de registre emocional. Després de diversos dies sense activitat, envia recordatoris cada cop més visibles i redueix certes funcions fins que es completa una entrada. Algunes persones deixen d'obrir-la perquè comparteixen dispositiu o perquè no volen registrar informació íntima. L'equip interpreta la caiguda com a manca de motivació. En realitat, el disseny va convertir una eina opcional en una pressió i va penalitzar precisament qui necessitava més control sobre la seva exposició.

La mesura immediata consisteix a aturar els avisos escalats i la restricció, habilitar l'ús sense registre i revisar les dades sense identificar qui es va allunyar. La correcció s'ha de provar amb joves diversos, inclosos qui usa tecnologies de suport i qui té connectivitat limitada. La comunicació ha d'explicar el canvi i oferir un canal de queixa segur. Cap notificació no ha d'insinuar vigilància contínua ni prometre resposta clínica si no existeix una capacitat humana efectiva.

Una incidència necessita traçabilitat i dignitat#

Els formularis de queixa, correus i telèfons han de convergir en un registre segur amb número de cas, data, categoria, mesura temporal, responsable i revisió prevista. L'organització ha de sol·licitar només la informació necessària i separar la identitat de les dades tècniques quan sigui possible. Una confirmació de recepció i una explicació honesta dels terminis redueixen la incertesa. Tancar un tiquet administratiu no demostra que el dany hagi cessat ni que la persona afectada hagi recuperat accés, privacitat o confiança.

Reparar és més que demanar disculpes#

La reparació depèn del dany: retirar contingut, corregir dades, restaurar un compte, revertir una decisió, aturar comunicacions, oferir una explicació accessible o facilitar una via de reclamació independent. En alguns casos també exigeix informar altres persones exposades i revisar si la mateixa causa continua activa. Una disculpa sense canvi pot descarregar tensió pública, però no repara una barrera. L'organització ha de comprovar el resultat, documentar la decisió i publicar aprenentatge agregat sense revelar qui va informar.

Cas tercer: una actualització exclou lectors de pantalla#

Un redisseny d'una eina de son canvia botons per icones sense etiquetes. Durant dies, persones que usen lector de pantalla no poden desactivar recordatoris ni accedir a la política de dades. L'empresa celebra la nova estètica perquè les proves internes van ser ràpides i homogènies. La fallada no és un detall visual: impedeix exercir controls i pot augmentar l'exposició en un dispositiu compartit. La supervisió ha de tractar accessibilitat com a condició de seguretat i autonomia.

La funció afectada s'ha de pausar o revertir, i s'ha de mantenir una alternativa accessible mentre es corregeix. Les proves posteriors han d'incloure persones usuàries, criteris WCAG i comprovacions abans de cada publicació. L'equip responsable comunica què va passar, quina alternativa existeix i quan hi haurà revisió, sense exigir que ningú reveli la seva discapacitat. La lliçó ha de canviar el procés de publicació i el pressupost de proves, no quedar reduïda a una nota d'incidències.

La revisió independent evita l'autocomplaença#

Qui dissenya o ven una eina pot veure amb dificultat els seus propis incentius. Per això convé que casos greus, canvis d'alt impacte i mètriques de dany arribin a una funció independent amb accés a documentació, capacitat de preguntar i possibilitat d'escalar. La independència no requereix necessàriament una institució distant: requereix absència d'incentius per silenciar troballes, regles de recusació i protecció per a qui adverteix. Les organitzacions usuàries han de conservar poder per rebutjar configuracions insegures del proveïdor.

Mesurar dany i benefici sense envair#

Les descàrregues, ratxes i clics descriuen activitat, no benestar. Una supervisió madura combina indicadors limitats amb comentaris voluntaris, taxes d'impugnació, temps de resposta, incidències d'accessibilitat i resultats de correccions. Les dades es desagreguen amb prudència per detectar desigualtats sense fer identificables grups petits. Abans de mesurar, cal decidir quin senyal obliga a actuar. Un augment d'abandonaments després d'una actualització o de queixes sobre un missatge no és una simple variació del producte: pot ser una alerta de dany.

Proveïdors i organitzacions comparteixen obligacions#

Un contracte no ha de convertir el proveïdor en una caixa negra ni l'entitat usuària en espectadora. Ha d'establir accés a registres, notificació de canvis, auditories proporcionades, temps de correcció, localització de dades, gestió de subencarregats i procediment de sortida. L'entitat que ofereix l'eina a la seva comunitat conserva el deure d'explicar per què s'usa i quines alternatives existeixen. Si ningú pot explicar una decisió rellevant, tampoc no hi ha supervisió suficient per sostenir-la.

Aturar i retirar també requereixen un pla#

Una funció s'ha de pausar davant indicis raonables de dany, accés indegut, biaix inaccessible o incapacitat per respondre. La retirada total exigeix avís raonable, continuïtat de suport durant la transició, exportació o accés a informació segons normativa, revocació d'accessos i esborrat verificable quan correspongui. Les persones no haurien d'assabentar-se del tancament mitjançant un error d'inici de sessió. Preparar el final des del principi és una forma concreta de cura i no una admissió de fracàs.

La supervisió es demostra en el que passa després#

La pregunta decisiva no és si una eina declara principis responsables, sinó què passa quan una persona diu que alguna cosa l'ha perjudicat. Una resposta fiable identifica qui decideix, permet aturar, escolta la impugnació, comunica límits, corregeix amb evidència i ofereix reparació proporcional. Per a menors i altres grups exposats, aquest estàndard ha de ser més exigent. Cap plataforma no substitueix serveis d'emergència, atenció sanitària ni xarxes comunitàries; pot facilitar una connexió, però ha de fer-ho sense fingir capacitats que no té ni afegir obstacles.

Fonts institucionals i primàries: Organització Mundial de la Salut, salut digital; UNICEF, Convenció sobre els Drets de l'Infant; Agència Espanyola de Protecció de Dades, drets de protecció de dades; W3C, WCAG; Comissió Europea, enfocament europeu d'IA; Ministeri de Sanitat, Línia 024.