Cuando se habla de los riesgos de la inteligencia artificial, la conversación suele empezar demasiado lejos de las personas. Aparecen palabras enormes: futuro, disrupción, amenaza, revolución. Son palabras útiles para abrir un debate, pero pueden impedir que veamos una escena concreta. En una oficina municipal de vivienda, por ejemplo, una trabajadora llamada Nuria abre por la mañana una lista de mensajes sobre alquileres, desahucios y habitaciones compartidas. Un nuevo sistema propone qué consultas deben atenderse primero y redacta una respuesta inicial. La pantalla parece ordenar el caos. El riesgo no está en que la pantalla sea misteriosa; está en lo que podría ocurrir si una persona con una fecha límite urgente queda detrás de un mensaje escrito con menos claridad.
Mirar esa escena no obliga a concluir que la herramienta sea inútil. Quizá ayude a que Nuria encuentre antes casos importantes o libere tiempo para hablar con quien necesita una explicación. El problema comienza cuando una mejora aparente se convierte en una excusa para no preguntar por sus consecuencias. Comprender un riesgo real consiste en seguir una decisión hasta la vida que toca: qué información entra, qué señal se toma como relevante, quién puede corregirla, qué pasa si falla y quién carga con el trabajo de arreglarlo. Esta forma de mirar es menos espectacular que una predicción, pero mucho más útil para decidir.
El riesgo empieza en una situación, no en una etiqueta#
Decir que un sistema tiene “sesgo” o que existe un “riesgo de privacidad” puede ser correcto, pero no basta para actuar. Nuria necesita saber algo más preciso. ¿El sistema interpreta como menos urgente una consulta breve porque no reconoce la forma de escribir de alguien? ¿Una familia que comparte teléfono recibe mensajes que otra persona puede leer? ¿La recomendación de prioridad hace que el equipo deje de mirar el caso completo? Cada pregunta nombra una relación concreta entre una regla y una posible consecuencia. Sin esa relación, la etiqueta se vuelve tan cómoda como una alarma que nunca indica de dónde viene el humo.
Decir que un sistema tiene “sesgo” o que existe un “riesgo de privacidad” puede ser correcto, pero no basta para actuar.
Por eso conviene empezar por una pequeña historia verificable. Una persona escribe que debe abandonar su piso en diez días, pero no utiliza la palabra “desahucio”. Otra aporta muchos documentos y redacta con vocabulario administrativo, aunque su problema pueda esperar. Si el programa premia determinadas señales de urgencia, la lista puede invertir ambas situaciones. No hace falta afirmar que eso ocurrirá siempre. Basta reconocer que puede ocurrir y que, si ocurre, el coste no se reparte de manera abstracta: una persona puede perder una cita, una noche de descanso o la oportunidad de recibir orientación a tiempo.
El lenguaje de los promedios puede ocultar precisamente esa diferencia. Un panel puede indicar que el tiempo medio de respuesta ha bajado. Esa cifra es valiosa, pero no responde a quién espera más que antes ni a qué casos salen perjudicados. Una mejora general no absuelve una exclusión concreta. El trabajo responsable consiste en mirar la distribución: respuestas por tipo de consulta, diferencias por idioma, casos corregidos por el equipo y personas que abandonan el proceso porque no entienden qué se les pide. Lo que no se mide no deja de existir; simplemente queda fuera de la conversación que decide.
Seguir el recorrido de una decisión#
La primera pregunta práctica es qué datos alimentan la recomendación. En la oficina de Nuria pueden ser el texto del mensaje, la fecha mencionada, el barrio, documentos adjuntos o el historial de contactos. Cada elemento tiene una procedencia y un límite. Un barrio puede servir para organizar rutas de atención, pero también puede convertirse en un atajo que suponga necesidades sin escuchar a quien escribe. El historial puede revelar que alguien ha pedido ayuda varias veces; también puede confundir insistencia con gravedad o castigar a quien no encontró una respuesta antes.
Después hay que preguntar qué hace el sistema con esos datos. No es suficiente contestar “calcula una prioridad”. El equipo debe poder describir, con palabras comprensibles, qué señales influyen, qué casos quedan fuera y qué incertidumbres reconoce el resultado. Si nadie puede explicar por qué una consulta fue situada en una posición determinada, resulta difícil detectar un error sistemático. La explicación no tiene que revelar secretos comerciales ni convertirse en un manual técnico. Tiene que permitir una conversación competente: qué sabemos, qué no sabemos y qué decisión humana sigue pendiente.
La tercera pregunta es quién actúa. En muchas implantaciones se dice que hay “supervisión humana” porque una persona puede pulsar un botón al final. Eso es insuficiente si recibe cien recomendaciones en una hora, no conoce los criterios o no dispone de tiempo para leer el contexto. La supervisión solo es real cuando incluye capacidad de detener el proceso, modificar una prioridad, registrar el motivo y recibir apoyo para hacerlo. Pedir a Nuria que contradiga una pantalla sin darle tiempo ni autoridad convierte la responsabilidad en una carga individual, no en una garantía institucional.
También hay que seguir el daño hasta su reparación. Si una consulta urgente fue clasificada tarde, ¿quién descubre el problema? ¿Puede la persona afectada llamar a alguien que entienda su caso? ¿El equipo corrige solo ese expediente o revisa las reglas que causaron el error? Un procedimiento que se limita a pedir disculpas puede aliviar un momento, pero no aprende. Un procedimiento que conserva ejemplos de fallos, identifica patrones y cambia la práctica protege a la siguiente persona. La rendición de cuentas no consiste en encontrar culpables rápidos; consiste en tener una ruta para reconocer, limitar y reparar un daño.
Diferenciar lo molesto de lo grave#
No todos los errores requieren la misma respuesta. Que un borrador contenga una frase poco elegante no se parece a retrasar orientación sobre una vivienda. Esa diferencia debería guiar el diseño antes de que la herramienta se use a gran escala. Una regla sencilla es valorar la gravedad, la reversibilidad y la posibilidad de que la persona afectada se defienda. Si el resultado puede cambiar ingresos, salud, vivienda, seguridad o acceso a un derecho, la precaución debe aumentar. La promesa de ahorrar minutos no equivale al permiso para trasladar el riesgo a quien tiene menos margen.
La reversibilidad merece atención especial. Un mensaje incorrecto quizá se corrija con otro mensaje. Una plaza perdida, una cita que vence o una familia que deja de pedir ayuda por sentirse ignorada pueden no recuperarse con tanta facilidad. Por eso una prueba responsable no empieza con los casos más delicados. Puede comenzar con tareas de bajo impacto, con un periodo limitado y con una vía clara para volver atrás. Probar no significa soltar una herramienta y observar desde lejos; significa crear condiciones para aprender sin convertir a las personas en material de ensayo.
La escala cambia además el tipo de daño. Un error aislado puede resolverse mediante una conversación entre dos personas. Una regla aplicada miles de veces exige registros, auditoría y una decisión organizativa. Es importante no confundir la repetición con la normalidad. Que una respuesta errónea se produzca de forma automática no la vuelve menos importante; puede volverla más difícil de detectar porque nadie siente que haya tomado la decisión completa. Precisamente por eso los equipos necesitan detenerse a revisar muestras de casos y no depender solo de los indicadores que produce la propia herramienta.
Diseñar controles que sirvan en un día difícil#
Un control útil tiene que funcionar también un lunes con llamadas acumuladas. Para Nuria, eso podría significar que las recomendaciones muestren una razón breve y una marca visible de incertidumbre; que ciertos términos o circunstancias obliguen a una revisión humana; y que exista una cola alternativa para mensajes que el sistema no comprende bien. No son adornos burocráticos. Son formas de impedir que la rapidez cierre la puerta a la duda cuando la duda importa.
El equipo puede acordar una muestra semanal de expedientes: algunos atendidos rápido, otros retrasados, otros modificados por una persona. Revisarlos juntos permite descubrir preguntas que ningún informe automático formulará: si el tono de una respuesta desanimó a alguien, si una traducción cambió una condición o si una regla está empujando siempre los mismos casos hacia el final. La revisión gana valor cuando participan quienes realizan el trabajo diario y, cuando sea posible, personas que conocen la experiencia de pedir ayuda. Ninguna métrica sustituye por completo una conversación sobre lo que ocurrió.
Conviene además dar fecha de caducidad a la herramienta y a sus reglas. Los mensajes que llegan, el contexto legal, el personal disponible y las necesidades del barrio cambian. Una decisión adoptada para seis meses puede convertirse en infraestructura permanente por simple cansancio. Fijar una revisión con preguntas concretas —qué beneficio se comprobó, qué daño apareció, qué grupos quedaron peor atendidos y qué alternativa menos invasiva existe— evita que lo provisional se vuelva intocable. Mantener la posibilidad de decir “no sigue” es una parte esencial de la autonomía colectiva.
La mejor pregunta no es si la IA es buena o mala#
Al final de la jornada, Nuria no necesita una teoría perfecta sobre la inteligencia artificial. Necesita saber si el sistema le ayuda a atender mejor sin ocultar a quienes necesitan más tiempo, si puede discutir una recomendación y si una persona tiene una vía digna para pedir revisión. Estas preguntas cambian el debate porque desplazan la atención desde la fascinación por la herramienta hacia las condiciones de una relación justa.
Entender riesgos reales no significa vivir con miedo ni rechazar por principio toda automatización. Significa negarse a llamar inevitable a una decisión que todavía puede diseñarse de otro modo. Una tecnología puede apoyar el trabajo humano cuando conserva contexto, permite corregir y reparte de manera honesta las responsabilidades. Puede dañarlo cuando convierte la complejidad de una vida en una señal que nadie tiene tiempo de cuestionar. El criterio no está en la promesa de la pantalla, sino en la capacidad de las personas para intervenir cuando esa promesa no alcanza.
