Imagine un sistema que lo hace bien el 90% de las veces. Ahora imagina que la prueba que ingresas a continuación es correcta en un 88%. Es de esperar que el resultado general esté en algún punto intermedio. No es así: es inferior a cualquiera de los dos por separado. Esto sucede porque los errores no suman: se multiplican.
¿Qué pasa si aplicamos esta lógica a los miles de millones de mensajes privados que la Unión Europea ha permitido escanear a las plataformas digitales según las normas europeas para prevenir el abuso sexual de menores? El número de personas inocentes identificadas erróneamente como violadores bajo esta propuesta llamada “Control de Chat” no será un “error de redondeo”. Sería mucho más viejo.
Control de chat bloqueado por cabello
La semana pasada, el Parlamento Europeo canceló por un voto la ampliación del Chat Control 1.0. Así que el experimento de cinco años, que permitió (pero no exigió) que las plataformas escanearan mensajes privados en busca de material de abuso sexual infantil, finaliza en abril de este año. Pero no una batalla.
Se están llevando a cabo negociaciones sobre Chat Control 2.0, un reglamento permanente con requisitos técnicos mucho más ambiciosos, entre la Comisión Europea, el Parlamento Europeo y el Consejo de la UE, que representa a los gobiernos de los estados miembros. Se espera un acuerdo final para julio de 2026.
Clarote & AI4Media / https://betterimagesofai.org., CC BY-SA Qué exige realmente la regulación
Chat Control 1.0, un marco temporal que acaba de expirar, se basó principalmente en la coincidencia de huellas dactilares conocida como coincidencia de hash. Cada imagen genera una firma matemática única y luego el sistema compara esa firma con una base de datos de material conocido de abuso sexual infantil (CSAM). No siempre fue eficaz, como se documenta en los propios informes de implementación de la Comisión Europea, pero al menos tenía un propósito.
Sin embargo, Chat Control 2.0 es una oferta completamente diferente. La regla permanente propuesta obligaría a las plataformas a detectar CSAM desconocidos y comportamientos de aseo personal que nunca antes se habían identificado mediante clasificadores de inteligencia artificial.
Esta nueva normativa, de aprobarse, mantendrá el escaneo voluntario a través de plataformas digitales. Así como requisitos de verificación de edad que pondrán fin a las comunicaciones anónimas. Los críticos, incluido el Parlamento Europeo en su propia evaluación de impacto, argumentan que este escenario empujaría a las plataformas hacia una vigilancia masiva.
Por qué la tecnología no puede hacer lo que exige la ley
En los sistemas de detección en cadena, cada clasificador (un programa de inteligencia artificial entrenado para clasificar contenido automáticamente) tiene su propio margen de error. Si estos errores están relacionados entre sí, cada paso socava silenciosamente la confianza en los resultados.
El propio informe de 2025 de la Comisión Europea reconoció tasas de error en las tecnologías de detección utilizadas con Chat Control 1.0 de entre el 13 y el 20 por ciento. Esto quiere decir que una de cada cinco alertas fue a una persona que no había hecho nada ilegal.
Aún más revelador es el problema de la detección del acicalamiento. El proyecto Artemis de Microsoft, la herramienta más citada en los debates políticos europeos sobre el tema, tiene una precisión del 88%. La propia Microsoft desaconseja confiar en esta cifra, señalando que se obtuvo utilizando una única técnica en inglés entrenada en un pequeño conjunto de datos de casos conocidos, y que la tasa de error real puede ser mayor.
Por tanto, no existe un examen independiente de la tecnología. Los expertos en detección de texto estiman que los índices de error apenas bajan del 5 al 10 por ciento, dependiendo del tipo de material. Por mil millones de mensajes intercambiados diariamente, eso equivale a entre 50 y 100 millones de falsos positivos cada día.
El peligro de los falsos positivos
El problema va más allá de los números. Los sistemas de detección no pueden distinguir de forma fiable los contenidos legales de los ilegales en casos ambiguos. Niño en el baño. Fotografía médica. Desnudez artística. Fotos de unas vacaciones familiares. Todos están potencialmente marcados como positivos.
Detectar el acoso es aún más difícil: requiere comprender el contexto, la intención, el subtexto y los matices culturales en docenas de idiomas. Thorn, una empresa que desarrolla herramientas comerciales de inteligencia artificial para proteger a menores del abuso sexual en línea, describe sin rodeos una solución simplificada que combina clasificadores de pornografía y estimación de edad como inadecuada.
Estos no son problemas que la mejor IA pueda resolver. Ellos mismos son una parte integral de la tarea de clasificar contenidos potencialmente ilegales.
En mi experiencia como investigador e ingeniero de IA especializado en sistemas de detección de CSAM para el Centro Nacional de Ciberseguridad (INCIBE) y la Cooperativa Panacea, he sido testigo de que lo que tenemos ahora no es tecnología lista para ser integrada en un marco de aplicación legal. Esta es una tecnología que todavía está tratando de comprender lo que tiene delante.
¿Malentendido o algo más?
Hay dos maneras de explicar por qué una legislación tan tecnológicamente imperfecta continúa evolucionando.
La primera es caritativa: los políticos creen sinceramente que estos niveles de error son aceptables y ninguno de los presentes les explicó que cada paso adicional en la cadena de clasificación multiplica, en lugar de promediar, el error acumulativo. La complejidad técnica y la urgencia asociadas con la protección de los niños hacen que sea difícil detenerse y hacer los cálculos.
El segundo es menos conveniente: la infraestructura de vigilancia que se construye tiene valor independientemente de si detecta efectivamente el CSAM. El sistema, que obliga a las plataformas a escanear mensajes privados a gran escala, notificar a las autoridades y almacenar los datos, ya no es útil simplemente porque sus clasificadores de inteligencia artificial son inexactos. Se convierte en una herramienta diferente.
La pregunta sigue abierta a todos: ¿por qué, después de años de constantes objeciones por parte de los criptógrafos, las autoridades de protección de datos, el Supervisor Europeo de Protección de Datos y el Tribunal Europeo de Derechos Humanos, esta ley sigue encontrando nuevas formas de sobrevivir?
¿Qué está pasando ahora?
Chat Control 1.0 está muerto por un voto. Pero están en curso negociaciones tripartitas sobre Chat Control 2.0 entre la Comisión, el Parlamento y los gobiernos de los Estados miembros. Las reuniones están programadas para el 4 de mayo y el 29 de junio, y se espera un acuerdo final para julio. Los estados miembros continúan presionando para lograr capacidades de vigilancia que el parlamento ha rechazado repetidamente. El Consejo no aceptó ni una sola exigencia sustancial del Parlamento durante las negociaciones que acababan de fracasar.
Por supuesto, si se aprueba una regla permanente de una manera que requiera una detección masiva basada en IA, no funcionará como se describe. Los críticos dicen que dará lugar a millones de cargos falsos, abrumará a las agencias policiales con ruido y advertencias inútiles y desviará recursos de las investigaciones autorizadas y dirigidas por los tribunales que realmente condenan a los delincuentes.
Alexander Hanff, sobreviviente de agresión sexual y defensor de los derechos digitales, sostiene que la vigilancia masiva daña activamente a las víctimas al destruir los espacios seguros de los que dependen.
De hecho, esto resultó en que una víctima de abuso presentara una demanda a través de la organización alemana de libertades civiles GFF contra Meta por las prácticas de escaneo posibles gracias a Chat Control 1.0. El demandante señala que no puede hablar libremente sobre sus propias experiencias a través de estas plataformas sin correr el riesgo de ser señalado por los mismos sistemas diseñados para protegerlo.
Hay una razón por la que esta legislación no es ampliamente conocida como Ley de Protección Infantil en Línea: se la conoce como “Control de Chat”. En una era en la que el abuso infantil es cada vez más visible con la llegada de la inteligencia artificial, todavía cabe preguntarse si nuestro objetivo es la protección de los menores o el simple control.
