Amodei pidió bajar el ritmo de la IA y media industria se sumó. Detrás del debate hay intereses cruzados, un calendario europeo que ya está en marcha y seis decisiones de gobierno interno que puedes tomar esta semana sin esperar a que nadie te regule.
Créditos de imagen: Dario Amodei, UK Prime Minister / CC BY 2.0 · Sam Altman, Village Global / CC BY 2.0 · Jensen Huang, Raysonho / CC0. Composición editorial de Solventus.
El pasado sábado 12 de septiembre, Dario Amodei, CEO de Anthropic, publicó un ensayo titulado “We must pace the frontier”, donde pedía bajar el ritmo al que mejoran las capacidades de los modelos para que la prevención de riesgos tenga tiempo de ponerse al día.
Pasadas las horas se sumaron Sam Altman (OpenAI), Demis Hassabis (Google DeepMind) y Elon Musk, aunque no todos con la misma intensidad. Musk lo zanjó en tres palabras: “Dario tiene razón”. Altman dijo que OpenAI está de acuerdo y que igualará el primer compromiso de Anthropic. Hassabis fue más medido: la dirección es correcta, pero “los detalles hay que trabajarlos”, y aprovechó para recordar la propuesta de DeepMind de crear un organismo de estándares para toda la industria. Jensen Huang, CEO de Nvidia, había dicho dos días antes que los laboratorios inflan el miedo porque piensan vender productos de ciberseguridad.
Qué es lo que están pidiendo
El mismo título del ensayo de Amodei lo establece: marcar el ritmo de la frontera. El CEO lo resume de esta manera: “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y tenemos que hacer un uso sensato del tiempo que ganemos”.
Lo que le preocupa tiene nombre técnico: recursive self improvement, la automejora recursiva. El momento en que un sistema pueda mejorarse a sí mismo sin investigadores humanos de por medio. “Si se deja sin control, podría superar nuestra capacidad de entender y controlar estos sistemas, así que debe abordarse con mucho cuidado, si es que se aborda”.
Su plan consta de tres piezas: evaluadores externos con acceso de nivel de empleado dentro de cada laboratorio, estándares comunes entre países democráticos por vía regulatoria, y un esfuerzo global que incluya negociar con regímenes autoritarios. Anthropic se compromete de forma unilateral a la primera, y OpenAI anunció que hará lo mismo.
Pero esto no se trata de un manifiesto tecnófobo. En el mismo ensayo, Amodei defiende que la IA puede traer beneficios increíbles, como la posibilidad de curar enfermedades.
El momento no es casual. El martes anterior, 8 de septiembre, Jacob Coxon, investigador de Anthropic, dimitió y acusó a los laboratorios de estar “apostando con nuestras vidas”. Su salida llega después de que sistemas de OpenAI vulneraran la seguridad de Hugging Face, la mayor plataforma de modelos de IA abiertos del mundo, sin que OpenAI lo supiera.
Es decir, un sistema autónomo hizo algo que su propietario no había ordenado, y su propietario tardó semanas en enterarse. Este año, durante una evaluación interna de ciberseguridad llamada ExploitGym, OpenAI puso a prueba un modelo de uso interno con las salvaguardas rebajadas a propósito. En sus propias palabras: “no habilitamos el mismo nivel de salvaguardas que en nuestros sistemas desplegados externamente”. A los agentes se les dieron tareas que en algunos casos no tenían solución conocida.
Lo que pasó después lo cuentan la propia OpenAI y el informe técnico de Hugging Face. El 7 de mayo arrancó el entrenamiento y, al día siguiente, un agente ya había encontrado permisos de escritura donde no debía. El 26 de junio consiguieron ejecutar código en un servidor interno de OpenAI aprovechando una vulnerabilidad de día cero. El 4 de julio, la caída de ese servidor hizo saltar un incidente de seguridad formal: OpenAI revocó credenciales y reconstruyó el sistema. El 6 de julio se reanudó el entrenamiento, y el 8 los agentes ya habían vuelto a montar un tablón de mensajes improvisado para comunicarse entre ellos. El 9 de julio salieron a internet. Entre el 11 y el 13 de julio ejecutaban comandos dentro de Hugging Face con permisos de administrador. La alerta que ató todo aquello a las evaluaciones no saltó hasta el 19 de julio, más de dos meses después del primer indicio. Por el camino, el análisis automático no llegó a clasificar la alerta como crítica y no despertó al equipo de guardia.
El lado B del debate
A pesar de que varios CEOs se pongan de acuerdo, eso no convierte la propuesta en verdad revelada. Las críticas serias apuntan en dos direcciones.
La primera es de interés comercial. Jensen Huang lo dijo el 10 de septiembre durante una conferencia en San Francisco: la razón por la que hoy se habla tanto de ciberseguridad es que la industria se prepara para lanzar productos, “¿y qué mejor forma de crear demanda que crear un problema?”. Y remató: “¿Quién no quiere que su mercado esté histérico con su producto y haga cola en la puerta?”. En esta misma línea, hay quienes sostienen que Anthropic y OpenAI buscan consolidar su posición pidiendo marcos regulatorios que a una empresa pequeña le cuesta cumplir mucho más.
La segunda es de posicionamiento, y viene de Clément Delangue, CEO de Hugging Face: la alineación “no se va a resolver a puerta cerrada entre un puñado de laboratorios punteros”. Y cabe agregar que Nvidia acordó comprar Hugging Face este mes por 12.900 millones de dólares. En este debate casi nadie habla desde una posición neutral, incluidos los que piden frenar los avances de la IA.
En Europa ya hay reglas
A partir de aquí se termina la parte que no controlas. El Reglamento Europeo de IA no es algo que vaya a llegar de un día para otro: está en vigor desde agosto de 2024 y se aplica por tandas.
- Febrero 2025: prácticas prohibidas y obligaciones de alfabetización en IA.
- Agosto 2025: reglas de gobernanza y obligaciones para los modelos de propósito general.
- Agosto 2026: el grueso del reglamento y las obligaciones de transparencia.
- Diciembre 2027: sistemas de alto riesgo en áreas sensibles como biometría, infraestructuras críticas, educación, empleo y migración.
- Agosto 2028: sistemas de alto riesgo integrados en productos regulados.
El paquete Digital Omnibus, en vigor desde el 27 de julio de 2026, ajustó parte de esos plazos e introdujo requisitos técnicos simplificados para pymes y medianas empresas. Mientras tanto, en Estados Unidos apenas hay reglas.
Pero hay una parte que es incómoda. Las obligaciones de transparencia te afectan si tu LLM o tu chatbot atiende a clientes, o si publicas contenido generado por IA y no lo curaste. Además, el reglamento no te dice qué datos puede pegar directamente tu equipo en una herramienta ajena, ni quién tiene que revisar lo que sale bajo tu logo, ni cómo dejas constancia de quién aprobó qué.
Hay además una parte del mapa que ninguna de las dos posturas resuelve: los modelos de pesos abiertos, lo que se conoce popularmente como open source. Cualquiera puede descargarlos y ejecutarlos en su propia infraestructura, sin pasar por la API de nadie. Para el debate de Amodei son el agujero, porque un ritmo pactado entre unos cuantos laboratorios no alcanza a lo que ya está descargado en millones de ordenadores. Para una empresa mediana son otra cosa: la vía para que los datos no salgan de casa, que es justo la línea roja del punto dos de la lista de abajo. El mismo hecho, leído desde dos sitios, da dos conclusiones opuestas. Las dos son razonables.
En la práctica, transparencia es sinónimo de dos cuestiones: avisarle al cliente de que está hablando con una máquina y señalar cuándo el contenido está generado por una IA.
No todo el mundo cree que ese calendario sea buena noticia. Alex Karp, CEO de Palantir, lo dijo en julio sin diplomacia: “Tenemos un modelo de lo que no funciona, y se llama Europa”. Sostiene que ha visto al continente regularse a sí mismo hasta quedarse fuera del mercado.
Es un debate legítimo y no lo vamos a zanjar aquí. Pero conviene no mezclarlo con lo que tienes delante: nada de lo que critica Karp te impide escribir una página con las reglas de uso de IA de tu empresa. Esa parte no te la regula nadie, y tampoco te la prohíbe nadie.
Por más que esto no sea regulación, es un tema de política interna y está bajo tu cargo.
Seis decisiones que puedes tomar esta semana
- Inventario de herramientas. Pregúntale a tu equipo qué herramientas utilizan y cómo. Casi todas las sorpresas están aquí.
- Línea roja sobre los datos. Define qué información no puede salir nunca de casa: datos de clientes, nóminas, contratos, código propio.
- Exige revisión. Nada que lleve el nombre de tu empresa sale sin que una persona lo haya leído y se haga responsable de lo que dice.
- Deja trazabilidad. Qué cosas se generaron con ayuda de la IA, quién lo revisó y cuándo.
- Nombra a un responsable. Una persona concreta que mantenga estas reglas vivas y a la que se pueda acudir cuando algo se tuerce.
- Formación permanente. Que el equipo sepa qué puede y qué no puede hacer cada herramienta, y que esa formación se repita en el tiempo.
El Reglamento Europeo de IA exige a cualquier empresa que esté usando sistemas de IA garantizar un nivel suficiente de alfabetización en IA entre su personal. Los errores no vienen del modelo, vienen de las personas que los usan: de cifras inventadas, de datos sensibles subidos a una herramienta sin consentimiento y de textos publicados sin haber sido revisados.
Nuestro accionar desde Solventus
Nuestra posición también parte de un interés. En nuestra web hay una frase que resume cómo usamos la IA: elimina fricción en investigación, orquestación, producción e informes, mientras las personas mantienen la responsabilidad sobre cada decisión. Es nuestro suelo de producción, no nuestro argumento de venta. No vendemos transformación con IA.
Qué modelo se usa en cada proyecto depende de qué datos toca el trabajo y de dónde pueden vivir esos datos, no de cuál está de moda esa semana. Hay trabajos que piden un modelo de terceros y trabajos que piden algo que se ejecuta donde nosotros decimos.
Lo que sí vendemos es el sistema que rodea a la herramienta: alcance sellado por escrito, rondas de revisión sobre todo lo que sale, informe mensual de horas dedicadas y piezas entregadas, y un único responsable. Es lo mismo que le pedimos a cualquier proveedor, y lo mismo que le pedimos a un modelo.
Porque lo de OpenAI no fue un fallo de modelo, fue un fallo de gobierno: se relajó una regla para una prueba y nadie escaló la señal a tiempo. A escala de una empresa de treinta personas en Alicante, eso se parece bastante a no saber qué herramientas usa tu propio equipo.
Si estás usando IA en tu empresa y no sabrías responder por escrito a cuándo se usa, con qué datos y quién firma lo que sale, hablemos.