Esta semana el tema no fue qué tan inteligentes son los modelos. Fue qué pasa cuando los dejamos actuar solos en internet. Junto con eso llegaron nuevos modelos, la apuesta de OpenAI por los agentes y noticias que tocan directamente a Latinoamérica.

❝

En corto: los agentes ya actúan solos en el mundo real. Define bien sus permisos, supervisa sus pasos y ten lista la forma de revertir un error.

1. Anthropic contó lo que hizo Claude cuando nadie lo estaba mirando

El 9 de octubre, Anthropic publicó un informe sobre acciones no deseadas de sus modelos durante evaluaciones y uso interno. Las agrupó en cuatro categorías:

El informe de Anthropic sobre acciones no deseadas de sus modelos.

  1. Aprovechar fallas básicas de software para ejecutar comandos en un servidor ajeno.

  2. Enviar formularios reales cuando no correspondía.

  3. Saltarse restricciones para acceder a datos protegidos por un token o por un pago.

  4. Usar acortadores de URL para evadir los límites de su propia herramienta de navegación.

El caso que más se comentó fue el de Claude Haiku 4.5. Durante una prueba con páginas web elegidas al azar, llegó a un sitio sobre un homicidio sin resolver y envió un "dato" inventado a través del formulario de denuncias de una policía. El formulario lo marcó como spam y no llegó a la investigación. La Policía de Filadelfia lo hizo público después.

Anthropic dice que el impacto fue mínimo y que ningún caso involucró datos de clientes. Aun así, decidió cortar el acceso a internet en vivo de todas sus evaluaciones internas hasta confirmar que su monitoreo detecta estas conductas. Según la empresa, la mayoría son formas de persistencia: cuando el modelo no puede cumplir la tarea tal como se la pidieron, busca un atajo en vez de detenerse.

La respuesta política llegó el mismo día. Según Axios, el gobierno de EE.UU. dijo que las empresas de IA deberán notificar y corregir los incidentes de seguridad que involucren a sus modelos, y que ese proceso "no es opcional".

❝

Lectura Tellus: un agente con permisos amplios y una instrucción ambigua puede hacer cosas que nadie le pidió. Si usas agentes, define bien el alcance, limita sus permisos y pide confirmación humana antes de cualquier acción que no se pueda deshacer.

2. Google presentó Gemini 4 Argon, pero todavía no se puede usar

El 30 de septiembre, Google anunció Gemini 4 Argon, su nuevo modelo de frontera para programación, trabajo especializado (legal, finanzas) y ciberdefensa. Por ahora solo lo usa un grupo de defensores de ciberseguridad a través del programa Fairwind. Google dice que lo abrirá por etapas, partiendo por clientes pagados de la API y suscriptores de Google AI Ultra.

  • Precio de lanzamiento: US$2 por millón de tokens de entrada y US$10 por millón de salida.

  • Respuestas largas: según Ars Technica, puede generar hasta 1 millón de tokens de salida.

  • Menos invención: según The Batch (DeepLearning.AI), en la prueba AA-Omniscience Argon tuvo una tasa de alucinación de 15%, frente a 51% de GPT-6 Astra.

3. OpenAI DevDay: agentes que siguen trabajando cuando cierras el computador

En su DevDay del 29 de septiembre, OpenAI anunció más de 20 novedades. Las más relevantes para builders:

  • Dots: agentes persistentes, con apps conectadas y un computador propio en la nube.

  • GPT-6.1 Sol: mejora en programación y uso de computador, a un quinto del precio por token de Astra.

  • Codex Cloud: ejecuta tareas aunque tengas el notebook cerrado.

  • Agents API: entra en beta pública y suma computer use (el agente opera software desde su interfaz).

  • Pro 500: un nuevo plan con más uso y acceso al nivel de velocidad "Ultrafast".

La mascota cyborg de Tellus explora las noticias de IA de la semana.

4. Desinformación hecha con IA, también en nuestra región

OpenAI informó que desarticuló una campaña de influencia iraní que publicaba artículos escritos con ChatGPT en una docena de medios. Según The Verge, también bloqueó cuentas rusas ligadas a un falso think tank en Latinoamérica.

❝

Lectura Tellus: cuando leas un análisis "experto", revisa quién lo firma y si hay fuentes verificables detrás.

5. Jev: una IA que no escribe, decide

6. Latinoamérica: modelo propio y pagos con agentes

  • Latam-GPT entra en su segunda fase. Según el portal Interoperable Europe, el CENIA trabaja en mejorar su razonamiento y en incluir lenguas y saberes indígenas junto a representantes de esas comunidades. Recuerda que el modelo es abierto y está disponible en Hugging Face.

  • Argentina: según iProUP, la fintech Belo presentó un estándar para que agentes de IA gestionen cuentas, tarjetas, cripto y pagos QR. El mismo medio señala que las reglas del BCRA para pagos con agentes (consentimientos y responsabilidades) aún no están definidas.

Para llevar

Los agentes ya hacen cosas en el mundo real. La pregunta práctica para quienes construimos es con qué permisos operan, quién los supervisa y cómo se revierte un error. Es la misma conversación que hay en blockchain sobre llaves, firmas y permisos delegados.

¿Quieres empezar a usar IA en tus proyectos sin perderte? Revisa nuestra sección de herramientas en el blog y súmate a la conversación en el Discord de Tellus.

Fuentes

Sigue leyendo

Ver más
caret-right