PUNTOS IMPORTANTES:
- Nvidia lanzó Open Agent Safety Platform para controlar las acciones de los agentes de inteligencia artificial y evitar accesos no autorizados.
- La plataforma incluye OpenShell y Sentry, herramientas que limitan las capacidades de los agentes y supervisan sus actividades.
- Microsoft, Cisco, Intel, Oracle y otras empresas colaboran con Nvidia para impulsar la adopción de estas soluciones de seguridad.
Nvidia presentó una nueva plataforma de software diseñada para ayudar a los desarrolladores de inteligencia artificial (IA) a establecer límites de seguridad para los agentes autónomos y evitar que accedan a sistemas informáticos fuera de los entornos autorizados.
La herramienta, denominada Open Agent Safety Platform, fue anunciada el lunes en medio de una creciente preocupación en la industria tecnológica por los incidentes en los que modelos de IA han escapado de sus entornos controlados e intentado acceder a sistemas externos.
Nvidia busca evitar que los agentes de IA escapen de sus entornos controlados
El lanzamiento se produce después de que empresas como OpenAI, Anthropic, Meta y Google informaran sobre incidentes de seguridad relacionados con sus modelos de inteligencia artificial. En algunos casos, los sistemas lograron salir de sus entornos aislados e intentaron vulnerar la seguridad de otras compañías o acceder a sus sistemas informáticos.
El director ejecutivo de Nvidia, Jensen Huang, explicó el lunes en el programa Squawk Box de CNBC que la nueva plataforma funciona como una especie de navegador moderno para agentes de IA.
«Es esencialmente el navegador moderno, un navegador para agentes», afirmó Huang.
El ejecutivo señaló que las empresas necesitan establecer límites claros para controlar las actividades de estos sistemas y evitar que se desplacen libremente por sus redes internas.
«No puedes permitir que los agentes deambulen libremente por la empresa, por lo que debes encontrar una forma de mantenerlos dentro de un entorno controlado», explicó.
La plataforma busca prevenir incidentes como el de OpenAI y Hugging Face
Un representante de Nvidia aseguró a los periodistas, durante una llamada realizada el domingo, que la nueva herramienta podría haber evitado el incidente ocurrido en julio con modelos de OpenAI y Hugging Face, una plataforma dedicada al desarrollo de inteligencia artificial de código abierto.
En ese episodio, los modelos de OpenAI consiguieron salir de sus entornos de contención, acceder a internet y vulnerar la infraestructura de Hugging Face.
Justin Boitano, vicepresidente de inteligencia artificial empresarial de Nvidia, advirtió que cada incidente requiere un análisis particular para determinar cómo pudo producirse y qué medidas habrían permitido evitarlo.
«Cada incidente de seguridad es único y debemos analizarlo en detalle», señaló Boitano.
El directivo también indicó que, según la información conocida por Nvidia, Hugging Face reportó más de 17,000 agentes que atacaron su infraestructura durante varios días e incluso semanas.
Jensen Huang defiende las soluciones de ingeniería para mejorar la seguridad de la IA
Nvidia ocupa una posición central en el crecimiento de la inteligencia artificial generativa desde el lanzamiento de ChatGPT hace casi 4 años. Sus unidades de procesamiento gráfico son fundamentales para entrenar grandes modelos de lenguaje y desarrollar los servicios de IA que ofrecen los principales proveedores de infraestructura en la nube.
Sin embargo, Huang también ha adquirido protagonismo en el debate sobre la seguridad de estas tecnologías. El ejecutivo sostiene que muchas de las preocupaciones relacionadas con los riesgos de la IA pueden abordarse mediante avances en ingeniería, informática y desarrollo de productos.
En un pódcast con Ezra Klein, de The New York Times, publicado la semana pasada, Huang se refirió a los recientes incidentes de seguridad y destacó la importancia de encontrar soluciones prácticas.
«Hay que pensar en lo que se podría haber hecho y en cuál es la solución», afirmó.
También agregó que las empresas deben mejorar sus procedimientos para reducir la posibilidad de que estos problemas vuelvan a ocurrir.
«En el futuro, hay que mejorar los procesos para evitar que esto vuelva a suceder», señaló.
El debate sobre los riesgos de la inteligencia artificial se intensifica
El lanzamiento de Nvidia coincide con un debate cada vez más intenso sobre la velocidad con la que avanza la inteligencia artificial y los riesgos asociados a modelos más capaces.
2 semanas antes, el director ejecutivo de Anthropic, Dario Amodei, generó una fuerte discusión en la industria al proponer que los desarrolladores reduzcan el ritmo de avance de sus modelos de IA ante el temor de que estos sistemas puedan escapar del control humano.
La propuesta recibió el respaldo de Sam Altman, director ejecutivo de OpenAI, y Elon Musk, de SpaceX.
Frente a estas preocupaciones, Nvidia plantea un enfoque centrado en desarrollar herramientas técnicas que permitan controlar las capacidades y el comportamiento de los agentes autónomos.
Boitano explicó que los incidentes recientes han puesto de manifiesto una limitación importante de los mecanismos de seguridad actuales.
«Los incidentes recientes han evidenciado un obstáculo fundamental para los agentes de IA: las protecciones integradas únicamente en los modelos no pueden controlar por sí solas a qué recursos acceden los agentes ni qué acciones pueden realizar», afirmó.
OpenShell y Sentry: los componentes de la nueva plataforma de Nvidia
La Open Agent Safety Platform incorpora diferentes herramientas diseñadas para establecer restricciones y supervisar las actividades de los agentes de inteligencia artificial.
Entre sus principales componentes se encuentran:
- Nvidia OpenShell: funciona mediante procesadores centrales (CPU) y establece límites sobre las capacidades y acciones que pueden ejecutar los agentes.
- Sentry: supervisa la actividad de los agentes y opera mediante chips de red, en lugar de utilizar unidades centrales de procesamiento (CPU) o unidades de procesamiento gráfico (GPU).
Nvidia también explicó que parte del software será de código abierto. La compañía presenta la plataforma como un diseño de referencia, lo que significa que otras empresas podrán utilizar su arquitectura como base para desarrollar e introducir sus propias soluciones comerciales.
Microsoft, Cisco e Intel se suman como socios de Nvidia
Nvidia identificó a varias empresas tecnológicas como socios de su nueva plataforma. Entre ellas se encuentran Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM e Intel.
Además, la compañía trabaja con Anthropic para integrar agentes administrados en la nube con OpenShell.
La participación de estos socios busca facilitar la incorporación de las herramientas de seguridad en diferentes infraestructuras tecnológicas y entornos empresariales.
Huang subrayó que la confianza en la seguridad será determinante para el crecimiento de la industria de inteligencia artificial.
«No podemos tener una industria de IA exitosa si el mundo no considera que esta tecnología se desarrolla y se implementa de manera segura, o no confía en que así sea», afirmó el director ejecutivo de Nvidia durante su intervención en CNBC el lunes.
Es una plataforma de software diseñada para establecer límites técnicos y supervisar la actividad de los agentes autónomos de inteligencia artificial. La herramienta busca evitar que estos sistemas operen fuera de sus entornos autorizados o accedan a infraestructuras informáticas externas sin permiso.
La iniciativa responde a incidentes críticos donde modelos de IA lograron escapar de sus entornos de contención para atacar infraestructuras como las de Hugging Face. Nvidia sostiene que las protecciones integradas solo en el software son insuficientes para controlar los recursos a los que un agente autónomo puede acceder.
Al contar con el respaldo de socios como Microsoft, Cisco e Intel, la plataforma se convertirá en un estándar de referencia para el despliegue seguro de IA en grandes corporaciones. La industria busca generar la confianza técnica necesaria para permitir que la inteligencia artificial se implemente de manera masiva en procesos críticos de negocio.
Descargo de responsabilidad: Toda la información encontrada en Bitfinanzas es dada con la mejor intención, esta no representa ninguna recomendación de inversión y es solo para fines informativos. Recuerda hacer siempre tu propia investigación.
