Suscríbase a nuestros boletines diarios y semanales para recibir las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información En la Cumbre DataGrail 2024 de esta semana, los líderes de la industria lanzaron una dura advertencia sobre los riesgos que avanzan rápidamente asociados con la inteligencia artificial. Dave Zhou, CISO de Instacart, y Jason Clinton, CISO de Anthropic, destacaron la necesidad urgente de medidas de seguridad sólidas para seguir el ritmo del crecimiento exponencial de las capacidades de IA durante un panel titulado «Crear la disciplina para poner a prueba la IA, ahora, para un futuro más seguro». El panel, moderado por el director editorial de VentureBeat, Michael Nunez, reveló tanto el potencial emocionante como las amenazas existenciales que plantea la última generación de modelos de IA. El crecimiento exponencial de la IA supera los marcos de seguridad Jason Clinton, cuya empresa Anthropic opera a la vanguardia del desarrollo de la IA, no se contuvo. “Cada año, durante los últimos 70 años, desde que salió el perceptrón en 1957, hemos tenido un aumento de 4 veces interanual en la cantidad total de computación que se ha invertido en el entrenamiento de modelos de IA”, explicó, enfatizando la incesante aceleración del poder de la IA. “Si queremos patinar hacia donde estará el disco en unos pocos años, tenemos que anticipar lo que una red neuronal que es cuatro veces más computacional habrá invertido en ella dentro de un año, y 16 veces más computacional en dos años”. Clinton advirtió que este rápido crecimiento está llevando las capacidades de IA a un territorio inexplorado, donde las salvaguardas actuales pueden volverse obsoletas rápidamente. “Si planificas para los modelos y los chatbots que existen hoy, y no estás planeando para los agentes y las arquitecturas de subagente y los entornos de almacenamiento en caché rápido, y todas las cosas que surgen en la vanguardia, te quedarás muy atrás”, advirtió. “Estamos en una curva exponencial, y una curva exponencial es algo muy, muy difícil de planificar”. Alucinaciones de IA y el riesgo para la confianza del consumidor Para Dave Zhou en Instacart, los desafíos son inmediatos y apremiantes. Supervisa la seguridad de grandes cantidades de datos confidenciales de clientes y se enfrenta a la naturaleza impredecible de los grandes modelos de lenguaje (LLM) a diario. “Cuando pensamos en los LLM con memoria como si fueran Turing completos y desde una perspectiva de seguridad, sabiendo que incluso si alineas estos modelos para que solo respondan las cosas de una determinada manera, si pasas suficiente tiempo instándolos, curándolos, empujándolos, puede haber formas de romper algo de eso”, señaló Zhou. Zhou compartió un ejemplo sorprendente de cómo el contenido generado por IA podría conducir a consecuencias en el mundo real. “Algunas de las imágenes de archivo iniciales de varios ingredientes parecían un hot dog, pero no era exactamente un hot dog, parecía algo así como un hot dog extraterrestre”, dijo. Tales errores, argumentó, podrían erosionar la confianza del consumidor o, en casos más extremos, plantear un daño real. “Si la receta era potencialmente una receta alucinada, no quieres que alguien haga algo que realmente pueda dañarlos”. A lo largo de la cumbre, los oradores enfatizaron que el rápido despliegue de tecnologías de IA, impulsado por el atractivo de la innovación, ha superado el desarrollo de marcos de seguridad críticos. Tanto Clinton como Zhou pidieron que las empresas inviertan tanto en sistemas de seguridad de IA como en las propias tecnologías de IA. Zhou instó a las empresas a equilibrar sus inversiones. “Por favor, intenten invertir tanto como puedan en IA en esos sistemas de seguridad de IA y en esos marcos de riesgo y en los requisitos de privacidad”, aconsejó, destacando el “enorme impulso” en todas las industrias para capitalizar los beneficios de productividad de la IA. Sin un enfoque correspondiente en minimizar los riesgos, advirtió, las empresas podrían estar invitando al desastre. Prepararse para lo desconocido: el futuro de la IA plantea nuevos desafíos Clinton, cuya empresa opera en la vanguardia de la inteligencia de IA, brindó una visión del futuro, uno que exige vigilancia. Describió un experimento reciente con una red neuronal en Anthropic que reveló las complejidades del comportamiento de la IA. “Descubrimos que es posible identificar en una red neuronal exactamente la neurona asociada con un concepto”, dijo. Clinton describió cómo un modelo entrenado para asociar neuronas específicas con el puente Golden Gate no podía dejar de hablar sobre el puente, incluso en contextos en los que era tremendamente inapropiado. “Si le preguntas a la red… ‘dime si sabes, puedes dejar de hablar sobre el puente Golden Gate’, en realidad reconoce que no puede dejar de hablar sobre el puente Golden Gate”, reveló, señalando las implicaciones desconcertantes de tal comportamiento. Clinton sugirió que esta investigación apunta a una incertidumbre fundamental sobre cómo estos modelos operan internamente: una caja negra que podría albergar peligros desconocidos. “A medida que avanzamos… todo lo que está sucediendo ahora será mucho más poderoso en un año o dos a partir de ahora”, dijo Clinton. “Tenemos redes neuronales que ya están reconociendo cuando su estructura neuronal no está alineada con lo que consideran apropiado”. A medida que los sistemas de IA se integran más profundamente en procesos comerciales críticos, aumenta el potencial de fallas catastróficas. Clinton pintó un futuro en el que los agentes de IA, no solo los chatbots, podrían asumir tareas complejas de forma autónoma, lo que plantea el espectro de decisiones impulsadas por IA con consecuencias de largo alcance. «Si planificas para los modelos y los chatbots que existen hoy… te quedarás muy atrás», reiteró, instando a las empresas a prepararse para el futuro de la gobernanza de la IA. Los paneles de la Cumbre DataGrail en su conjunto transmitieron un mensaje claro: la revolución de la IA no se está desacelerando, y tampoco pueden hacerlo las medidas de seguridad diseñadas para controlarla. «La inteligencia es el activo más valioso de una organización», afirmó Clinton, capturando el sentimiento que probablemente impulsará la próxima década de innovación en IA. Pero como tanto él como Zhou dejaron en claro, la inteligencia sin seguridad es una receta para el desastre. A medida que las empresas compiten por aprovechar el poder de la IA, también deben enfrentar la cruda realidad de que este poder conlleva riesgos sin precedentes. Los directores ejecutivos y los miembros de la junta deben prestar atención a estas advertencias y asegurarse de que sus organizaciones no solo se suban a la ola de innovación de la IA, sino que también estén preparadas para navegar por las traicioneras aguas que se avecinan. VB Daily ¡Manténgase informado! Recibe las últimas noticias en tu bandeja de entrada todos los días Al suscribirte, aceptas los Términos de servicio de VentureBeat. Gracias por suscribirte. Consulta más boletines de VB aquí. Se ha producido un error.