A medida que los agentes de IA ingresan a la implementación del mundo real, las organizaciones están bajo presión para definir dónde pertenecen, cómo construirlos de manera efectiva y cómo operacionalizarlas a escala. En VentureBeat’s Transform 2025, los líderes tecnológicos se reunieron para hablar sobre cómo están transformando sus negocios con agentes: Joanne Chen, socia general de Foundation Capital; Shailesh Nalawadi, vicepresidente de gestión de proyectos con SendBird; Thys Waanders, SVP de la transformación de AI en Cognigy; y Shawn Malhotra, CTO, compañías de cohetes. Algunos casos de uso de AI de AI de los principales «la atracción inicial de cualquiera de estos despliegues para los agentes de IA tiende a estar en torno a salvar el capital humano, las matemáticas son bastante sencillas», dijo Nalawadi. «Sin embargo, eso subraya la capacidad de transformación que obtienes con los agentes de IA». En Rocket, los agentes de IA han demostrado ser herramientas poderosas para aumentar la conversión del sitio web. «Hemos descubierto que con nuestra experiencia basada en agentes, la experiencia de conversación en el sitio web, los clientes tienen tres veces más probabilidades de convertirse cuando pasan por ese canal», dijo Malhotra. Pero eso es solo rascar la superficie. Por ejemplo, un ingeniero de cohetes construyó un agente en solo dos días para automatizar una tarea altamente especializada: calcular los impuestos de transferencia durante la suscripción hipotecaria. «Esos dos días de esfuerzo nos ahorraron un millón de dólares al año en gastos», dijo Malhotra. «En 2024, ahorramos más de un millón de horas de miembro del equipo, principalmente fuera de nuestras soluciones de IA. Eso no es solo ahorrar gastos. También está permitiendo a los miembros de nuestro equipo enfocar su tiempo en las personas que hacen lo que a menudo es la mayor transacción financiera de su vida». Los agentes están esencialmente sobrealimentando a los miembros del equipo individuales. Ese millón de horas ahorradas no es la totalidad del trabajo de alguien replicado muchas veces. Son las fracciones del trabajo que son cosas que los empleados no disfrutan hacer, o no estaban agregando valor al cliente. Y ese millón de horas ahorradas le da al cohete la capacidad de manejar más negocios. «Algunos de los miembros de nuestro equipo pudieron manejar un 50% más de clientes el año pasado que el año anterior», agregó Malhotra. «Significa que podemos tener un mayor rendimiento, impulsar más negocios y, nuevamente, vemos tasas de conversión más altas porque están pasando el tiempo entendiendo las necesidades del cliente en lugar de hacer mucho más trabajo de memoria que la IA puede hacer ahora». Abordar la complejidad del agente «Parte del viaje para nuestros equipos de ingeniería se está moviendo de la mentalidad de la ingeniería de software: escriba una vez y pruebe y se ejecuta y ofrece la misma respuesta 1,000 veces, al enfoque más probabilístico, donde pregunta lo mismo de un LLM y da diferentes respuestas a través de alguna probabilidad», dijo Nalawadi. «Mucho de esto ha llevado a la gente. No solo los ingenieros de software, sino los gerentes de productos y los diseñadores de UX». Lo que ayudó es que los LLM han recorrido un largo camino, dijo Waanders. Si construyeron algo hace 18 meses o dos años, realmente tuvieron que elegir el modelo correcto, o el agente no funcionaría como se esperaba. Ahora, dice, ahora estamos en una etapa en la que la mayoría de los modelos convencionales se comportan muy bien. Son más predecibles. Pero hoy el desafío es combinar modelos, garantizar la capacidad de respuesta, orquestar los modelos correctos en la secuencia correcta y tejer en los datos correctos. «Tenemos clientes que empujan decenas de millones de conversaciones por año», dijo Waanders. «Si automatiza, digamos, 30 millones de conversaciones en un año, ¿cómo se escala eso en el mundo de LLM? Eso es todo lo que tuvimos que descubrir, cosas simples, incluso de obtener la disponibilidad del modelo con los proveedores de la nube. Tener suficiente cuota con un modelo de chatgpt, por ejemplo. Todos esos son aprendizajes que tuvimos que pasar, y nuestros clientes también es un mundo nuevo». Una capa por encima de la orquestación del LLM está orquestando una red de agentes, dijo Malhotra. Una experiencia de conversación tiene una red de agentes debajo del capó, y el orquestador está decidiendo a qué agente cultivar la solicitud de los disponibles. «Si juegas con eso y piensas en tener cientos o miles de agentes que son capaces de diferentes cosas, obtienes algunos problemas técnicos realmente interesantes», dijo. «Se está convirtiendo en un problema mayor, porque la latencia y el tiempo son importantes. Ese enrutamiento de agentes será un problema muy interesante para resolver en los próximos años». Aprovechando las relaciones de los proveedores hasta este punto, el primer paso para la mayoría de las empresas que lanzaron AI de Agentic han sido construir internamente, porque las herramientas especializadas aún no existían. Pero no puede diferenciar y crear valor mediante la construcción de infraestructura Genérica LLM o infraestructura de IA, y necesita experiencia especializada para ir más allá de la construcción inicial, depurar, iterar y mejorar lo que se ha construido, así como mantener la infraestructura. «A menudo encontramos las conversaciones más exitosas que tenemos con los posibles clientes tienden a ser alguien que ya ha construido algo interno», dijo Nalawadi. «Se dan cuenta rápidamente de que llegar a un 1.0 está bien, pero a medida que el mundo evoluciona y a medida que la infraestructura evoluciona y, a medida que necesitan cambiar la tecnología por algo nuevo, no tienen la capacidad de orquestar todas estas cosas». En la preparación de la complejidad de la IA agente teóricamente, la IA de agente solo crecerá en complejidad: el número de agentes en una organización aumentará y comenzarán a aprender entre sí, y el número de casos de uso explotará. ¿Cómo pueden las organizaciones prepararse para el desafío? «Significa que los cheques y equilibrios en su sistema se estresarán más», dijo Malhotra. «Para algo que tiene un proceso regulatorio, tiene un humano en el ciclo para asegurarse de que alguien esté firmando esto. tengo que hacerlo «. Entonces, ¿cómo puede tener la confianza de que un agente de IA se comportará de manera confiable a medida que evoluciona? «Esa parte es realmente difícil si no lo has pensado al principio», dijo Nalawadi. «La respuesta breve es que incluso antes de comenzar a construirlo, debe tener una infraestructura EVAL en su lugar. Asegúrese de tener un entorno riguroso en el que sabe cómo se ve bien, de un agente de inteligencia artificial, y de que tenga este conjunto de pruebas. Sigue refiriéndote a él mientras realiza mejoras. Una forma muy simplista de pensar sobre Eval es que son las pruebas unitarias para su sistema agente». El problema es que no es determinista, agregó Waanders. Las pruebas unitarias son críticas, pero el mayor desafío es que no sabe lo que no sabe: qué comportamientos incorrectos podría mostrar un agente, cómo podría reaccionar en cualquier situación dada. «Solo puede descubrirlo simulando las conversaciones a escala, empujándolo bajo miles de escenarios diferentes, y luego analizando cómo se mantiene y cómo reacciona», dijo Waanders.
Deja una respuesta