¿Quieres ideas más inteligentes en tu bandeja de entrada? Regístrese en nuestros boletines semanales para obtener solo lo que importa a los líderes de IA, datos y seguridad empresariales. Suscripción ahora los datos de transmisión en tiempo real pueden ser valiosos para numerosas aplicaciones y propósitos en todas las industrias. En el caso de la Bolsa de Nueva York (NYSE), la transmisión de datos es literalmente dinero. La NYSE es uno de los intercambios financieros más grandes del mundo y tiene una larga historia de poder compartir sus datos del mercado financiero. Hace cien años utilizó cinta de ticker basada en Telegraph para compartir información. En la era moderna, ha desarrollado sus propias tecnologías de baja latencia y de alto rendimiento implementadas en las instalaciones con las que otras organizaciones pueden conectarse. Ahora está dando el siguiente paso adelante, adoptando un modelo basado en la tecnología de transmisión Apache Kafka de código abierto que lleva los datos de las mejores cotizaciones y operaciones (BQT) de NYSE a la nube de AWS. AI Scaling alcanza sus límites de potencia de límites, el aumento de los costos de los tokens y los retrasos de inferencia están remodelando Enterprise AI. Únase a nuestro salón exclusivo para descubrir cómo son los mejores equipos: convertir la energía en una ventaja estratégica arquitectando una inferencia eficiente para las ganancias de rendimiento real que desbloquean el ROI competitivo con los sistemas de IA sostenibles asegura su lugar para mantenerse a la vanguardia: https://bit.ly/4mwgngo para hacerlo, NYSE asociado con la plataforma de datos de transmisión Redpanda, que ha desarrollado su propia implementación de Kafkka en el Kafka, en el que se escribió el Languma de la plataforma de transmisión. La implementación de NYSE de la plataforma de transmisión basada en C ++ de Redpanda logró mejoras de rendimiento de 4-5x sobre los competidores tradicionales de Kafka, exponiendo limitaciones fundamentales en la forma en que la mayoría de las organizaciones manejan las cargas de trabajo de datos explosivas. Esta brecha de rendimiento se vuelve crítica a medida que las empresas escalan aplicaciones de IA que exigen acceso consistente a datos de baja latencia. La transmisión de datos con sede en Kafka también tiene potencial para habilitar las comunicaciones de agente a agente, rivalizando con otros enfoques como A2A de Google y también se puede extender para habilitar el Protocolo de contexto del modelo (MCP). «La tesis del mercado es que todos los grandes modelos de fundaciones han indexado realmente los conjuntos de datos públicos, y la siguiente frontera son conjuntos de datos privados, y Redpanda realmente desbloquea conjuntos de datos privados para el acceso de agente», dijo Alex Gallego, fundador y CEO de Redpanda a VentureBeat. Lo que el NYSE está construyendo en la nube NYSE construyó su plataforma de transmisión de la nube para servir a los clientes que no pueden acceder directamente a sus centros de datos. El intercambio se dirige a las compañías FinTech y a los corredores minoristas que necesitan acceso basado en AWS a los datos del mercado en tiempo real. «No todos los consumidores de los datos de nuestro mercado tienen la capacidad de llegar a nuestro centro de datos, tomar el feed y usar ese feed», dijo Vinil Bhandari, jefe de ingeniería de nubes y pila completa en NYSE a VentureBeat. «Pero ya sabes, una pequeña tienda en Hong Kong tiene acceso para crear su propia cuenta de AWS, por ejemplo, y son esas audiencias a las que estamos tratando de atender». NYSE transmite su feed BQT (Best Quotes and Trades), que agrega datos en tiempo real de los siete intercambios de NYSE. La implementación requirió construir una nueva infraestructura en lugar de extender los sistemas existentes. Por qué NYSE eligió Redpanda y cómo la elección del lenguaje de programación importa procesa NYSE más de 500 mil millones de mensajes diariamente en siete intercambios. Durante la volatilidad del mercado, el volumen de mensajes puede aumentar 1,000x por encima del promedio dentro de los microsegundos. Las implementaciones tradicionales de Java luchan con estos patrones porque la recolección de basura crea picos de latencia impredecibles. «La clásica implementación de Kafka fue escrita en el lenguaje de programación de Java, lo que hace que este tipo de tráfico estallado, ya sabes, no es muy justo con la recolección de basura de Java que ocurre en el lenguaje de programación», explicó Bhandari. «Redpanda ha realizado la implementación de Kafka reescribiendo el protocolo Kafka en C ++, por lo que cada vez que obtenemos una explosión de tráfico de nuestra actividad del mercado, la volatilidad, podemos administrar esa transmisión de datos mejor». La elección del lenguaje de programación también es la razón por la cual NYSE fue con Redpanda para la transmisión de datos en lugar de otras opciones como la transmisión confluente o administrada por Amazon para Kafka (MSK). Esta decisión técnica resultó en mejoras de rendimiento medibles. «Somos seguros para establecer que somos al menos de cuatro a cinco veces más rápido en nuestra entrega de datos utilizando Redpanda en comparación con algunos de nuestros competidores personalizados de Big Ticket que utilizan la tecnología Kafka para transmitir datos similares», señaló Bhandari. Para las empresas que evalúan las plataformas de transmisión, esta comparación destaca una consideración crítica: las implementaciones basadas en Java para la transmisión de datos pueden luchar durante las picos de tráfico, mientras que las alternativas basadas en C ++ pueden mantener un rendimiento consistente. La observabilidad resulta crítica para las implementaciones de la misión crítica que Bhandari enfatizó la observabilidad como esencial para las implementaciones de transmisión de producción. Las capacidades de telemetría incorporadas de Redpanda proporcionaron un valor operativo inmediato. «Cuanto más sea una implementación como esta puede tener observabilidad y telemetría de lo que está sucediendo bajo el capó, mejor será el productor de los datos y los consumidores de los datos», explicó Bhandari. Esta observabilidad permite la detección y resolución de problemas proactivos antes de que los problemas afecten a los clientes. Sin un monitoreo integral, las empresas corren el riesgo de descubrir problemas de rendimiento solo después de que afectan las cargas de trabajo de producción y la experiencia del cliente. Cambio de filosofía de arquitectura: la transmisión como una Fundación AI NYSE utilizará las capacidades de datos de transmisión de una manera bastante tradicional, al menos inicialmente. Es decir, los datos de sus intercambios de mercado están disponibles para que los usuarios los consuman. La dirección en la que se dirige Redpanda apunta a un futuro de IA más agente, una que los usuarios como NYSE probablemente adoptarán en los próximos años. El CEO de Redpanda, Gallego, argumenta que las empresas deben ver la arquitectura de transmisión de manera diferente en la era de la IA. «La transmisión tiene el patrón arquitectónico adecuado, no para la velocidad, sino porque es la arquitectura adecuada para aplicaciones reactivas y de agente», explicó Gallego. Más allá de resolver problemas de rendimiento de transmisión tradicionales, Redpanda se ha reposicionado para lo que Gallego llama la empresa de agentes. La compañía ha envuelto sus conectores de datos en MCP (protocolo de contexto del modelo), lo que permite a los agentes de IA acceder directamente a las fuentes de datos empresariales. Este enfoque resuelve un problema de complejidad computacional que surge a medida que las empresas implementan múltiples agentes de IA. «Sin la API de Kafka, tiene un problema de comunicación cuadrado en el que cada agente tiene que tener acceso a cualquier otro agente», dijo Gallego. «Y cuando introduces la API de Kafka, se reduce de la complejidad computacional cuadrada a lineal». Según Gallego, los bancos ya están desplegando cientos de agentes. Un cliente de Redpanda planea construir 1,000 agentes en los próximos dos años. Otro actualmente está construyendo 130 agentes para el despliegue de producción dentro de los 18 meses. Estos requisitos de escala hacen que las decisiones de arquitectura de coordinación de agentes sean críticas para el éxito de la estrategia de IA a largo plazo. Lo que esto significa para la estrategia de datos empresariales de transmisión en tiempo real se convertirá en un aspecto cada vez más crítico de las operaciones de muchas organizaciones. El proceso de evaluación de NYSE revela criterios de decisión críticos para los tomadores de decisiones empresariales que evalúan la infraestructura de transmisión: Kafka, con sede en Java, llega a las paredes de rendimiento bajo el tráfico de estallido. Las organizaciones que manejan cargas de trabajo impredecibles deben evaluar alternativas basadas en C ++ antes de escalar las implementaciones de producción. La diferencia de rendimiento 4-5x no es la optimización marginal sino la brecha de capacidad fundamental. Las estrategias de transmisión de la primera nube pueden lograr un rendimiento de grado de producción. Esto permite patrones de acceso a datos globales que antes no eran prácticos debido a limitaciones de latencia, abriendo nuevas oportunidades de mercado para empresas basadas en datos. La coordinación del agente requiere una arquitectura de transmisión. A medida que las implementaciones de IA se expanden más allá de los agentes individuales, las plataformas de transmisión se convierten en infraestructura esencial en lugar de optimizaciones de rendimiento. Las ventajas de complejidad computacional se vuelven críticas a escala. Para las organizaciones que planean implementaciones de IA, es fundamental priorizar las plataformas de transmisión que admiten la integración de MCP y la coordinación de los agentes. Las ventajas de complejidad computacional se vuelven críticas a escala y en la arquitectura de coordinación de modernización después de implementar múltiples agentes resulta exponencialmente más difícil que construirla correctamente desde el principio. Las organizaciones que esperan para adoptar la IA deben reconocer que las decisiones de la arquitectura de transmisión tomadas hoy en día limitarán las futuras capacidades de IA más de lo que la mayoría de los líderes creen. Insights diarias sobre casos de uso de negocios con VB diariamente Si desea impresionar a su jefe, VB Daily lo tiene cubierto. Le damos la cuenta interior de lo que las empresas están haciendo con la IA generativa, desde cambios regulatorios hasta implementaciones prácticas, por lo que puede compartir ideas para el ROI máximo. Lea nuestra Política de privacidad Gracias por suscribirse. Mira más boletines de VB aquí. Ocurrió un error.