La forma en que las organizaciones almacenan, gestionan y analizan los datos siempre será un problema complicado, dado el constante ataque de datos a los sistemas de TI corporativos. Es como si los equipos de TI siempre estuvieran tratando de ponerse al día. Según Veritas, la empresa promedio almacena alrededor de 10 PB (petabytes) de datos, lo que equivale a alrededor de 23 mil millones de archivos, el 52% de los cuales son datos no clasificados (u oscuros) y el 33% de los cuales son redundantes, obsoletos y triviales. Si bien esto inevitablemente afecta los costos de almacenamiento y la ciberseguridad (esa es otra historia), analizar y obtener información de estos datos no es fácil. Exige un enfoque diferente a cómo se gestionan los datos tradicionalmente, ya que cada vez más organizaciones trabajan con relaciones de datos cada vez más complejas. La inteligencia artificial generativa (GenAI) sin duda se está convirtiendo en una consideración cada vez mayor, especialmente cuando se trata del pensamiento corporativo sobre la gestión de datos. Pero es algo así como un arma de doble filo en este momento. Las ventajas (a menudo beneficios que llaman la atención) están influyendo en los miembros de la junta directiva. Según un estudio de Capgemini, el 96% de los ejecutivos citan a GenAI como un tema de debate candente en las salas de juntas. Pero cuando se trata de realidades prácticas, todavía hay cierta incertidumbre. Como revela la séptima encuesta anual de Couchbase a líderes globales de TI, las empresas están luchando con arquitecturas de datos que no logran gestionar las demandas de datos. La investigación afirma que esta lucha equivale a un promedio de $4 millones en gastos desperdiciados. Alrededor del 42% de los encuestados atribuye esto a la dependencia de tecnología heredada que no puede satisfacer los requisitos digitales, mientras que el 36% cita problemas para acceder o administrar los datos necesarios. Lo que está claro es que las bases de datos relacionales no pueden moverse lo suficientemente rápido para satisfacer las demandas de las aplicaciones modernas con uso intensivo de datos, y las empresas están sufriendo como resultado. La gestión de conjuntos de datos estructurados y no estructurados ha dado lugar a diferentes enfoques. Por ejemplo, las bases de datos gráficas, un tipo de base de datos NoSQL, se consideran cada vez más esenciales para la combinación moderna de bases de datos que las organizaciones necesitan para abordar sus necesidades de datos. Curiosamente, los resultados de la encuesta de Couchbase muestran que el 31% de las empresas tienen arquitecturas de bases de datos consolidadas, por lo que las aplicaciones no pueden acceder a múltiples versiones de datos, y que solo el 25% de las empresas tienen una base de datos de alto rendimiento que puede administrar datos no estructurados a alta velocidad. Bases de datos NoSQL en acción Entonces, ¿quién está utilizando bases de datos de gráficos y otras bases de datos NoSQL y por qué? ¿Puede ayudar un enfoque de múltiples bases de datos o simplemente significa más complejidad para administrar? Según Rohan Whitehead, especialista en datos del Institute of Analytics (IoA), un organismo profesional para profesionales de la analítica y la ciencia de datos, las principales razones para adoptar bases de datos de gráficos son su eficiencia en el manejo de datos altamente interconectados y su capacidad para realizar consultas complejas con baja latencia. «Proporcionan una forma natural e intuitiva de modelar redes del mundo real, lo que las hace ideales para casos de uso donde comprender las relaciones entre los puntos de datos es crucial», dice. Ejemplos de usuarios destacados incluyen redes sociales, como Facebook, que desean analizar relaciones a través de gráficos sociales. Los proveedores de servicios financieros también utilizan bases de datos de gráficos para la detección de fraudes, mapeando patrones de transacciones para descubrir anomalías que podrían indicar actividades fraudulentas. Y las empresas de la cadena de suministro utilizan bases de datos gráficas para optimizar la logística mediante el análisis de las relaciones entre proveedores, productos y rutas. “Las bases de datos NoSQL se adoptan ampliamente en industrias como el comercio electrónico, la IoT [internet of things] y análisis en tiempo real”, dice Whitehead. “Gigantes del comercio electrónico como Amazon y eBay usan bases de datos orientadas a documentos como MongoDB para administrar catálogos de productos, lo que permite actualizaciones rápidas y flexibles sin la necesidad de implicaciones de esquemas complejos”. Agrega que las aplicaciones de IoT, como las de ciudades inteligentes o automatización industrial, se benefician de la “escalabilidad y flexibilidad de los almacenes de valores clave como Redis, que pueden manejar la alta velocidad de los datos generados por sensores. En análisis en tiempo real, las empresas usan almacenes de familias de columnas como Cassandra para procesar y analizar grandes volúmenes de datos en streaming, lo que permite una rápida toma de decisiones y conocimientos”. Escalabilidad y flexibilidad Si bien las bases de datos gráficas son eficientes en su manejo de datos interconectados, realizando consultas de baja latencia, NoSQL puede escalar horizontalmente, manejar datos no estructurados y funcionar bien en entornos distribuidos. La clave aquí es la capacidad de administrar diferentes modelos de datos y admitir varias cargas de trabajo. “Hoy, muchos equipos usan gráficos porque son una opción flexible y de alto rendimiento para muchos sistemas de datos modernos”, dice Jim Webber, científico jefe de Neo4j. “Los gráficos son adecuados para muchos ámbitos porque los datos altamente asociativos (es decir, gráficos) son frecuentes en muchos ámbitos empresariales. Los gráficos son ahora una tecnología de uso general, de forma muy similar a las bases de datos relacionales, y la mayoría de los problemas se pueden razonar fácilmente como gráficos”. Como ejemplo, señala a uno de los grandes clientes bancarios de Neo4j que quiere “conocer su perfil de riesgo consultando transitivamente una red compleja de activos”. Según Webber, la organización había iniciado y abandonado repetidamente el proyecto, tras haber intentado que funcionara utilizando tablas relacionales. En otro ejemplo, Webber dice que Transport for London utiliza gráficos para actuar más rápido en la reparación y el mantenimiento de las redes de carreteras de Londres, “ahorrándole a la ciudad alrededor de 600 millones de libras al año”. Otro cliente de Neo4j es ExpectAI, una consultora con sede en Londres que utiliza tecnología de bases de datos gráficas para soluciones al cambio climático. Según el director ejecutivo y fundador Anand Verma, la tecnología gráfica ha permitido a la empresa “navegar por un vasto ecosistema de datos públicos y privados, al tiempo que proporciona la trazabilidad y el contexto necesarios para reducir el pesimismo en torno al lavado de imagen verde percibido”. Verma añade que la flexibilidad de las bases de datos gráficas ha proporcionado a la empresa lo que necesita para capturar de forma eficaz relaciones complejas en sus datos. «Esto, a su vez, proporciona la información y los conocimientos poderosos que nuestros clientes necesitan para tomar medidas rentables y, al mismo tiempo, reducir su huella de carbono», afirma. Pero es la parte de IA del nombre de la empresa lo que realmente añade valor a la oferta. Verma sugiere que la IA está ayudando a la tecnología a organizar datos no estructurados, lo que a su vez permite la búsqueda semántica y la indexación vectorial. «Esto está ayudando a los usuarios a interpretar sus datos a través de un procesamiento del lenguaje natural (PLN)». [natural language processing] Preguntas y respuestas conversacionales [questions and answers] “La IA es una interfaz que permite reducir las emisiones de carbono en 500 megatones en todo el mundo para 2030”, afirma Verma. “Nuestro objetivo final con esta tecnología es contribuir significativamente a la reducción de las emisiones de carbono en 500 megatones en todo el mundo para 2030”. Es un objetivo loable y un buen ejemplo de cómo la tecnología de gráficos está transformando las relaciones de datos y permitiendo que florezcan nuevas ideas de negocios de datos complejos. El uso de IA aumentará invariablemente a medida que las organizaciones busquen reducir las funciones manuales, impulsar los tiempos de consulta y aumentar los conocimientos. IA y NoSQL Whitehead, del IoA, dice que las bases de datos de gráficos son “particularmente adecuadas para aplicaciones de IA que requieren comprender y analizar las relaciones dentro de los datos”. Agrega que la tecnología puede admitir algoritmos avanzados para el reconocimiento de patrones, la detección de comunidades y la búsqueda de rutas, que son cruciales para tareas como los sistemas de recomendación, la detección de fraudes y los gráficos de conocimiento. Para Ken LaPorte, gerente del grupo de ingeniería de infraestructura de datos de Bloomberg, la IA ya ha tenido un impacto significativo, pero con NoSQL, la empresa ha visto mucho interés internamente en “hacer uso de Apache AGE, la extensión de la base de datos de gráficos, junto con PostgreSQL”. “Se ha utilizado para todo, desde el linaje de datos (rastreo de datos a medida que se mueven a través de los sistemas) hasta intrincados paneles de implementación. El poder analítico de Apache AGE combinado con los ricos conjuntos de datos de Bloomberg ha sido una historia de éxito natural para nosotros”. Por lo tanto, la IA está demostrando ser invaluable a medida que la empresa lucha con el volumen cada vez mayor de información estructurada y no estructurada necesaria para tomar decisiones informadas. “Como estamos viendo un aumento exponencial en la información financiera en todas las clases de activos, Bloomberg continúa invirtiendo en una serie de tecnologías diferentes para garantizar que podamos ejecutar nuestra estrategia integral de IA”, agrega LaPorte. “Las bases de datos de gráficos y vectores son partes clave de ese esfuerzo, además de los componentes de búsqueda vectorial integrados en otras tecnologías de datos. Esto abarca la búsqueda dispersa tradicional a búsquedas de vectores (o semánticas) más densas impulsadas por IA”. Las bases de datos NoSQL, con su capacidad para manejar grandes volúmenes de datos, son parte integral de las aplicaciones de IA. Admiten la ingestión y consulta de datos en tiempo real, esencial para las aplicaciones de IA que requieren procesamiento de datos y toma de decisiones inmediatos, como el mantenimiento predictivo y el análisis en tiempo real. En Bloomberg, por ejemplo, las capacidades de análisis de datos en tiempo real de las bases de datos gráficas respaldan las aplicaciones de IA que exigen información instantánea, como precios dinámicos y detección de anomalías. “Los modelos de datos flexibles de las bases de datos NoSQL permiten el almacenamiento y procesamiento de tipos de datos complejos y variados, lo que es ventajoso para las aplicaciones de IA que necesitan manejar datos no estructurados como texto, imágenes y datos de sensores”, dice Whitehead de IoA. Como ejemplo, dice: “El modelo orientado a documentos de MongoDB facilita el almacenamiento y la recuperación de datos basados ​​en JSON, que se utilizan comúnmente en flujos de trabajo de IA”. Dirección futura de la base de datos Whitehead sugiere que el futuro de las bases de datos gráficas “parece prometedor”, con un crecimiento esperado en la adopción a medida que más organizaciones reconozcan el valor de analizar datos interconectados. “Industrias como la atención médica, las telecomunicaciones y las finanzas dependerán cada vez más de las bases de datos gráficas para sus capacidades analíticas”, dice, y agrega que los desarrollos futuros probablemente se centrarán en mejorar el análisis de gráficos y una integración más profunda con las tecnologías de IA. Espere ver a los proveedores de la nube expandir sus ofertas de bases de datos, promocionando soluciones más sólidas, escalables e integradas. Las bases de datos Graph y otras bases de datos NoSQL están “preparadas para un crecimiento e innovación significativos”, dice Whitehead. No es el único que piensa así. El consenso es que las capacidades estarán a la altura de la creciente visión de la industria, con la integración de la IA que permitirá aplicaciones más inteligentes y basadas en datos. LaPorte de Bloomberg tiene un consejo: “Todo el mundo necesita experimentar. Hay que pensar en un caso de uso. Se puede confiar en productos como DataStax AstraDB, OpenAI, etc., para crear una solución lista para producción en poco tiempo y medir su valor inmediatamente. Luego, si la dirección parece lo suficientemente buena, se pueden invertir más recursos para optimizar el caso de uso”.