Impulsada por la demanda de los clientes, SingleStore, la empresa detrás de la base de datos relacional SingleStoreDB, ha decidido integrar de forma nativa Apache Iceberg en su oferta para ayudar a sus clientes empresariales a hacer uso de los datos almacenados en data lakehouses. “Con esta nueva integración, SingleStore pretende transformar la datos inactivos dentro de las casas del lago en un valioso activo en tiempo real para aplicaciones empresariales. Apache Iceberg, un popular estándar abierto para data lakehouses, proporciona a los CIO almacenamiento y consulta rentables de grandes conjuntos de datos”, dijo Dion Hinchcliffe, analista senior de The Futurum Group. Hinchcliffe señaló que la integración de SingleStore incluye actualizaciones que ayudan a sus clientes a evitar el desafíos que normalmente pueden enfrentar al adoptar métodos tradicionales para hacer que los datos en las tablas Iceberg sean más inmediatos. Estos desafíos incluyen flujos de trabajo ETL (extracción, transformación, carga) complejos y extensos y trabajos Spark de computación intensiva. Algunas de las características clave de la integración son la ingesta de baja latencia, el flujo de datos bidireccional y el rendimiento en tiempo real a costos más bajos, dijo la compañía. Al explicar cómo SingleStore logra una baja latencia en consultas y actualizaciones, el vicepresidente de investigación de IDC, Carl Olofson, dijo que la compañía, anteriormente conocida como MemSQL, una versión optimizada para memoria y de alto rendimiento del sistema de gestión de bases de datos relacionales, utiliza funciones de memoria como una especie de caché. «Al hacerlo, la empresa puede mejorar drásticamente la velocidad con la que se pueden consultar y actualizar las tablas de Iceberg», explicó Olofson, y agregó que la empresa podría estar cargando datos de Iceberg de forma proactiva en su formato optimizado para memoria interna. Antes de la integración de Iceberg, SingleStore contenía datos en una forma o formato optimizado para un intercambio rápido en la memoria, donde se llevaba a cabo todo el procesamiento de datos, dijo el analista. Varios otros proveedores de bases de datos, en particular Databricks, han intentado adoptar el formato de tabla Apache Iceberg debido a su creciente popularidad entre las empresas. A principios de este mes, Databricks acordó adquirir Tabular, el proveedor de plataformas de almacenamiento liderado por los creadores de Apache Iceberg, para para promover la interoperabilidad de datos en lakehouses. Otro formato de data lakehouse, Delta Live Tables, desarrollado por Databricks y luego de código abierto a través de The Linux Foundation, compite con las tablas Iceberg. Actualmente, la compañía está trabajando en otro formato que permite a las empresas utilizar tanto Iceberg como Mesas Delta Live. Tanto Olofson como Hinchcliffe señalaron que varios proveedores y ofertas (como BigQuery de Google, Starburst, Watsonx.data de IBM, DataSphere de SAP, Teradata, Cloudera, Dremio, Presto, Hive, Impala, StarRocks y Doris) han integrado Iceberg como una plataforma abierta. formato de tabla de análisis de origen para conjuntos de datos muy grandes. La integración nativa de Iceberg en SingleStoreDB se encuentra actualmente en versión preliminar pública. Actualizaciones de las opciones de búsqueda e implementación Como parte de las actualizaciones de SingleStoreDB, la compañía está agregando nuevas capacidades a su función de búsqueda de texto completo que mejoran puntuación de relevancia, similitud fonética, concordancia difusa y clasificación basada en la proximidad de palabras clave. La combinación de estas capacidades permite a las empresas eliminar la necesidad de bases de datos especializadas adicionales para crear aplicaciones generativas basadas en IA, explicó la compañía. Además, la compañía ha introducido una función de escalado automático en la versión preliminar pública que permite a las empresas administrar cargas de trabajo o aplicaciones escalando hacia arriba o hacia abajo los recursos informáticos. También permite a los usuarios definir umbrales para el uso de CPU y memoria para el escalado automático, para evitar cualquier consumo innecesario. La compañía dijo que está introduciendo una nueva opción de implementación para la base de datos a través de Helios -BYOC, que es una versión administrada de la base de datos a través de una nube privada virtual. Esta oferta ahora está disponible en versión preliminar privada en AWS y los clientes empresariales pueden ejecutar SingleStore en su propios inquilinos mientras cumplen con las políticas de gobernanza y residencia de datos, dijo la compañía. Copyright © 2024 IDG Communications, Inc.