Apenas unos días después de que el proveedor rival de data lakehouse, Snowflake, dijera que abriría el código fuente de su catálogo Polaris, Databricks está abriendo el código fuente de su oferta de Unity Catalog. El Unity Catalog de Databricks, que estuvo disponible de forma generalizada en junio de 2022 y luego se actualizó con las capacidades de Okera. , solía ser una oferta de gobernanza unificada de código cerrado que proporcionaba control de acceso centralizado, auditoría, linaje y capacidades de descubrimiento de datos en los espacios de trabajo de Databricks. Cuando Snowflake lanzó Polaris Catalog en su conferencia anual a principios de este mes, dijo que abriría el código fuente dentro de tres meses. Ofrece capacidades similares a Unity Catalog, pero está construido sobre el popular formato de tabla de datos de código abierto Apache Iceberg. «Es difícil mirar el anuncio del catálogo de Unity sin pensar en la competencia constante que existe entre Databricks y Snowflake por la atención empresarial», dijo Hyoun Park, analista jefe de Amalgam Insights. «Al abrir el abastecimiento de Unity antes que Polaris, Databricks quiere posicionarse como el primero en abrir su catálogo de datos”, agregó Park. Ahora Databricks dice que ha abierto Unity Catalog bajo la licencia Apache 2.0 y también abrió todas sus API. La licencia Apache 2.0, introducida por Apache Software Foundation en 2004, es una licencia de software que permite a los usuarios modificar y distribuir código sin ningún cargo. Después de ser de código abierto, el catálogo proporcionará a los usuarios una interfaz universal que admite datos en cualquier formato. y entorno informático, como la capacidad de leer tablas con clientes Delta Lake, Apache Iceberg y Apache Hudi a través de Delta Lake UniForm, dijo la compañía. La versión ahora de código abierto también es compatible con los estándares de interfaz Iceberg REST Catalog y Hive Metastore (HMS), agregó. Además, Unity Catalog continuará brindando gobernanza unificada en todos los activos de IA, como modelos de aprendizaje automático (ML) y herramientas de IA generativa. .La medida para abrir las API de Unity Catalog, según el vicepresidente de investigación de IDC, Stewart Bond, proporciona acceso abierto a la inteligencia sobre los datos contenidos en el entorno de Databricks. “Esto es importante ya que brinda oportunidades para que una empresa incluya inteligencia sobre los datos en Databricks. para integrarse y compartirse con catálogos que mantienen inteligencia sobre los datos almacenados en otros lugares”, dijo Bond, y agregó que es una forma de respaldar la unificación de la inteligencia de datos para que los consumidores, ingenieros y ejecutivos de datos no necesiten usar múltiples herramientas para descubrir , gestionar y gobernar todos los datos de una empresa determinada. Este enfoque de respaldar la unificación de datos, según Steven Dickens, líder de práctica de nube híbrida de The Futurum Group, elimina la dependencia de los proveedores, lo que permite a las empresas elegir las mejores herramientas y plataformas para sus necesidades, al tiempo que garantiza una gobernanza y seguridad consistentes en todo su patrimonio de datos. Una carrera para ser visto como más código abierto. Los analistas ven el código abierto de Unity Catalog, que también se produjo inmediatamente después de la decisión de Snowflake de abrir el código Polaris Catalog en tres meses, como una carrera para ser visto como más código abierto y captar datos. usuarios del catálogo. Dickens de Futurum dijo que el paso de Databricks al Unity Catalog de código abierto representa un desafío importante para rivales como Snowflake, Teradata y Dremio. “El énfasis en la interoperabilidad y el compromiso de código abierto garantiza que Databricks pueda atender a una gama más amplia de clientes necesidades, reduciendo la fricción asociada con la compatibilidad del formato de datos”, dijo. «Teradata y Dremio, si bien son fuertes en sus respectivos nichos, no han demostrado el mismo nivel de integración y herramientas integrales para la gestión de datos y de IA», añadió Dickens. Sin embargo, Bond de IDC señaló que el éxito del Unity Catalog, ahora de código abierto, Dependerá de cuántos metadatos sobre los datos almacenados en plataformas competitivas se pongan a disposición de procesos externos. “Unity sigue siendo un catálogo muy técnico. Hacerlo de código abierto puede acelerar las innovaciones en las experiencias de usuario a nivel empresarial y hacer que Unity sea más competitivo”, dijo Bond. Copyright © 2024 IDG Communications, Inc.