Más que cualquier otro factor, la hiperabundancia de datos accesibles ha impulsado el aumento actual en la adopción de IA y la capacidad generativa de IA. Recopilar, limpiar, organizar y proteger esos datos para la IA y el aprendizaje automático se ha convertido en un proyecto en sí mismo: una tarea de gobernanza en la que las propias herramientas de IA desempeñan un papel importante. El resultado puede ser una enorme mejora en la gobernanza de datos que beneficie a toda la empresa. La base de datos sigue siendo el depósito fundamental de datos, pero el ecosistema de herramientas de gobernanza de datos impulsadas por IA está por todas partes, incluidos productos de nuevas empresas que pueden carecer de capacidad de permanencia. o experiencia profunda en bases de datos. Con el tiempo, es probable que se integre un número creciente de capacidades de gobernanza con ofertas de software de bases de datos y servicios de bases de datos en la nube. El uso de IA para automatizar la gobernanza de datos tiene beneficios inmediatos. Cuanto mejor gobierne una empresa sus datos, mejor podrá su personal de MLOps (operaciones de aprendizaje automático) utilizar esos datos para crear aplicaciones impulsadas por IA. En términos más generales, agregar IA a la gobernanza de datos tiene un impacto positivo en los esfuerzos de análisis de datos, cumplimiento normativo y calidad de datos de cualquier organización. Así es como la IA está modernizando los procesos relacionados con la gobernanza y cómo las herramientas mejoradas por IA pueden ayudar a garantizar el éxito tanto de la IA como de la gobernanza de datos. Aplicaciones de ML y manipulación de datos en general. Catalogación de datos ¿Sabes dónde están tus datos? Para que la gobernanza funcione, las organizaciones necesitan un inventario completo de todos los almacenes de datos destacados y comprender lo que contienen. La tarea de identificar, acceder y categorizar datos empresariales se vuelve cada vez más ardua, gracias a la proliferación desenfrenada de almacenes de datos en la nube, sin mencionar los registros semiestructurados utilizados para identificar tendencias y anomalías operativas. El software de catalogación de datos pone todos esos repositorios en el mapa. La IA puede ayudar en cada fase de la catalogación de los datos de una organización, comenzando con el descubrimiento automatizado de cada almacén de datos relevante para la empresa. El alcance de las herramientas de catalogación varía, pero algunas utilizan IA para organizar políticas de control de acceso y/o permitir la búsqueda en lenguaje natural en todo el tejido de datos de una organización. La catalogación impulsada por IA reduce enormemente el trabajo manual asociado con la clasificación de activos de datos y revela linajes de datos que muestran dónde se originaron y cómo han cambiado. Gestión de metadatos La gestión eficaz de los metadatos (es decir, la gestión de la información que describe los datos de su empresa) es fundamental para una gestión exitosa. Las herramientas de catalogación de IA pueden identificar metadatos para categorizar adecuadamente los activos de datos, pero la administración de metadatos también es vital para un patrimonio de datos saludable. Por lo tanto, una amplia gama de ofertas, desde software de integración de datos hasta plataformas de observabilidad de datos, ahora ofrecen capacidades de gestión de metadatos. Las herramientas de gestión de metadatos infundidas con IA alivian el tedio de la clasificación manual de datos y ayudan a conciliar las diferencias en las descripciones de los metadatos. En el pasado, las empresas se comportaban como si los metadatos fueran relativamente estáticos, pero hoy en día, las herramientas de inteligencia artificial pueden monitorear y recopilar continuamente metadatos dinámicos sobre el almacenamiento, el uso y el flujo de datos. Entre otros beneficios, los metadatos profundos sobre los activos de datos se pueden utilizar para recomendaciones de IA sobre plataformas de almacenamiento óptimas, o incluso para sugerir posibles canales de integración de datos. Calidad de los datos El mayor impacto que la IA ha tenido en la gobernanza de los datos ha sido en la calidad de los datos, que tiene seis dimensiones: precisión, integridad, coherencia, singularidad, puntualidad y validez. Obviamente, los datos que carecen de esas cualidades pueden ser desastrosos para las operaciones. Sin mencionar que los científicos y analistas de datos habitualmente se encuentran hasta el cuello limpiando los datos antes de poder usarlos. Las herramientas de IA/ML pueden inferir automáticamente valores faltantes, normalizar formatos de datos, marcar anomalías en los datos y más. Los seres humanos todavía necesitan tomar decisiones (¿dos clientes con nombres idénticos son iguales o diferentes?), pero el ahorro de tiempo general puede ser enorme. A medida que las herramientas de IA aprenden de patrones en grandes cantidades de datos, sus recomendaciones, correlaciones y correcciones mejoran constantemente. Esa línea de base se puede utilizar para monitorear la calidad de los datos en tiempo real. Modelado de datos La estructuración de una base de datos (o una arquitectura de datos completa) comienza con la recopilación y el análisis de los requisitos de datos y el desarrollo de los modelos lógicos y físicos para acomodarlos. Varias ofertas de productos utilizan IA para permitir a los arquitectos e ingenieros de datos generar representaciones visuales de modelos de datos fácilmente. Hoy en día, en muchas empresas, el modelado de datos se está transformando para servir aplicaciones de IA/ML. Varias herramientas de datos de IA ofrecen ingeniería de funciones automatizada, donde las características clave de los datos se derivan de conjuntos de datos en preparación para el entrenamiento de IA. Junto con AutoML (aprendizaje automático automatizado), esta actividad a su vez admite un tipo diferente de selección de modelo: elegir el modelo de ML adecuado para impulsar una aplicación o impulsar el análisis predictivo. Si hubiera muy pocos datos para entrenar adecuadamente un modelo, las herramientas de simulación de datos impulsadas por IA pueden sondear los almacenes de datos existentes y generar datos sintéticos que se parecen mucho a los reales. Política de datos y gestión del ciclo de vidaCada organización necesita establecer políticas en torno al manejo de sus datos, basadas en regulaciones federales, estatales, industriales e internacionales, así como en reglas comerciales internas. En las empresas más grandes, un comité de gobernanza de datos establece esas políticas y especifica cómo deben seguirse en un documento vivo que evoluciona a medida que cambian las regulaciones y los procedimientos. Las capacidades de lenguaje natural de la IA generativa pueden generar los primeros borradores de esa documentación y hacer que los cambios posteriores sean mucho menos onerosos. Al analizar los patrones de uso de datos, los requisitos regulatorios y los flujos de trabajo internos, la IA puede ayudar a las organizaciones a definir y hacer cumplir políticas de retención de datos e identificar datos automáticamente. que ha llegado al final de su vida útil. La IA puede incluso iniciar el proceso de archivado o eliminación. Además de reducir el riesgo y garantizar el cumplimiento, el archivado automatizado de datos ayuda a liberar espacio de almacenamiento y reducir los costos de almacenamiento. Disponibilidad de datos Los sistemas de recuperación ante desastres impulsados ​​por IA pueden ayudar a las organizaciones a desarrollar estrategias de recuperación sólidas al predecir posibles escenarios de falla y establecer medidas preventivas para minimizar el tiempo de inactividad y la pérdida de datos. . Los sistemas de respaldo con IA pueden garantizar la integridad de las copias de seguridad y, cuando ocurre un desastre, inician automáticamente procedimientos de recuperación para restaurar datos perdidos o dañados. Los sistemas de administración de almacenamiento con IA pueden replicar y distribuir datos en múltiples ubicaciones de almacenamiento para garantizar una alta disponibilidad y una baja latencia. . Al mismo tiempo, el análisis predictivo basado en IA puede ingerir datos de sensores, registros de equipos y registros históricos de mantenimiento para pronosticar posibles fallas o tiempos de inactividad. Nada supera al mantenimiento predictivo para prevenir la pérdida de disponibilidad de datos en primer lugar. Aún se necesitan seres humanos. Un poco de gobernanza de datos es un logro fácil para la IA. Muchas de las tareas asociadas con la gobernanza, desde el descubrimiento de datos hasta la limpieza de datos y la gestión de políticas, están repletas de tareas manuales repetitivas que la IA puede manejar fácilmente y completar con mayor precisión que los humanos. Esa es una gran victoria, particularmente porque MLOps busca almacenes de datos limpios y organizados sobre los cuales se puedan construir y entrenar aplicaciones de IA. Sin embargo, recuerde que la IA no es inteligente en ningún sentido significativo de la palabra. Incluso resolver discrepancias menores en los datos puede requerir un contexto nacido de una amplia experiencia que sólo los humanos pueden adquirir y digerir. Nadie, por ejemplo, delegaría la creación de una arquitectura de datos empresariales a una máquina. Sí, la IA ya está eliminando una gran parte del trabajo manual del gobierno de datos. Pero no va a permitir que usted piense por usted. Jozef de Vries es director de ingeniería de productos de EDB.—Generative AI Insights proporciona un lugar para que los líderes tecnológicos, incluidos proveedores y otros contribuyentes externos, exploren y discutan los desafíos y oportunidades de la generación generativa. inteligencia artificial. La selección es amplia, desde análisis profundos de tecnología hasta estudios de casos y opiniones de expertos, pero también subjetiva, basada en nuestro juicio sobre qué temas y tratamientos servirán mejor a la audiencia técnicamente sofisticada de InfoWorld. InfoWorld no acepta garantías de marketing para su publicación y se reserva el derecho de editar todo el contenido aportado. Póngase en contacto con doug_dineley@foundryco.com. Copyright © 2024 IDG Communications, Inc.