IA, metadatos, MLOps: ¡Una explicación detallada de las últimas tecnologías que cambiarán drásticamente el desarrollo de la IA!

¡El nuevo estándar en la era de la IA! La explicación más fácil de entender del mundo sobre las "MLOps basadas en metadatos".

¡Hola! Me llamo John y llevo muchos años escribiendo un blog explicando la tecnología de IA. Hoy en día, casi no pasa un día sin ver la palabra "IA" en las noticias. Sin embargo, lo que mucha gente desconoce es que tras la IA que muchos imaginan (por ejemplo, los chatbots inteligentes o la IA de generación de imágenes), existe un enorme y complejo sistema, similar a una "fábrica", que la sustenta. Hoy me gustaría hablar de una tecnología algo técnica, pero de suma importancia, que podría considerarse el modelo de esa fábrica de IA.IA basada en metadatos y MLOpsExplicaremos este tema a fondo de una manera que incluso los principiantes pensarán: "¡Ya veo!". Al terminar de leer este artículo, seguramente comprenderás mejor lo que está sucediendo en la vanguardia del desarrollo de la IA.

¿Qué es exactamente “Metadata-Driven MLOps”?

Para empezar, vamos a dividir esta palabra, que parece larga y difícil de pronunciar, en tres partes.

• IA (inteligencia artificial)Este es el objetivo que queremos alcanzar. Por ejemplo, implementar una función inteligente como "predecir qué comprará un cliente a continuación".
• MLOps (Operaciones multilingües): Esta es la abreviatura de "Operaciones de Aprendizaje Automático" y se refiere al "sistema" o "cultura" para ejecutar de forma eficiente y automática todo el proceso, desde el desarrollo de un modelo de IA hasta su aplicación práctica. Por ejemplo,Una fábrica automatizada de altísimo rendimiento para construir modelos de IAAlgo como.
• Impulsado por metadatosEste es el secreto de esta historia: ¿Qué son los metadatos?"Datos para explicar datos"Por ejemplo, un archivo de foto contiene metadatos como "cuándo y dónde se tomó". En el desarrollo de IA, los metadatos sirven como "instrucciones" y "modelos" del sistema. En otras palabras, "basado en metadatos" significaEn lugar de operar según un programa predeterminado, el robot lee estas "instrucciones" y opera de manera flexible.Se refiere al enfoque.

Juntando todo esto, "MLOps basados en metadatos" es:"Es un sistema flexible, inteligente y similar a una fábrica, que automatiza el desarrollo y el funcionamiento de modelos de IA mediante la lectura de 'instrucciones' (metadatos)".い

¿Cuál es el “gran problema” que esto resuelve?

Entonces, ¿por qué necesitamos un sistema tan complejo? Porque el desarrollo tradicional de la IA ha sido extremadamente caótico.

Imaginen esto. Cuando una gran empresa intenta crear una nueva IA, participan muchos equipos, incluyendo los ingenieros de datos que preparan los datos, los científicos de datos que diseñan el modelo de IA y el equipo de operaciones de TI que mantiene el sistema funcionando de forma estable. ¿Qué pasaría si todos trabajaran en el desarrollo manualmente, comunicándose por correo electrónico o verbalmente?

• Lleva tiempoIncluso un cambio pequeño requeriría coordinación entre todas las partes involucradas, y podría llevar meses lanzar la IA al público.
• Es fácil cometer errores.Errores humanos como: "¡Se suponía que debía usar esos datos, pero terminé usando datos antiguos!" ocurren con frecuencia.
• No escalaSi bien es posible crear una IA, gestionar 1 o 10 IA al mismo tiempo ahora es casi imposible.

Los "MLOps basados en metadatos" resuelven esta situación caótica. Todos los procesos se ejecutan automáticamente según un manual de instrucciones (metadatos) centralizado, por lo que el desarrollo es...rápido, sin errores, y cientos de proyectos de IAGestionar eficientementePodrás hacerlo.

Componentes y escala del sistema

Este "MLOP basado en metadatos" no se refiere a un producto de software específico, sino a una combinación de herramientas."Estilo arquitectónico"や"receta"Aquí veremos algunos componentes típicos (materiales) que se utilizan comúnmente en las empresas.

• Factoría de datos de Azure (ADF):Un servicio en la nube proporcionado por Microsoft que le permite"Director de orquesta"Administra el flujo general (flujo de trabajo), como "A continuación, mueva estos datos allí" y "Cuando esté hecho, inicie ese programa".
• Ladrillos de datos de AzureEste también es un servicio en la nube que procesa enormes cantidades de datos a alta velocidad y realiza cálculos muy pesados, como el entrenamiento de modelos de IA."Matemático genio"や"Supercomputadora"Es como recibir instrucciones del director (ADF) y se encarga de la parte que requiere más esfuerzo cerebral.
• Base de datos SQL de Azure:Un sistema para almacenar las "instrucciones (metadatos)" que son el corazón del sistema."biblioteca"Al comienzo de cada día, el conductor (ADF) va a la biblioteca y toma prestadas las instrucciones del día.
• Los datos en sí:Los datos de los clientes, los datos de ventas, los datos de los sensores, etc., sirven como combustible para la IA.

La combinación de estos componentes crea una potente plataforma de desarrollo de IA. Lo importante es que se ofrecen en la nube. Esto significa que las empresas no necesitan comprar ni mantener múltiples servidores costosos. Pueden alquilar recursos (potencia informática y capacidad de almacenamiento) cuando los necesiten y en la medida que los necesiten.Será posible lograr un procesamiento a una escala comparable a la de los grandes proyectos de IA empresariales manteniendo los costos bajos.Esta es una gran ventaja de esta arquitectura por su precio.

¡Un análisis detallado de su funcionamiento! ¿Cómo se automatiza el desarrollo de IA?

Ahora, veamos con más detalle cómo funciona esta "fábrica de IA". Aquí, explicaremos el caso de un sitio de comercio electrónico utilizando como ejemplo una IA de predicción de la pérdida de clientes.

Paso 1: Todo comienza con los metadatos

En primer lugar, la base de datos "biblioteca" almacena diversas instrucciones en formato de tabla. Por ejemplo, se ve así:

• ML_Modelsテ ー ブ ルLista de modelos de IA de la empresa, como el "Modelo de Predicción de Abandono de Clientes v2.1" y el "Modelo de Recomendación de Productos v3.0". Se registra el tipo de modelo, los datos utilizados para el aprendizaje, la información de la versión, etc.
• Feature_Engineeringテ ー ブ ルUn manual sobre cómo preparar datos para que la IA pueda interpretarlos. Contiene instrucciones como "agregar datos del historial de compras" y "calcular el número de días desde el último inicio de sesión".
• Pipeline_Dependenciesテ ー ブ ルInstrucciones que definen el orden de trabajo. Se definen dependencias, como "Al finalizar el trabajo A, comenzar el trabajo B".

Cuando un científico de datos desarrolla un nuevo modelo de IA (por ejemplo, “modelo de predicción de abandono v2.2”), en lugar de reescribir el código del programa, puede usar los datos de la biblioteca paraML_ModelsSolo hay que actualizar la información de la tabla. Esta es la mayor ventaja de las bases de datos basadas en metadatos.

Paso 2: El “conductor (ADF)” lee las instrucciones y asigna tareas.

Supongamos que tiene una programación que indica "Ejecutar predicción de abandono con los datos más recientes de los clientes a las 3:XNUMX a. m. todos los días". Cuando llega la hora, Azure Data Factory (ADF), que es el conductor, se inicia. ADF primero accede a la biblioteca (Azure SQL Database) y lee las instrucciones para el trabajo de "predicción de abandono de clientes". Las instrucciones indican lo siguiente:

1. Primero, ejecute la etapa ETL (extracción, transformación y carga de datos). El origen es la tabla de clientes en la base de datos principal, y el contenido de procesamiento esFeature_EngineeringSiga la receta número 5 de la tabla.
2. A continuación, ejecute la etapa de inferencia. Con los datos procesados,ML_ModelsEjecute el “Modelo de predicción de abandono v2.2” descrito en la tabla en Databricks.
3. Por último, ejecute la etapa de Almacenamiento para guardar los resultados de la predicción en la "base de datos de resultados de predicción".

Paso 3: Los genios (Databricks) hacen el trabajo pesado

Azure Databricks, que recibe instrucciones de ADF, utiliza el modelo de IA para calcular la probabilidad de abandono basándose en los datos preparados. Esta es la parte que requiere mayor potencia de procesamiento, pero Databricks ajusta automáticamente la escala (escalado automático) para completar el procesamiento de forma eficiente incluso con una gran cantidad de datos.

Paso 4: Sea más inteligente con los bucles de retroalimentación

Lo mejor de esta arquitectura es que no termina ahí. Tras obtener el resultado de la predicción, este puede utilizarse como un "detonante" para ejecutar automáticamente la siguiente acción.Bucle de retroalimentaciónLlámalo

Por ejemplo, si escribe una condición como "Cuando se encuentra un cliente con una tasa de abandono del 90 % o más" en los metadatos, ADF detectará esa condición y la revisará automáticamente."Envía una alerta a la herramienta de gestión de tareas del equipo de ventas".Esto significa que las predicciones de la IA no se reducen a simples datos, sino que se vinculan directamente con acciones empresariales concretas. ¿No parece que el sistema piensa y actúa por sí solo?

¿Quién está detrás de esta tecnología? Actores clave y la comunidad.

Este sistema no está monopolizado por ninguna persona, sino que existe gracias a los esfuerzos de varias empresas y comunidades.

• Plataforma en la nube: Microsoft (Azure),Amazonas (AWS),Google (Google Cloud) Estas gigantescas empresas de TI proporcionan la infraestructura para ejecutar servicios como ADF y Databricks. Su competencia nos permite usar herramientas económicas y de alto rendimiento.
• Empresas especializadas: DatabricksLas empresas especializadas en el campo de la IA y el análisis de datos, como , ofrecen herramientas especializadas muy potentes y son actores clave en este ecosistema.
• オープンソースコミュニティEn el mundo de MLOps,flujo mlExiste una gran cantidad de software de código abierto desarrollado por desarrolladores de todo el mundo en colaboración, como la IA basada en IA (una herramienta para gestionar el ciclo de vida de los modelos de IA). La existencia de estas comunidades está acelerando la evolución de la tecnología.

Usos específicos y posibilidades futuras

Esta tecnología ya se está utilizando en una variedad de industrias y está creando un gran valor.

• Comercio electrónico:Personalice sus productos en tiempo real, prediga la demanda y optimice el inventario.
• Finanzas:Detecta instantáneamente el uso fraudulento de tarjetas de crédito y previene daños.
• fabricación:Predecir cuándo se estropeará la maquinaria de una fábrica y realizar el mantenimiento antes de que esto ocurra (mantenimiento predictivo).
• ヘ ル ス ケ ア:Analizar datos de pacientes y ayudar a detectar enfermedades de forma temprana.

未来の展望

En el futuro, este mecanismo evolucionará aún más. La IA monitoreará su propio rendimiento y, si este comienza a deteriorarse,Reaprendizaje automático (autocuración)Empiece a pensar en qué datos puede utilizar para volverse más inteligente.AutopropuestoEl desarrollo de la IA se automatizará cada vez más, lo que permitirá a los humanos centrarse en trabajos más creativos, como pensar en qué tipo de IA podemos crear para mejorar el negocio.

¿Qué lo hace diferente de otros métodos?

Para entender el poder de este enfoque, comparémoslo con los métodos de desarrollo tradicionales.

• Enfoque manual tradicionalCada vez que creábamos un nuevo modelo de IA, los ingenieros tenían que escribir todos los programas a mano, desde el preprocesamiento de datos hasta la implementación (ubicación en el entorno de producción).Un chef que cocina sin receta y siempre cocina a ojo.Lleva tiempo y el sabor puede cambiar cada vez que lo prepares (la calidad puede no ser consistente).
• Enfoque basado en metadatos: Esto es,El libro de recetas perfecto (metadatos) y una cocina totalmente automatizada (canalización de automatización)Es como tener un recetario. Cuando quieras preparar un plato nuevo (modelo de IA), simplemente añade una nueva receta. La cocina la seguirá con rapidez, precisión y la misma calidad una y otra vez.

En el mundo actual, donde la velocidad es esencial en los negocios, esta diferencia es una diferencia crucial en la competitividad.

Riesgos y precauciones a tener en cuenta

Por supuesto, este poderoso enfoque tiene sus salvedades.

• Complejidad de la configuración inicialAunque es muy eficiente una vez construida, diseñar y construir esta "cocina totalmente automatizada" por primera vez no es fácil. Requiere conocimientos y habilidades especializadas.
• La importancia de los metadatosDado que todo depende de las instrucciones (metadatos), si hay un error en las instrucciones, todo el sistema funcionará incorrectamente. Es fundamental establecer reglas estrictas (gobernanza) sobre quién puede actualizar las instrucciones, cuándo y cómo.
• manejo de costosLa automatización es práctica, pero si se configura incorrectamente, puede provocar que se realicen muchos cálculos no deseados, lo que resulta en costosas tarifas por uso de la nube. Es necesaria una monitorización constante.

Opiniones de expertos y últimas tendencias

Este campo está evolucionando día a día.InfoWorldComo señala el artículo, esta arquitectura basada en metadatos es clave para evolucionar el procesamiento de datos tradicional hacia un sistema sólido que satisfaga las demandas comerciales modernas.Eliminar las barreras entre la ingeniería de datos (el trabajo de preparar datos) y el desarrollo de IA (el trabajo de usar datos) y hacer que trabajen juntos sin problemas.Este punto es muy valorado por los expertos.

Las tendencias recientes incluyen:Gobernanza de la IA(Gestión de la IA para garantizar que se utilice de forma ética y legal)Observabilidad de datosLa observabilidad de datos (la capacidad de monitorizar en detalle lo que ocurre dentro de los flujos de datos) cobra cada vez mayor importancia. Un enfoque basado en metadatos ofrece la ventaja de satisfacer estas nuevas demandas, ya que mantiene un registro completo de quién utilizó qué datos, qué modelo de IA se ejecutó y cuándo.

よ く あ る 質問 （Preguntas frecuentes）

P1: ¿Puede una persona aprender y utilizar esta tecnología?

A1: Siendo sincero, puede que sea demasiado grande para un proyecto personal. Esta arquitectura está diseñada principalmente para grandes empresas que gestionan numerosos modelos de IA y grandes cantidades de datos. Sin embargo, las ideas subyacentes de "automatización" y "gestión por metadatos" son conceptos excelentes y útiles para el desarrollo a cualquier escala, por lo que vale la pena conocerlos.

P2: ¿Esta mayor automatización eliminará los trabajos de los desarrolladores?

A2: No, el trabajo no desaparecerá. Más bien, deberías pensar en ello como si "el contenido del trabajo cambiara". Las tareas simples y repetitivas y el trabajo de configuración manual disminuirán, pero en cambio,Diseñar y mejorar el propio mecanismo de automatización.Esto requerirá un trabajo más avanzado y creativo, como convertirse en "diseñadores de fábricas de IA" que consideren qué recetas (metadatos) agregar para hacer crecer el negocio.

P3: ¿Este sistema solo se puede crear utilizando Azure?

A3: No, no es así. En este artículo, hemos dado los servicios de Azure como un ejemplo fácil de entender, peroEste concepto de "controlado por metadatos" es universal.Amazon Web Services (AWS) y Google Cloud Platform (GCP) también tienen servicios que cumplen funciones similares, y es posible combinarlos para construir una arquitectura similar.

Resumen y próximos pasos

En esta ocasión, explicamos las "MLOps basadas en metadatos", una tecnología algo técnica, pero extremadamente potente, que respalda el desarrollo de IA en segundo plano. Los puntos clave se pueden resumir de la siguiente manera:

• El caótico mundo del desarrollo de la IA"Instrucciones (Metadatos)"Organizar utilizandoCómo automatizarEs.
• como si"Fábrica de IA totalmente automatizada"Esto mejora drásticamente la velocidad y la confiabilidad del desarrollo.
• Esto se consigue combinando servicios en la nube como ADF (el director) y Databricks (los genios matemáticos).
• Los resultados de la predicción de IA activan automáticamente la siguiente acción"Bucle de retroalimentación"es poderoso

En la era venidera, cuando la IA se utilice en todos los aspectos de la sociedad, la importancia de la tecnología para crear y gestionar la IA de forma eficiente seguirá creciendo. Me encantaría que este artículo te ayudara a profundizar tu comprensión de la IA.

Aviso legal: Este artículo tiene fines exclusivamente educativos y no recomienda la adopción de ninguna tecnología o producto específico. Consulte con un experto antes de tomar cualquier decisión (DYOR – Investigue usted mismo).

Enlace relacionado

• Documentación de Azure Data Factory
• Aprendizaje automático de Databricks
• MLflow (plataforma de aprendizaje automático de código abierto)

MLOps, metadatos, desarrollo de IA, canalización de datos, Azure