Noticias sobre el camino de un creador de IA: ¡La respuesta en tiempo real es fundamental para la infraestructura de datos! ¿Cómo prepararse para la era de la IA de agentes? #IA de agentes #Infraestructura de datos #Infraestructura de IA
Explicación en vídeo
¿Veremos una era en la que la IA pueda pensar y actuar por sí sola? Una historia sobre la "IA agente" y los datos.
Hola, soy John y estoy aquí para ayudarte a comprender el mundo de la tecnología IA.
Recientemente, la palabra "IA" se ha vuelto común. Sin embargo, el mundo de la IA también está evolucionando rápidamente, y se dice que la próxima gran ola está por llegar."Agente IA"Eso es todo
Quizás te preguntes: "¿Qué es un agente?". En pocas palabras, es una IA que puede pensar y actuar de forma autónoma. Al igual que los robots inteligentes de las películas de ciencia ficción, la IA podría ser capaz de analizar situaciones por sí misma y realizar diversas tareas en nuestro nombre.
De hecho, este es un gran cambio, similar al que se produjo cuando surgió la computación en la nube (un sistema para usar diversos servicios de TI a través de Internet) hace unos 10 años. En aquel entonces, aparecieron tecnologías de código abierto (con planos abiertos que cualquiera puede usar libremente), como Docker y Kubernetes, y la velocidad y la flexibilidad del desarrollo de software aumentaron drásticamente. Sin embargo, a las empresas les llevó tiempo acostumbrarse.
Ahora, este “agente de IA” está a punto de generar otra gran ola de cambio.Intercambio de datos en tiempo realPara que la IA funcione de forma inteligente, necesita procesar constantemente nueva información a una velocidad increíble de "milisegundos" (¡milésimas de segundo!) en lugar de "minutos". Si no se percata de este cambio, podría ser difícil para su empresa sobrevivir en la nueva era de la IA.
Entonces, ¿cómo debemos prepararnos para esta era de la IA de agentes? La clave parece ser cómo gestionamos los datos. ¡Veámoslo!
¿Son suficientes los sitios de almacenamiento de datos convencionales? Una nueva infraestructura de datos para la era de la IA.
El almacenamiento tradicional de datos empresariales (denominado plataformas de datos) se creó principalmente para expertos que analizan números (analistas SQL) y técnicos que organizan datos (ingenieros de datos). Sin embargo, en la era actual de la IA, esto no es suficiente.
En el futuro, los ingenieros de aprendizaje automático (las personas que crean IA), los desarrolladores, los equipos de planificación de productos y, lo más importante, los propios agentes de IA, necesitarán acceso a los datos en tiempo real, utilizando una variedad de lenguajes y herramientas de programación, incluidos Python, Java y SQL.
Lo que se observa aquí es que"Iceberg Apache"Se espera que esta tecnología de código abierto se convierta en la base de una nueva infraestructura de datos en la era de la IA, tal como lo hicieron Docker y Kubernetes en la era de la nube.
Esto es lo bueno de Iceberg:
- Está bien si la forma de los datos cambia a lo largo del camino (esto se llama evolución del esquema).
- La función de viaje en el tiempo te permite mirar datos pasados y preguntarte: "¿Cómo eran los datos en ese momento?"
- Sin confusión incluso cuando muchas personas y sistemas utilizan los datos al mismo tiempo (acceso de alta concurrencia)
Además, cuando se combina con una potente plataforma de datos que no requiere que usted se preocupe por administrar servidores (una plataforma de datos sin servidor), podemos lograr los flujos de datos ultrarrápidos que requieren los agentes de IA con un comportamiento impredecible.
Con todas estas tecnologías implementadas, las personas y los sistemas con diferentes roles pueden trabajar juntos sin problemas, y los agentes de IA inteligentes pueden ir más allá de simplemente mirar datos para "actuar" de manera segura y rápida en un entorno de datos cambiante.
La parte más difícil es lo que sucede después de la implementación.
La parte más difícil de crear una infraestructura de datos para la IA de los agentes no es elegir la tecnología. Después de decidir: "¡Bien, usemos esta tecnología!", es...Mantenerlo funcionando de manera estable, eficiente y segura (operación del "segundo día", es decir, operación diaria después de la instalación)Pero ese es el mayor desafío.
No importa cuán buenos sean sus formatos de datos y herramientas de procesamiento, no tienen sentido si no puede usarlos de manera confiable, asequible y segura en un mundo donde la IA interactúa constantemente con los datos y toma medidas en momentos impredecibles.
En concreto, suelen producirse los siguientes problemas:
- Seguimiento de datos y cumplimientoRealizar un seguimiento de dónde provienen sus datos, qué sucede con ellos y eliminarlos para cumplir con leyes como el RGPD (las estrictas normas de protección de datos de Europa) es muy complejo e importante.
- Uso eficiente de los recursosSi no se usan con prudencia, el coste (¡y la electricidad!) de componentes como las GPU y las TPU, necesarios para los cálculos de IA, puede aumentar rápidamente. Algunos servicios en la nube facilitan la gestión de estos recursos informáticos.
- Gestión de acceso y seguridadSi se comete un error al configurar quién puede acceder a qué datos, puede ser un gran problema. Si se permite el acceso a un gran número de personas, existe el riesgo de que se filtre información importante.
- Descubrimiento de datos y antecedentesIncluso con herramientas útiles como Iceberg, es sorprendentemente difícil encontrar información (llamada metadatos) sobre lo que representan los datos para que la IA pueda usarlos rápidamente cuando sea necesario.
- 使 い や す さSi bien las herramientas de datos modernas son multifuncionales, también pueden ser complejas de usar. Si no se simplifica el flujo de trabajo para desarrolladores, analistas y los propios agentes de IA, la productividad disminuirá.
Sin un sistema operativo sólido, por impresionante que sea su infraestructura de datos, no podrá seguir el ritmo del rápido ciclo de acción y toma de decisiones del agente de IA.
Lo mejor de ambos mundos: “Colaboración” y “Dejarlo en manos de profesionales”
La complejidad de las TI modernas, especialmente las relacionadas con los datos, ha sido impulsada por la innovación de código abierto, donde las comunidades de código abierto (donde se reúnen los desarrolladores) a menudo presentan soluciones de vanguardia para casos de uso que a menudo están fuera del alcance de los equipos de datos corporativos.
Sin embargo, al utilizar herramientas de código abierto para importar grandes cantidades de datos, procesarlos en tiempo real y preparar rápidamente los recursos informáticos cuando se necesitan, pueden surgir problemas. Muchas empresas descubren que el flujo de procesamiento de datos se vuelve inestable, los costes aumentan y los sistemas obsoletos no pueden satisfacer las necesidades en tiempo real de la IA de los agentes.
En esta situación, podemos confiar enEmpresas que prestan servicios en la nube (proveedores de nube)Tienen mucho conocimiento en la operación estable de sistemas a gran escala.
El objetivo es utilizar tecnologías de estándares abiertos (tecnologías independientes de una empresa específica, lo que evita la dependencia de un proveedor, donde solo se pueden usar los productos de una) y combinarlas con la infraestructura en la nube para automatizar tareas tediosas como el seguimiento de datos y la preparación de recursos. La estrategia inteligente es trabajar con un socio en la nube que contribuya activamente a las tecnologías de código abierto y ofrezca servicios que respalden operaciones fiables. Debería poder obtener resultados mucho más rápido y de forma más fiable que si intentara crear un sistema inestable por su cuenta o si dependiera de una plataforma propietaria cuyo contenido no comprende del todo.
Por ejemplo, el servicio BigQuery de Google Cloud funciona con Apache Iceberg para gestionar grandes cantidades de datos en tiempo real utilizando formatos de datos abiertos. Además, automatiza la gestión de tablas, mejora el rendimiento y se integra con Vertex AI, una plataforma de desarrollo de IA, lo que facilita el desarrollo de aplicaciones de IA de agentes.
En última instancia, el objetivo es reducir los riesgos de gestionar una infraestructura de datos compleja por nuestra cuenta y, al mismo tiempo, acelerar las nuevas innovaciones tecnológicas.
La escasez de mano de obra en la era de la IA también es un problema real
De hecho, incluso las grandes empresas se enfrentan a una escasez de personal capaz de diseñar y operar de forma segura plataformas de datos basadas en IA. Lo que es particularmente grave es la falta de personas que no solo tengan conocimientos de datos, sino también...Ingenieros que puedan manejar sistemas a gran escala que operan en tiempo realLo que falta es...
La IA de los agentes elevará aún más el nivel de los requisitos operativos y acelerará el ritmo del cambio. Por eso necesitamos una plataforma que permita una colaboración flexible, una gestión sólida y una comunicación instantánea. Y estos sistemas deben simplificar las operaciones sin comprometer la fiabilidad.
Resumen: ¡Ahora es el momento de empezar a prepararse para el futuro!
El nuevo mercado centrado en la "IA de agentes" podría generar cambios más importantes en la sociedad que la llegada de Internet. Si la infraestructura de datos de su empresa aún no es en tiempo real, abierta y escalable...¡El momento de actuar es ahora!
El futuro en el que la IA se vuelva más familiar y nos ayude en nuestra vida diaria y en nuestro trabajo puede estar ya aquí.
(Del autor)
¡Guau, la IA de los agentes es emocionante! Es como si el mundo de la ciencia ficción se hiciera realidad. Pero entre bastidores, se necesita una revisión a fondo de la infraestructura de datos, lo cual supone una prueba para las habilidades de los ingenieros y un dolor de cabeza... (risas). ¡Pero es interesante aprovechar esta ola de cambio!
Este artículo se basa en los siguientes artículos originales y se resume desde la perspectiva del autor:
La IA de Agentic no esperará a que su arquitectura de datos se ponga al día
up