Noticias de IA Creator's Path: ¡Acelera el análisis de datos! ¡Presentamos Databricks Lakeflow Designer! ¡Reduce la carga de los ingenieros de datos y optimiza los proyectos de IA! #Databricks #DesarrolloIA #AnálisisDeDatos
Explicación en vídeo
¿Se está volviendo más accesible el desarrollo de IA? ¿Cuál es la nueva herramienta de Databricks, Lakeflow Designer?
¡Hola a todos! Soy John, un bloguero especializado en tecnología de IA. Recientemente, la palabra "IA" se ha vuelto más común en las noticias y en las aplicaciones para smartphones. Seguro que mucha gente piensa: "Parece un poco difícil...". Pero, de hecho, ¡se desarrollan constantemente nuevas tecnologías para que el mundo de la IA sea más fácil de usar y nos resulte más familiar!
Hoy, me gustaría presentar una nueva herramienta que Databricks ha anunciado y que seguramente se convertirá en un tema candente en el campo del desarrollo de IA.Diseñador de LakeflowLo explicaré de una manera fácil de entender para que incluso aquellos que son nuevos en IA puedan decir: "¡Ya veo!".
El "héroe invisible" del desarrollo de la IA: la dificultad de la preparación de datos
En primer lugar, ¿qué cree usted que es necesario para que la IA funcione de forma inteligente?Muchos datos de alta calidadPor ejemplo, si quieres que una IA distinga entre fotos de gatos, necesitas entrenarla con muchas fotos de diferentes tipos de gatos.
Sin embargo, los datos recopilados a menudo no pueden utilizarse tal cual. Suelen estar desordenados o contener información innecesaria. Por lo tanto, es fundamental organizarlos para que la IA pueda aprender fácilmente. Este proceso se denomina "organizar los datos".ETL"Esto se refiere al proceso de recopilar datos (Extraer), limpiarlos para que sean fáciles de usar (Transformar) y luego guardarlos en algún lugar donde se puedan usar (Cargar).
Este trabajo ETL es en realidad la parte más laboriosa y que requiere más tiempo del desarrollo de IA, y generalmente lo realizaCola de caballoSon técnicos especializados a cargo de la ingeniería de datos. Sin embargo, estos ingenieros de datos son muy populares y siempre están ocupados. Como resultado, los proyectos de desarrollo de IA no avanzan con fluidez.embotellamiento(la causa de que las cosas no salgan bien)" tendía a ocurrir.
¿Ha llegado la salvación? ¡"Lakeflow Designer" simplifica el trabajo con datos!
Ahí es donde entra el nuevo "Diseñador de Lakeflow"La característica más importante de esta herramienta es"sin código"Se puede utilizar.
Quizás te preguntes: "¿Qué es el no-code?". Se trata de un sistema que te permite crear aplicaciones y sistemas con solo tocar la pantalla, como si estuvieras combinando bloques, sin necesidad de conocimientos complejos de programación. Con Lakeflow Designer, más personas podrán realizar parte del trabajo ETL que antes se dejaba en manos de los ingenieros de datos.
En particular, la empresa se centra en "analista de datos¡Esta es una gran noticia para personas como tú! Estos son algunos de los principales beneficios:
- IA para ayudarte a:La herramienta en sí está equipada con un asistente de inteligencia artificial para ayudarlo con su trabajo.
- No te preocupes si no eres un experto:La ruta de datoscanalización de datosPuede crear intuitivamente una serie de pasos (desde cuando se crean los datos, hasta cuando se procesan para que la IA pueda utilizarlos y, finalmente, cuando se entregan al modelo de IA).
- Acelera tus proyectos de IA:Si se puede reducir el tiempo necesario para la preparación de datos, ¡la velocidad del desarrollo de la IA en su conjunto también aumentará!
¿Qué tiene de bueno Lakeflow Designer?
Para quienes estén pensando: "Suena útil, pero ¿qué tiene de bueno exactamente?", analicemos con más detalle las características clave de Lakeflow Designer.
- Fácil de usar, igual que Canva:
Un experto describe Lakeflow Designer como el «Canva del mundo ETL». Canva es una herramienta popular que permite a personas sin conocimientos de diseño crear fácilmente folletos y materiales de presentación con estilo. De igual manera, Lakeflow Designer también permite diseñar canales de datos de forma intuitiva y fácil de entender. - Suave por fuera, potente por dentro:
El hecho de que sea fácil de usar no significa que su funcionalidad sea inferior.Spark SQL" es un motor asombroso que puede procesar enormes cantidades de datos de forma extremadamente rápida.Catálogo de UnityEste sistema garantiza la seguridad y la gestión de los datos, para que pueda estar tranquilo. Es como un gestor de datos que gestiona adecuadamente dónde están los datos y quién puede usarlos. - Colaboración en equipo más sencilla:
Los ingenieros de datos pueden visualizar, corregir y mejorar fácilmente las secuencias de datos creadas por los analistas según sea necesario. Esto facilita que cada equipo comparta su trabajo, mejorando así la eficiencia de todo el equipo. - Seguro y protegido con una gestión adecuada:
Anteriormente, las herramientas sencillas sin código presentaban problemas como "¿Se puede gestionar según las reglas? (Gobernanza)" y "¿Se puede gestionar si muchas personas lo usan al mismo tiempo o si aumenta la cantidad de datos gestionados? (Escalabilidad)". Lakeflow Designer parece ser capaz de abordar estos problemas eficazmente. Además, cuenta con la función "Git", un sistema que registra el historial de cambios de archivos,Canalización de CI/CD(También se admite un sistema que prueba automáticamente lo que creas y lo pone a disposición para su uso inmediato si no hay problemas).Linaje"y decidir quién puede acceder a qué datos"control de acceso" y registros de quién hizo qué y cuándo "AuditabilidadAdemás cuenta con todas las funciones importantes para uso corporativo, como:
Por supuesto, si se requiere una integración o procesamiento de datos extremadamente complejos, todavía habrá casos en los que se necesitará la experiencia de un ingeniero de datos, pero parece que será extremadamente útil para casos relativamente simples que surgen en el trabajo diario, como "Quiero resumir las ventas por región" o "Quiero crear datos para informes de cumplimiento".
Hay rivales pero ¿qué te hace diferente?
De hecho, Snowflake, empresa rival de Databricks, también ha lanzado una herramienta similar llamada "Openflow". Si bien el objetivo de ambas es "simplificar el procesamiento de datos para la era de la IA", parece haber una ligera diferencia en su enfoque.
- Ladrillos de datos (Lakeflow Designer):Esta plataforma prioriza la flexibilidad y la apertura. Está diseñada para integrarse fácilmente con diversas herramientas, aprovechando al máximo su potente motor de procesamiento de datos (Spark).
- Copo de nieve (flujo abierto):Este enfatiza la integración y la simplicidad. Ofrece una imagen de organización impecable para que todo se pueda completar dentro de los servicios de Snowflake.
Además, Lakeflow Designer es una evolución de las tecnologías probadas que Databricks ha proporcionado anteriormente (como la función de importación de datos "Arcion", la función de conversión de datos "Delta Live Tables" y la función de gestión de trabajos "Databricks Workflows"), por lo que parece que otro punto clave es que tiene un alto nivel de madurez en términos de funcionalidad.
La gran estrategia de Databricks
Lo interesante es que Databricks también está desarrollando una herramienta de desarrollo completa para ingenieros de datos (término técnico:IDE: Entorno de desarrollo integradoLa compañía también anunció un nuevo espacio de trabajo donde todas las herramientas necesarias para el desarrollo se reúnen en un solo lugar.
Esto parece ser un indicio de la estrategia más amplia de Databricks para satisfacer una amplia gama de necesidades: "Permita que los principiantes comiencen a desarrollar rápidamente con herramientas sin código y, luego, cuando se requiera un desarrollo más avanzado u operaciones a gran escala, proporcionaremos herramientas expertas para ayudarlo".
Una palabra de John
Bueno, cuando escuchas la palabra IA, podrías pensar: "Hay que ser un experto para hacer esto, ¿verdad?". Pero con la aparición de herramientas como Lakeflow Designer, parece que más personas podrán probar fácilmente el desarrollo de IA y la utilización de datos. A veces se dice que "los datos son el nuevo petróleo", pero sería emocionante imaginar un futuro donde esos valiosos datos puedan refinarse y usarse con mayor facilidad por cualquiera. ¡Tengo muchas ganas de ver qué nuevas ideas y servicios surgirán de esto!
Este artículo se basa en los siguientes artículos originales y se resume desde la perspectiva del autor:
Databricks aborda los cuellos de botella de la IA con Lakeflow
Diseño