¡El secreto para que la IA sea más inteligente! ¿Cómo usar distintos tipos de datos?
¡Hola y bienvenidos al mundo de la IA y los datos! Soy John.
Últimamente, la palabra "IA" ha aparecido mucho en las noticias y en internet. Algunos pueden pensar que suena difícil, pero en realidad es una tecnología muy interesante que nos facilitará la vida.
¿Pero sabías que para que la IA funcione de forma inteligente, los datos son cruciales? Hoy te explicaré de forma sencilla, incluso para principiantes, qué tipo de datos procesa la IA, cómo se vuelve más inteligente y las últimas ideas para preparar esos datos para que la IA pueda usarlos fácilmente.
¿Existen diferentes tipos de datos? ¿Qué datos maneja la IA con eficacia y cuáles no?
En primer lugar, aunque utilizamos la palabra "datos" en general, en realidad existen muchos tipos diferentes de datos.
- Datos organizados (datos estructurados)Datos con filas y columnas fijas, como Excel, donde se puede ver rápidamente qué información está en qué lugar. Por ejemplo, datos de ventas de una tienda o una lista de clientes.
- Datos mixtos (datos no estructurados)Datos que no tienen un formato fijo, como mensajes de correo electrónico, publicaciones en redes sociales, audio de una reunión o fotos y videos de un viaje. De hecho, la mayoría de los datos del mundo son datos mixtos.
La IA reciente se ha vuelto experta en encontrar información importante a partir de estos datos mixtos. En particular, se ha convertido en una tecnología que combina y comprende múltiples tipos de datos, como texto, imágenes y voz.IA multimodal" está atrayendo la atención. Por ejemplo, una IA que interpreta las fotos de productos y sus descripciones juntas y sugiere productos recomendados.
¿Una gran crisis en la era de la IA? ¡Los datos están fragmentados y son difíciles de usar!
Pero hay un problema... Dentro de las empresas y organizaciones, los datos importantes se almacenan en varios lugares (a veces llamados "silos de datos"), y muchos de estos datos son "datos mixtos" que son difíciles de usar directamente para la IA.
Los expertos en análisis de datos trabajan arduamente a diario, como si fueran cazadores de tesoros, para encontrar información valiosa que la IA pueda usar entre estos datos dispersos y organizarla de forma que la IA pueda procesarla fácilmente. Esta tarea, en realidad, requiere mucho tiempo y es laboriosa.
Un error común es pensar que la preparación para usar los datos es algo que se hace una sola vez. Por ejemplo, si se escriben todos los tipos de productos en el programa desde el principio, hay que reescribirlo cada vez que aparece un nuevo producto, lo cual es muy problemático. El sistema ideal sería más flexible, con una IA que reconociera automáticamente, a partir de la descripción del producto, que "¡Este es un nuevo tipo de producto!".
"Cocina de datos" para hacer que la IA sea verdaderamente inteligente
Entonces, ¿cómo puede la IA utilizar eficazmente diversos datos? Lo importante es...Un flujo de datos flexible (canalización de datos) que sea resistente al cambio"El objetivo es crear algo que sea
Por ejemplo, consideremos el caso de analizar correos electrónicos de consulta de clientes.
- Primero, la IA clasifica aproximadamente el contenido del correo electrónico. Por ejemplo, "Esta es una pregunta sobre el producto" o "Esto podría ser una queja". En esta etapa, utilizamos una IA que requiere un procesamiento relativamente ligero (esto se llamaProcesamiento del lenguaje natural: PNLEs una tecnología que permite a la IA entender el lenguaje que usamos normalmente.
- Si quieres analizar con más detalle, puedes utilizar una IA más potente (como ChatGPT).Modelo de lenguaje a gran escala: LLM) para determinar los sentimientos del cliente cuando escribió el correo electrónico (si estaba enojado, feliz, etc.).
- Y para utilizar los resultados del análisis en la práctica empresarial, se necesita una base de datos especial (Base de datos de vectores) puede ser necesario.
Como puede ver, el tipo de IA que utilice y la potencia de procesamiento necesaria variarán según el tipo de datos y la etapa de análisis. La clave para usar la IA reside en combinarlos hábilmente.
¡Un adelanto de la lista de cosas que necesitas para diferentes trabajos de IA!
Dependiendo del tipo de trabajo que realiza la IA, la ubicación de almacenamiento de datos (almacenamiento), la potencia de procesamiento (computación) y la ruta de datos (red) requeridas variarán. Esto es un poco técnico, pero veamos algunos ejemplos típicos para ver cuáles son las diferencias.
| Tipos de trabajos de IA | Dónde colocar los datos | Ruta de datos | Poder computacional | Cómo afrontar el aumento del trabajo |
|---|---|---|---|---|
| Comprender y clasificar palabras en tiempo real (por ejemplo, filtros de spam) | Un lugar especial para almacenar el significado de las palabras, un lugar donde sean fácilmente accesibles. | La velocidad es importante (baja latencia) | Un cerebro que sea bueno en el procesamiento de IA (GPU) y un cerebro que pueda almacenar temporalmente mucha información (CPU) | Aumentar el número de procesos para que se puedan procesar muchos simultáneamente. Cuantas más palabras, más espacio de memoria. |
| Análisis de grandes cantidades de datos de texto (Ejemplo: Análisis de los comentarios de los clientes) | Un lugar para almacenar texto, un lugar especial para almacenar el significado de las palabras, un lugar para organizar información relacionada. | Una carretera ancha que puede enviar muchos datos a la vez | Cerebros potentes para entrenar la IA (GPUs y TPUs), y cerebros para preparar los datos (CPUs). | Cuanto más datos haya, más espacio de almacenamiento se necesitará y cuanto más compleja se vuelva la IA, mayores serán los costes computacionales. |
| Analizar vídeos e imágenes (Ejemplo: Detección automática de productos defectuosos) | Un lugar para almacenar muchos videos e imágenes grandes, y para almacenar temporalmente datos de uso frecuente para un acceso rápido. | Una carretera extremadamente ancha, un sistema que permite la transmisión y recepción fluida de vídeo | Cerebros superpoderosos (GPU) para entrenar IA, cerebros dedicados (GPU) para tomar decisiones de IA | Los datos de video pueden ocupar rápidamente el espacio de almacenamiento. Procesarlos todos a la vez facilita la gestión de la potencia de procesamiento. |
| Predecir el futuro y detectar comportamientos inusuales (Ejemplos: predicción del precio de las acciones, detección de acceso no autorizado) | Organice sus datos por tiempo y administre datos nuevos y antiguos de manera eficiente | Carreteras predecibles y estables, procesadas en lotes a intervalos regulares | Principalmente en el cerebro normal (CPU), cuanto más largo sea el período de predicción, más espacio de memoria se requiere | El procesamiento por período es eficiente: cuanto más largo sea el período de pronóstico, más cálculos se requerirán. |
*Éste es sólo un ejemplo típico, y en realidad intervienen muchos más factores.
Viéndolo así, se puede ver que los diferentes tipos de IA requieren preparaciones completamente distintas, ¿verdad? Por eso es importante considerar cuidadosamente las herramientas adecuadas para cada tipo de IA.
¡Puedes empezar a usarlo hoy! 4 técnicas más recientes para usar datos de IA
Si piensas: "Mmm, parece mucho trabajo...", ¡no te preocupes! Últimamente, existen muchos métodos prácticos que pueden ayudarte con la preparación de datos.
- ¡Deja que tu asistente de IA te ayude!Ahora hay asistentes de IA disponibles que actúan como una buena secretaria, indicando la estructura de los datos y creando automáticamente programas (como SQL) para el análisis de datos. Su uso facilita enormemente la investigación y la preparación inicial de los datos.
- ¡Limpia y procesa tus datos en un solo lugar!Es complicado cambiar constantemente de una herramienta a otra. Se recomienda limpiar los datos y convertirlos a un formato compatible con IA (ingeniería de características) en una ubicación central (plataforma de datos central) donde se almacenen los datos tanto como sea posible. Esto reducirá la molestia de mover datos y mejorará la eficiencia.
- ¡Automatiza los tediosos preparativos!：Creemos un procedimiento de preparación de datos una vez y ejecutémoslo repetidamente de forma automática, de modo que no tengamos que hacer el mismo trabajo cada vez y podamos centrarnos en cosas más importantes, como mejorar nuestros modelos de IA.
- ¡Obtén más potencia solo cuando la necesitas! ¡Usa el servidor sin servidor!El sistema "sin servidor" permite usar gran potencia de procesamiento solo cuando se dispone de muchos datos y restaurarlos al finalizar... Es un sueño hecho realidad. Esto permite reducir costos y procesar con potencia solo cuando se necesita. Otra gran ventaja es que no es necesario administrar los servidores.
Estas técnicas se pueden utilizar tanto para datos ordenados como para datos mixtos. Las plataformas de datos recientes son lo suficientemente inteligentes como para gestionar datos mixtos, como imágenes, audio y texto, como si fueran datos ordenados.
¡El futuro de la utilización de datos de IA será aún más sorprendente!
En el futuro, la utilización de datos de IA será más inteligente y sencilla.
Nuestro objetivo esPermitir que se gestionen diferentes tipos de datos en una ubicación centralEsto eliminará la necesidad de mover datos y le permitirá usar la IA de forma más eficiente. Por ejemplo, podrá combinar y analizar fácilmente los correos electrónicos de consulta de los clientes (datos mixtos) con su historial de compras (datos organizados).
Además, la IA seguirá evolucionando y podrá ayudar rápidamente con tareas como resumir y clasificar datos, transcribir audio y otras tareas durante el análisis de datos. Por ejemplo, el servicio BigQuery de Google Cloud cuenta con una función que, con solo recitar el comando "AI.GENERATE_TABLE()", permite a la IA extraer información de diversos tipos de datos (datos multimodales) y convertirla en datos tabulares fáciles de analizar.
La IA y los “datos mixtos” y los “diversos tipos de datos” que consume cambiarán en gran medida el mundo del análisis de datos en el futuro.Una "arquitectura" que permite cambiar herramientas y métodos de forma flexible según la situación.A medida que la IA se involucra más profundamente en nuestro trabajo y nuestras vidas, esta flexibilidad se volverá aún más importante.
Una palabra de John
Cuando escuchas la palabra IA, puede que te suene a "caja mágica". Pero entre bastidores, hay muchos datos y mucho trabajo para que la IA la comprenda. Espero que este artículo te haya dado una pequeña idea. Cuanto más aprendes sobre el mundo de la IA y los datos, ¡más profundo y fascinante se vuelve!
Este artículo se basa en los siguientes artículos originales y se resume desde la perspectiva del autor:
Construcción de una arquitectura analítica para datos no estructurados y
IA multimodal