Documentacion: Stratio Generative AI Data Fabric como motor de IA Generativa
| Sitio: | STRATIO Training & Certification |
| Curso: | Stratio Generative AI Data Fabric Basic Business 14.6 |
| Libro: | Documentacion: Stratio Generative AI Data Fabric como motor de IA Generativa |
| Imprimido por: | Invitado |
| Día: | sábado, 10 de mayo de 2025, 06:11 |
1. Data Fabric + IA Generativa según Gartner
Gartner indica que para usar de manera SEGURA Gen AI y los motores de LLM hay que usar Active Metadata y una capa de Data Fabric.
_______________________________________________________________________________________________________________________________________________
Active Metadata
- Ayuda a identificar qué información debe compartirse o no con los LLM (riesgos, ventajas competitivas...).
- Predictores mejorados (más contexto e información).
- Reducción de las alucinaciones.
- Aprender de los metadatos.
- Se recomienda su inclusión en la Ingeniería de Indicaciones.
Data Fabric
- Automatización y reducción de tareas manuales.
- Capacidades de seguridad (seguridad detallada, control de acceso basado en roles, control de acceso basado en atributos, cifrado).
- Pruebas con datos sintéticos.
- Aprender del comportamiento de los usuarios en la plataforma, facilitando la innovación.
Todo esto no lo decimos nosotros, sino que lo recomienda Gartner._______________________________________________________________________________________________________________________________________________
https://www.gartner.com/doc/reprints?id=1-2EUK2RR5&ct=230831&st=sb
_______________________________________________________________________________________________________________________________________________
2. Stratio Generative AI Data Fabric
Como ya te hemos comentado para aplicar IA Generativa en nuestra estrategia de datos necesitamos hacerlo desde un Data Fabric, pero no de cualquier manera, porque no cualquier motor de Gen AI con un data fabric funciona.
Ej. No nos vale utilizar por ejemplo Chat GPT + Data Fabric.
Desde Stratio hemos mejorado los motores de Gen AI de tal manera que resolvemos todos los problemas que pueda dar utilizar cualquier motor de IA Generativa.
2.1. Problemas de uso de Gen AI con datos empresariales
¿Cuáles son estos problemas?
Acceso seguro a tus datos. Si el conocimiento sale de tu empresa estás facilitando datos a la competencia, conocimiento, etc. -> El acceso al dato tiene que estar seguro.
Podemos tener fallos de hasta el 70%. En el contexto de datos no puedo permitir hacer dashboards donde el 70% de los insights que tengo sean incorrectos.
Genera alucinaciones. Resultados generados por algoritmos de inteligencia artificial que no son precisos ni coherentes con la realidad
2.2. Mejorando los motores de Gen AI
Stratio Data Fabric construye una capa de datos empresariales unificada para los usuarios de negocio, lo que les permite interactuar con los datos empresariales a través de la Inteligencia Artificial Generativa.
Con el Data Fabric ....
- Governamos los datos
- Le damos significado de negocio
- Protegemos el acceso al dato
- Se consiguen insights automatizados y se crean los Data Product.
Con el motor de Generative AI de Stratio ¿Qué hemos mejorado?
Podemos hablarle a nuestros datos en lenguaje natural
Generamos Data Products a través de una descripción funcional
Explicamos y somos capaces de comunicar nuevos insights
Lo hemos mejorado en cómo hacemos las preguntas al motor de Gen AI y en cómo validamos y mejoramos las respuestas, qué genero , que entrego al usuario final y a mi empresa.
__________________________________________________________________________________________________________________________________
Hemos modificado los Prompts1 y los embedings2 que van sobre el motor de Gen AI.
Hemos desarrollado un montón de Agentes de Gen AI que validan, aprenden, moderan, etc. de tal manera que mejoran los prompts1 hacia los motores de gen AI y todo el embeding2, con lo que es un sistema que mejora el cómo dotamos de contexto y conocimeinto al motor de Gen AI . Luego lo entrenamos para ir mejorando con las preguntas que hace el usuario porque tiene el contexto, el embeding y el conocimiento adecuado.
______________________________________________________________________________________________________________________________________
Mejorando la precisión de las respuestas y el nivel de confianza
- Diferentes agentes están especializados en múltiples áreas, mejorando el rendimiento y precisión de las respuestas.
- Las respuestas a las preguntas se basan en el consenso/validación funcional de los agentes, lo que mejora la precisión y reduce las alucinaciones en las respuestas finales.
- Los agentes de validación funcional pueden medir el nivel de confianza de la respuesta proporcionada frente a lo que preguntó el usuario. Por tanto, el usuario puede inferir el nivel de confianza del sistema en la respuesta.
______________________________________________________________________________________________________________________________________
Bucles de retroalimentación automatizados: comprobaciones sintácticas y de contenido antes de devolver la respuesta al usuario
1. Hacemos un análisis sintáctico en el que el código que está generando el motor de Gen AI se puede ejecutar a nivel sintáctico. Como tenemos un Data Fabric que sabemos con las Business Views como puede acceder a los datos, tenemos análisis sintáctico de que ese código se puede ejecutar sobre tus datos de tu empresa. Eliminamos la frustración de que ejecutemos algo y no se pueda ejecutar o de una alucinación.
2. Una vez que hemos ejecutado ese análisis, chequeamos que la respuesta tenga sentido comparándolo con respuestas similares, con reports, con datos que tenía la compañía, etc. Los multiagentes validan que la respuesta, los datos que estamos obteniendo con ese código tienen sentido, son buenos, con lo que mejoramos el nivel de confianza en la respuesta que proporcionamos al usuario.
______________________________________________________________________________________________________________________________________
[1] Los "prompts" son las instrucciones dadas a la IA Generativa.
[2] Los "embeddings" son las representaciones numéricas que permiten a la IA comprender el lenguaje y generar contenido de alta calidad.
Ambos elementos son esenciales para el funcionamiento efectivo de la IA Generativa en la creación de contenido personalizado y relevante.
2.3. Nuestro enfoque: enterprise-data-centric
Nuestro enfoque no es solamente user-centric, nosotros mejoramos para TODA la compañia. Cualquier cosa que hace un usuario ayuda al resto de usuarios.
Cualquier pregunta, report o data product que genere un usuario hace que el extended Gen AI engine de stratio aprenda y mejore para toda la compañia y para todos los usuarios . Somos 10 veces más rápido que los motores user-centric que están usando las compañías.
2.4. Data Fabric + Gen AI en datos
- Si utilizas código generado automáticamente directamente con un motor genérico de Gen AI como Chat GPT o cualquier otro, el 70% de tus respuestas van a ser malas y van a tener alucinaciones.
- Cuando utilizas ese código generado con Business Views ya bajamos el error en las respuestas a un 20%.
- Con ontologías, business views y extended Gen AI, es decir con la implantación de un producto como Stratio Generative AI Data Fabric, tenemos solo un 2% de posibilidad de error por lo que si se puede utilizar con datos a nivel empresarial.
Todos estos datos dan veracidad a que el producto Generative AI Data Fabric es la mejor solución de uso de Generative AI con datos empresariales.
3. Automatizando el Data Fabric con Gen AI
Hemos conseguido, automatizar el autodescubrimiento de los datos y la creación del catálogo de datos, automatizar la creación de la capa semántica, aumentamos la capacidad de los motores de GenAI para que tengan precisión, sin alucinaciones y seguro. A partir de ahí governamos los datos automáticamente con IA generativa y automatizamos la productivización final, es decir, hablando en lenguaje natural con el motor de GenAI, Stratio Bloomind, puedo hacer reporting, puedo generar transformaciones o algoritmos en lenguaje natural.
Cualquier caso de uso de IA Generativa como de obtención de valor del dato, lo automatizamos.
- AUTOMATIZAMOS EL ACCESO AL DATO
- AUTOMATIZAMOS EL GOBIERNO DEL DATO
- AUTOMATIZAMOS LA PRODUCTIVIZACIÓN DEL DATO