Documentación: Problemas y desafíos de la gestión de datos dentro de una organización
| Sitio: | STRATIO Training & Certification |
| Curso: | Stratio Generative AI Data Fabric Basic Business 14.6 |
| Libro: | Documentación: Problemas y desafíos de la gestión de datos dentro de una organización |
| Imprimido por: | Invitado |
| Día: | sábado, 10 de mayo de 2025, 09:11 |
1. Problemas generales a los que se enfrentan las empresas
La mayoría de las empresas tienen serias dificulatades para acceder a los datos.
Los datos se crean en aplicaciones de negocio operacionales en las que los datos están al servicio de la apliación, por tanto, con esquemas que no se entienden a nivel de negocio y en silos de datos independientes totalmente desacoplados.
Con esta situación a las empresas les resulta muy dificial acceder al dato y entenderlo por lo que al final éstas utilizan menos del 30% de los datos de que disponen, y cuando necesitan por ejemplo hacer algún informe más completo se lo piden a usuarios técnicos, por tanto finalmente o no se ponen en producción o no son utilizados por estos usuarios de negocio.
¿Cómo obtienen la empresas información de los datos desde los últimos 20 años?
Con mucho esfuerzo humano y tiempo.
_______________________________________________________________________________________________________________________________________________
NOTA: CONTENIDO CORRESPONDIENTE A ÉSTA DIAPOSITIVA
2. Evolución general de la Gestion de Datos
La evolución de la gestión de datos en las organizaciones a lo largo de los años puede describirse como habiendo pasado por las siguientes generaciones:
1. Gestión de Datos Manual: En los primeros días de la informática, la gestión de datos era en su mayoría manual. Se utilizaban registros en papel, libros de contabilidad y sistemas de archivo para almacenar y gestionar los datos.
2. Sistemas de Bases de Datos: Con la llegada de la tecnología informática, las organizaciones comenzaron a utilizar sistemas de gestión de bases de datos (DBMS) para almacenar y recuperar datos de manera más eficiente. Estos sistemas permitieron el almacenamiento estructurado de datos y consultas.
3. Almacenamiento de Datos (Data Warehousing): El almacenamiento de datos surgió como una forma de consolidar datos de diversas fuentes en un repositorio central para informes y análisis. Esto mejoró las capacidades de toma de decisiones.
4. Big Data y Analítica: El auge del big data generó la necesidad de herramientas de gestión de datos más sofisticadas. Los data lakes y herramientas avanzadas de analítica permitieron a las organizaciones procesar y analizar grandes volúmenes de datos.
5. Gestión de Datos Basada en la Nube: La informática en la nube transformó la gestión de datos al proporcionar soluciones escalables y rentables. Las bases de datos y el almacenamiento de datos basados en la nube se volvieron predominantes.
6. Gobierno de Datos y Cumplimiento Normativo: A medida que las regulaciones de privacidad de datos, como el GDPR, entraron en vigencia, las organizaciones tuvieron que centrarse en el gobierno de datos, la seguridad y el cumplimiento para proteger la información sensible.
7. Integración de Datos y Datos en Tiempo Real: La gestión moderna de datos implica la integración de datos de diversas fuentes en tiempo real. Los datos en tiempo real, los dispositivos IoT y la analítica en tiempo real desempeñan un papel crucial.
8. Gestión de Datos Impulsada por la Inteligencia Artificial: La última generación implica el uso de inteligencia artificial (IA) y aprendizaje automático para automatizar los procesos de datos, mejorar la calidad de los datos y habilitar la analítica predictiva.
El uso de la IA en la gestión de datos, como la "Generative AI Data Fabric", representa un avance significativo en la mejora de la accesibilidad, comprensión y utilización de los datos para las empresas. Es un cambio de juego que permite a las organizaciones extraer más valor de sus activos de datos.
2.1. Problemas y Limitaciones
Cualquier prouyecto que solicita un cliente hoy en día se está haciendo con una de estas tecnologías:
- DataMart / DataWarehouse
- Big Data Lakes
- Public Clouds
Las generaciones tradicionales presentan limitaciones significativas:
- Hemos tenido contenedores de datos físicos donde los datos se copiaban de manera física.
- El movimiento de datos generalmente se realiza mediante flujos de trabajo y ETL (Extraer, Transformar, Cargar), que son esencialmente programas.
- La creación de informes, modelos, etc., debe ser desarrollada con programas.
Cuando las personas tienen que realizar todas estas tareas, especialmente en el contexto de la inteligencia artificial, no resulta rentable. Estas tareas son tediosas, consumen mucho tiempo y no aportan valor desde la perspectiva de un profesional.
Por eso, se requiere tecnología para acelerar y automatizar estos procesos, lo que permite a los profesionales centrarse en tareas que requieren inteligencia humana y aportan valor.
IMPORTANTE: Gestionar los datos solo con personas no funciona, procesos muy lentos y mucho coste.
__________________________________________________________________________________________________________________________________________________
- PROBLEMA 1
El problema de las ETL es que hacer programas para mover datos de un sitio a otro requiere tiempo y por otro lado estructuralmente no disponibiliza los datos en "real-time", en los workflows se suelen mover los datos en un determinado momento programado. Por lo que los sistemas de inteligencia artificial no pueden reaccionar en tiempo real para proporcionar un mejor servicio a las empresas.
- PROBLEMA 2
En los DataMarts los esquemas agregados, cubos y dimensiones son muy rígidos, se tarda mucho tiempo en cambiar algo, son muy poco flexibles.
En los proyectos de Big Data hay que hacer un proyecto por caso de uso porque los datos se arrojan sin más y el equipo de ingenieros de datos, científicos de datos, tienen que trabajar mucho los datos para hacer un determinado proyecto/caso de uso. (Artesanía de la algoritmia)
En los public cloud tengo infraestructura elástica pero si quiero hacer un Datamart o un Lago tengo el mismo problema.
- PROBLEMA 3
Otro problema es que si movemos los datos de nuestro sistema de gestión/información/operacional de origen a un Datamart o un Lago , cuando los sacamos de estos sistemas, como las funcionalidades de esos ERPS le daban significado de negocio a los datos en cuanto copiamos y/o movemos los datos a otros sistemas, se quedan sin significado empresarial. Por lo que si no se Gobierna, no tendrá significado de negocio, tendrá problemas de calidad y errores.
Por lo que si el dato es malo el valor que obtengo es bajo o el esfuerzo que tengo que hacer para obtener valor de ellos es muy grande.
- PROBLEMA 4
3. Enfoques "Data-Driven" y "Customer-Centric"
¿Qué significa que una empresa emplee un enfoque "Data Driven"?
Cuando una empresa emplea un enfoque "data-driven", impulsado por datos, significa que toma decisiones estratégicas basadas en análisis de datos e interpretación.
Un enfoque data-driven permite que las empresas examinen y organicen sus datos con el fin de atender mejor a sus clientes y consumidores.
Al usar datos para impulsar sus acciones, una organización puede contextualizar y personalizar sus mensajes a sus clientes y posibles clientes para un enfoque más "customer-centric".
¿En qué se basa el enfoque "customer-centric"?
Este enfoque está centrado en el cliente. Cuando una empresa toma un enfoque "customer-centric" significa que sus clientes son el centro de sus estrategias y acciones.
Para un enfoque realmente "customer-centric" las empresas deben centrarse en los datos de sus clientes, así como en su valor genreal de siempre mediante la segmentación.
Un enfoque "customer-centric" implica la identificación de sus clientes más valiosos y guiarlos hacia los servicios y productos adecuados.