Reglas de calidad
Perfilado de sección
-
Reglas de calidad
En este apartado se ve de manera práctica la parte de Reglas de Calidad dentro de Stratio Data Governance
-
-
Desde Stratio Rocket, importar el Trusted Data Workflow del apartado de Material en su carpeta de trabajo dentro de su proyecto de Rocket. Este workflow lee las tablas practica_paciente y practica_episodio de postgres y las escribe en una carpeta de hdfs, simulando un proceso simple de generación de un area trusted de información.
-
Adaptar y ejecutar el workflow para que escriba en una carpeta llamada trusted_data dentro de su carpeta personal de hdfs (/certification/governance/students/[USER]/trusted_data/). Solamente tienes que modificar la configuracin del Path del elemento de salida Parquet.
- Vuelve a Stratio Govenance, lanza un autodescubrimiento automático sobre tu carpeta personal de trabajo para que sincronice lo antes posible.
-
Navega por el diccionario de datos hasta la carpeta trusted_data que acaba de crear y acceder al linaje técnico de las dos tablas.
-
Crear una Quality Rule (QR) Proactiva (Tipo "Rows") de completitud de la columna NHC en la tabla paciente de trusted_data siguiendo la siguiente nomenclatura estardar recomendada:
[USERNAME].[PROJECT/CLIENT].[AREA].[TABLE].[COLUMN].[EXECUTE].[TYPE].[CATEGORY].[ACTION].[COUNTER]
(e.g., eteniente.stratio.TD.practica_paciente.NHC.PR.B.Completeness.PT.001). Estos son los detalles necesarios para la implementación de la regla de calidad:
- Umbral de aceptación por rangos: < 80% = KO
80% <> 90% = Warning
>= 90% = OK
- Acción: Pass Through
- Auditar: No
6. Re-ejecutar el WF de generación de trusted_data para ver cómo ejecuta la QR y revisar los resultados de la misma al finalizar la ejecución del WF.7. De manera similar, siguiendo la nomenclatura indicada previamente, crear una QR Proactiva (Tipo "Rows") de formato para los siguientes campos y especificaciones:- centro en trusted_data>practica_episodio (data pattern: C[0-9][0-9][0-9][0-9]) e email en trusted_data>practica_paciente (data pattern: ^[^@]+@[^@]+\.[a-zA-Z]{2,}$)- Umbral de aceptación: = 100%- Acción: Pass Through- Auditar: No8. Re-ejecutar el WF de generación de trusted_data para ver cómo se ejecutan las 3 QRs y revisar los resultados de las mismas.9. Siguiendo la nomenclatura indicada previamente, crear una QR Planificada (Tipo "Table") de rango de valores permitidos (rango) para la columna tipo en la tabla practica_episodio_csv en el Technical View de su colección personal. Esos son los detalles necesarios para la implementación de la regla de calidad:- Umbral de aceptación: > 80%- Set de datos target: todos los registros de la tabla- Valores permitidos para la condición: ('URGENCIAS', 'HOSPITALIZACION')- Importante planificar la QR para que se ejecute un día y hora concreta futura (preferiblemente 1 o 2 minutos más de la hora actual) y sin repeticiones.10. Revisar la planificación y los resultados de la ejecución en Rocket en el proyecto "System" donde se orquesta la ejecución de las reglas de calidad planificadas.11. Una vez ejecutada, replanificala para que se ejecute los días 1 y 15 de cada mes.12. Se ha generado en Discovery, el siguiente cuadro de mando para monitorizar las ejecuciones de las reglas de calidad: https://discovery.practices.stratio.com/discovery/dashboard/1-dashboard-monitorizacion-de-calidad . Debe usar los diferentes filtros disponibles hasta visualizar únicamente las reglas de calidad que acaba de crear.13. Añadir el Custom Attribute "objetivo_gobierno_[USER]" creado anteriormente en las 3 QRs que ha creado.14. Exportar las QRs que ha creado. Para adjuntarlas en la entrega.
-
-