Crea un notebook

Con un nombre parecido a este “practice_cert_44_notebook” del tipo "pyspark":

Abre el notebook, si no tienes acceso solicitalo a certification@stratio.com

Una vez abierto debes tener algo parecido a esto

Instanciamos una session del virtualizador

Lo primero instanciamos una session del virtualizador con este código

from pystratio.xd.xdsession import XDSession
xd_session = XDSession(sc)

Asistente incorporado en el notebook con “%ai sql”

Después vamos a usar lo primero el asistente incorporado en el notebook con “%ai sql” y deberíamos tener una pantalla parecida a la siguiente

Aquí consultaremos la colección semantic_c_ad_practice y podemos elegir el idioma “es”, vamos a preguntar “Dame el listado de productos vendidos incluyendo el tipo de envío y el territorio”, deberíamos obtener un resultado parecido al siguiente:

Aplicamos la sql y esto nos da el código pyspark para hacer la consulta la ejecutamos obteniendo el siguiente resultado.

Usando el api

Ahora vamos a probar como hacer lo mismo usando el api que se ha añadido al código.

Escribimos lo siguiente

sql_builder = xd_session.genai.sql_builder(database="semantic_c_ad_practice")
response, sql_query = sql_builder.ask("Dame el listado de productos vendidos incluyendo el tipo de envío y el territorio")
df = sql_builder.apply_query()
df.show(10)
df.explain()

Obtenemos una pantalla similar a esta

Generar una transformación de un dataframe

Ahora vamos a generar una transformación de un dataframe, en pyspark con lenguaje natural.

Introducimos este código

df_formed, code = df.genai.basic_transform_with_code(
instruction = "Cuantos productos se han vendido por region y sácame una gráfica en pandas",
verbose = True,
generate_new_cell = True)

y vemos que debería generar algo parecido a esto

Que podemos ejecutar

Como añadir conocimiento

Vamos a probar ahora como añadir conocimiento tando de columnas como general:

Para ello vamos a introducir este código

df = df \
.genai.add_column_description(
	col_name="TerritoryName",
	description="Nombre del Territorio "
)\
.genai.add_column_description(
	col_name="TerritoryName",
	description="'Europa' = ['France','Germany']"
)\
.genai.add_knowledge("Ventas no fiables: las ventas no fiables son todas aquellas realizadas con el tipo de envío 'CARGO TRANSPORT 5'")

y haremos estas dos preguntas

transformed_df, code = df.genai.basic_transform_with_code("Dame los productos vendidos en 'Europa'")

lo cual nos debería dar este resultado

Y esta otra pregunta

 transformed_df, code = df.genai.basic_transform_with_code("Damde la lista de Ventas No fiables")

Y debería dar este resultado

Ambos los podemos ejecutar y ver el resultado de la ejecución, revisaremos si hay algún campo que no está en el dataframe para eliminarlo y poder ejecutar el código.