PYSPARK DESC_NULLS_FIRST Y DESC_NULLS_LAST Funciones
Antes de discutir estas funciones, crearemos una muestra de Pyspark DataFrame.
Datos
importar pyspark
de Pyspark.SQL Import Sparksession
Spark_app = Sparksession.constructor.nombre de la aplicación('_').getorcreate ()
estudiantes = [(4, 'Sravan', 23, ninguno, ninguno),
(4, 'Chandana', 23, 'CSS', 'Pyspark'),
(46, 'Mounika', 22, ninguno, '.NETO'),
(4, 'Deepika', 21, 'html', ninguno),
]
dataFrame_OBJ = Spark_App.creatataFrame (estudiantes, ['temas_id', 'nombre', 'edad', 'tecnología1', 'tecnología2'])
dataframe_obj.espectáculo()
Producción:
Ahora hay 5 columnas y 4 filas.
Desc_nulls_first () función
La función DESC_NULLS_FIRST () clasifica los valores en una columna en orden descendente, pero colocará los valores nulos existentes en una columna.
Se puede usar con el método select () para seleccionar las columnas ordenadas. Es muy importante usar la función Orderby () porque lo principal aquí es el tipo.OrderBy () toma la función DESC_NULLS_FIRST () como parámetro.
Sintaxis
dataframe_obj.SELECT (dataFrame_obj.columna).OrderBy (DataFrame_obj.columna.desc_nulls_
primero())
Donde DataFrame_obj es el DataFrame y la columna es el nombre de la columna en el que se ordenan los valores, todos los valores nulos se colocarán primero.
Entonces, nuestro marco de datos está listo. Demostremos la función DESC_NULLS_FIRST ().
Ejemplo 1
Ahora, ordenaremos los valores en la columna Technology1 que no tiene valores NUN/NULL en orden descendente utilizando la función DESC_NULLS_FIRST ().
#sorta la columna Technology1 en orden descendente y obtenga primero los valores nulos.
dataframe_obj.SELECT (dataFrame_obj.Tecnología1).OrderBy (DataFrame_obj.Tecnología1.desc_
nulls_first ()).espectáculo()
Producción:
En realidad, hay dos valores nulos. Primero, se colocan, y más tarde HTML y CSS se clasifican en orden descendente.
Ejemplo 2
Ahora, ordenaremos los valores en la columna Technology2 que no tiene valores NUN/NULL en orden descendente utilizando la función DESC_NULLS_FIRST ().
#sorta la columna Technology2 en orden descendente y obtenga primero los valores nulos.
dataframe_obj.SELECT (dataFrame_obj.tecnología2).OrderBy (DataFrame_obj.Tecnología2.desc_
nulls_first ()).espectáculo()
Producción:
En realidad, hay dos valores nulos. Primero, se colocan y luego, Pyspark y .Net se clasifican en orden descendente.
Función DESC_NULLS_LAST ()
La función DESC_NULLS_LAST () clasifica los valores en una columna en orden descendente, pero colocará los valores nulos existentes en una columna.
Se puede usar con el método select () para seleccionar las columnas ordenadas. Es muy importante usar Orderby () porque lo principal aquí es el tipo.ordenby () toma desc_nulls_first () como parámetro.
Sintaxis
dataframe_obj.SELECT (dataFrame_obj.columna).OrderBy (DataFrame_obj.columna.desc_nulls_
último())
Dónde, DataFrame_obj es el DataFrame y la columna es el nombre de la columna en el que se clasifican los valores de tal manera que todos los valores nulos se colocarán como el último.
Entonces, nuestro marco de datos está listo. Demostremos la función DESC_NULLS_LAST ().
Ejemplo 1
Ahora, ordenaremos los valores en la columna Technology2 con valores NINGUNOS/NULL en orden descendente utilizando la función DESC_NULLS_LAST ().
#sorta la columna Technology1 en orden descendente y obtenga los valores nulos en último lugar.
dataframe_obj.SELECT (dataFrame_obj.Tecnología1).OrderBy (DataFrame_obj.Tecnología1.desc_
nulls_last ()).espectáculo()
Producción:
En realidad, hay dos valores nulos. Primero, HTML y CSS se clasifican en orden descendente, y se colocan dos valores nulos el último.
Ejemplo 2
Ahora, ordenaremos los valores en la columna Technology2 que no tiene valores de ninguno/nulo en orden descendente utilizando la función DESC_NULLS_LAST ().
#sorta la columna Technology2 en orden descendente y obtenga los valores nulos en último lugar.
Dataframe_obj.SELECT (dataFrame_obj.tecnología2).OrderBy (DataFrame_obj.Tecnología2.desc_
nulls_last ()).espectáculo()
Producción:
En realidad, hay dos valores nulos. Primero, .Net y Pyspark se clasifican en orden descendente, y se colocan dos valores nulos el último.
Código general
importar pyspark
de Pyspark.SQL Import Sparksession
Spark_app = Sparksession.constructor.nombre de la aplicación('_').getorcreate ()
estudiantes = [(4, 'Sravan', 23, ninguno, ninguno),
(4, 'Chandana', 23, 'CSS', 'Pyspark'),
(46, 'Mounika', 22, ninguno, '.NETO'),
(4, 'Deepika', 21, 'html', ninguno),
]
dataFrame_OBJ = Spark_App.creatataFrame (estudiantes, ['temas_id', 'nombre', 'edad', 'tecnología1', 'tecnología2'])
dataframe_obj.espectáculo()
#sorta la columna Technology1 en orden descendente y obtenga primero los valores nulos.
dataframe_obj.SELECT (dataFrame_obj.Tecnología1).OrderBy (DataFrame_obj.Tecnología1.desc_
nulls_first ()).espectáculo()
#sorta la columna Technology2 en orden descendente y obtenga primero los valores nulos.
dataframe_obj.SELECT (dataFrame_obj.tecnología2).OrderBy (DataFrame_obj.Tecnología2.desc_
nulls_first ()).espectáculo()
#sorta la columna Technology1 en orden descendente y obtenga los valores nulos en último lugar.
dataframe_obj.SELECT (dataFrame_obj.Tecnología1).OrderBy (DataFrame_obj.Tecnología1.desc_
nulls_last ()).espectáculo()
#sorta la columna Technology1 en orden descendente y obtenga los valores nulos en último lugar.
dataframe_obj.SELECT (dataFrame_obj.Tecnología1).OrderBy (DataFrame_obj.Tecnología1.desc_
nulls_last ()).espectáculo()
Conclusión
Al final de este tutorial de Pyspark, aprendimos que es posible lidiar con NULL al clasificar los valores en un marco de datos utilizando las funciones DESC_NULLS_FIRST () y DESC_NULLS_LAST (). La función DESC_NULLS_FIRST () clasifica los valores en una columna en orden descendente, pero organizará los valores nulos existentes en una columna primero. La función DESC_NULLS_LAST () clasifica los valores en una columna en orden descendente, pero organizará los valores nulos existentes en una columna al final. Puede ejecutar todo el código especificado en la última parte del tutorial.