Pyspark - ASC y Desc

En Python, Pyspark es un módulo Spark utilizado para proporcionar un tipo similar de procesamiento como Spark usando DataFrame. Creemos un Pyspark DataFrame.

Ejemplo:

En este ejemplo, vamos a crear el marco de datos de Pyspark con 5 filas y 6 columnas y mostrar usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'peso': 17,
'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Data DataFrame
df.espectáculo()

Producción:

Pyspark - ASC ()

En Pyspark, ASC () se usa para organizar las filas en orden ascendente en el marco de datos.

Devolverá el nuevo marco de datos organizando las filas en el marco de datos existente. Se usa con funciones sort () u ordenby ().

Método - 1: Uso de ASC () con la función COL

Aquí, estamos utilizando las funciones OrderBy () o Sort () para ordenar el marco de datos de Pyspark en función de las columnas en orden ascendente. Tenemos que especificar los nombres de la columna/s dentro de la función Orderby ()/sort () a través de la función COL. Tenemos que importar esta función desde Pyspark.sql.módulo de funciones. Esto se usa para leer una columna del marco de datos de Pyspark.

Sintaxis:

marco de datos.Orderby (col ("column_name").asc (), ..., col ("column_name").asc ())
marco de datos.Sort (col ("column_name").asc (), ..., col ("column_name").asc ())

Aquí,

DataFrame es la entrada Pyspark DataFrame.
column_name es la columna donde se aplica la clasificación a través de la función COL.

Ejemplo:

En este ejemplo, vamos a clasificar el marco de datos en orden ascendente basado en la dirección y las columnas de edad con las funciones OrderBy () y Sort () y mostrar el Método de datos clasificado utilizando el método recopilado ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'peso': 17,
'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
# Ordenar el marco de datos en función de la dirección y las columnas de edad
# y muestre el marco de datos ordenado
Imprimir (DF.Orderby (col ("dirección").ASC (), col ("edad").asc ()).recolectar())
imprimir()
Imprimir (DF.Sort (col ("dirección").ASC (), col ("edad").asc ()).recolectar())

Producción:

[Fila (dirección = 'Guntur', edad = 23, altura = 5.79, nombre = 'sravan', rollno = '001', peso = 67),
Fila (dirección = 'hyd', edad = 9, altura = 3.69, nombre = 'rohith', rollno = '004', peso = 28),
Fila (dirección = 'hyd', edad = 16, altura = 3.79, nombre = 'ojaswi', rollno = '002', peso = 34),
Fila (dirección = 'hyd', edad = 37, altura = 5.59, name = 'sridevi', rollno = '005', peso = 54),
Fila (dirección = 'patna', edad = 7, altura = 2.79, nombre = 'Gnanesh Chowdary', rollNo = '003', peso = 17)]
[Fila (dirección = 'Guntur', edad = 23, altura = 5.79, nombre = 'sravan', rollno = '001', peso = 67),
Fila (dirección = 'hyd', edad = 9, altura = 3.69, nombre = 'rohith', rollno = '004', peso = 28),
Fila (dirección = 'hyd', edad = 16, altura = 3.79, nombre = 'ojaswi', rollno = '002', peso = 34),
Fila (dirección = 'hyd', edad = 37, altura = 5.59, name = 'sridevi', rollno = '005', peso = 54),
Fila (dirección = 'patna', edad = 7, altura = 2.79, nombre = 'Gnanesh Chowdary', rollNo = '003', peso = 17)]

Método - 2: Uso de ASC () con DataFrame Label

Aquí, estamos utilizando las funciones OrderBy () o Sort () para ordenar el marco de datos de Pyspark en función de las columnas en orden ascendente. Tenemos que especificar los nombres/etiquetas de la columna dentro de la función Orderby ()/sort () a través del nombre/etiqueta de la columna DataFrame.

Sintaxis:

marco de datos.OrderBy (DataFrame.column_name.ASC (), ..., DataFrame.column_name.asc ())
marco de datos.Sort (DataFrame.column_name.ASC (), ..., DataFrame.column_name.asc ())

Aquí,

DataFrame es la entrada Pyspark DataFrame.
column_name es la columna donde se aplica la clasificación.

Ejemplo:

En este ejemplo, vamos a clasificar el marco de datos en orden ascendente basado en la dirección y las columnas de edad con la función orderby () y sort () y mostrar el cuadro de datos ordenado utilizando el método recopilar ().

Producción:

Método - 3: Uso de ASC () con DataFrame Index

Aquí, estamos utilizando las funciones OrderBy () o Sort () para ordenar el marco de datos de Pyspark en función de las columnas en orden ascendente. Tenemos que especificar el índice/índices de columna dentro de la función Orderby ()/sort () a través del índice/posición de la columna DataFrame. En DataFrame, la indexación comienza con '0'.

Sintaxis:

marco de datos.OrderBy (DataFrame [column_index].ASC (), ..., DataFrame [column_index].asc ())
marco de datos.Sort (DataFrame [column_index].ASC (), ..., DataFrame [column_index].asc ())

Aquí,

DataFrame es la entrada Pyspark DataFrame.
column_index es la posición de la columna donde se aplica la clasificación.

Ejemplo:

Producción:

Pyspark - Desc ()

En Pyspark, Desc () se usa para organizar las filas en orden descendente en el marco de datos.

Devolverá el nuevo marco de datos organizando las filas en el marco de datos existente. Se usa con funciones sort () u ordenby ().

Método - 1: Uso de la función Desc () con col

Aquí, estamos utilizando las funciones OrderBy () o Sort () para ordenar el marcado de datos de Pyspark en función de las columnas para ordenar el marco de datos de Pyspark en orden descendente. Tenemos que especificar los nombres de la columna/s dentro de la función Orderby ()/sort () a través de la función COL. Tenemos que importar esta función desde Pyspark.sql.módulo de funciones. Esto se usa para leer una columna del marco de datos de Pyspark.

Sintaxis:

marco de datos.Orderby (col ("column_name").desc (), ..., col ("column_name").desc ())
marco de datos.Sort (col ("column_name").desc (), ..., col ("column_name").desc ())

Aquí,

DataFrame es la entrada Pyspark DataFrame.
column_name es la columna donde se aplica la clasificación a través de la función COL.

Ejemplo:

En este ejemplo, vamos a clasificar el marco de datos en orden descendente en función de la dirección y las columnas de edad con las funciones OrderBy () y Sort () y mostrar el Método de datos ordenado utilizando el método recopilado ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'peso': 17,
'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
# Ordenar el marco de datos en función de la dirección y las columnas de edad
# y muestre el marco de datos ordenado
Imprimir (DF.Orderby (col ("dirección").desc (), col ("edad").desc ()).recolectar())
imprimir()
Imprimir (DF.Sort (col ("dirección").desc (), col ("edad").desc ()).recolectar())

Producción:

[Fila (dirección = 'patna', edad = 7, altura = 2.79, nombre = 'Gnanesh Chowdary', rollno = '003', peso = 17),
Fila (dirección = 'hyd', edad = 37, altura = 5.59, name = 'sridevi', rollno = '005', peso = 54),
Fila (dirección = 'hyd', edad = 16, altura = 3.79, nombre = 'ojaswi', rollno = '002', peso = 34),
Fila (dirección = 'hyd', edad = 9, altura = 3.69, nombre = 'rohith', rollno = '004', peso = 28),
Fila (dirección = 'Guntur', edad = 23, altura = 5.79, nombre = 'sravan', rollno = '001', peso = 67)]
[Fila (dirección = 'patna', edad = 7, altura = 2.79, nombre = 'Gnanesh Chowdary', rollno = '003', peso = 17),
Fila (dirección = 'hyd', edad = 37, altura = 5.59, name = 'sridevi', rollno = '005', peso = 54),
Fila (dirección = 'hyd', edad = 16, altura = 3.79, nombre = 'ojaswi', rollno = '002', peso = 34),
Fila (dirección = 'hyd', edad = 9, altura = 3.69, nombre = 'rohith', rollno = '004', peso = 28),
Fila (dirección = 'Guntur', edad = 23, altura = 5.79, nombre = 'sravan', rollno = '001', peso = 67)]

Método - 2: Uso de Desc () con DataFrame Label

Aquí, estamos utilizando las funciones OrderBy () o Sort () para ordenar el marcado de datos de Pyspark en función de las columnas para ordenar el marco de datos de Pyspark en orden descendente. Tenemos que especificar los nombres/etiquetas de la columna dentro de la función Orderby ()/sort () a través del nombre/etiqueta de la columna DataFrame.

Sintaxis:

marco de datos.OrderBy (DataFrame.column_name.desc (), ..., DataFrame.column_name.desc ())
marco de datos.Sort (DataFrame.column_name.desc (), ..., DataFrame.column_name.desc ())

Aquí,

DataFrame es la entrada Pyspark DataFrame.
column_name es la columna donde se aplica la clasificación.

Ejemplo:

En este ejemplo, vamos a clasificar el marco de datos en orden descendente en función de las columnas de dirección y edad con la función OrderBy () y Sort () y mostrar el DataFrame ordenado utilizando el método recopilado ().

Producción:

Método - 3: Uso de ASC () con DataFrame Index

Aquí, estamos utilizando las funciones OrderBy () o Sort () para ordenar el marco de datos de Pyspark en función de las columnas en orden descendente. Tenemos que especificar el índice/índices de columna dentro de la función Orderby ()/sort () a través del índice/posición de la columna DataFrame. En DataFrame, la indexación comienza con '0'.

Sintaxis:

marco de datos.OrderBy (DataFrame [column_index].desc (), ..., DataFrame [column_index].desc ())
marco de datos.Sort (DataFrame [column_index].desc (), ..., DataFrame [column_index].desc ())

Aquí,

DataFrame es la entrada Pyspark DataFrame.
column_index es la posición de la columna donde se aplica la clasificación.

Ejemplo:

Producción:

Misceláneas

También podemos usar ambas funciones en diferentes columnas en Pyspark DataFrame a la vez.

Ejemplo:

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'peso': 17,
'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
# Ordenar el marco de datos en función de la dirección y las columnas de edad
# y muestre el marco de datos ordenado
Imprimir (DF.Orderby (col ("dirección").desc (), col ("edad").asc ()).recolectar())
imprimir()
Imprimir (DF.Sort (col ("dirección").ASC (), col ("edad").desc ()).recolectar())

Producción:

[Fila (dirección = 'patna', edad = 7, altura = 2.79, name = 'Gnanesh Chowdary', rollNo = '003', peso = 17), fila (dirección = 'hyd', edad = 9, altura = 3.69, name = 'rohith', rollNo = '004', peso = 28), fila (dirección = 'hyd', edad = 16, altura = 3.79, name = 'ojaswi', rollno = '002', peso = 34), fila (dirección = 'hyd', edad = 37, altura = 5.59, name = 'sridevi', rollNo = '005', peso = 54), fila (dirección = 'guntur', edad = 23, altura = 5.79, nombre = 'sravan', rollno = '001', peso = 67)]
[Fila (dirección = 'Guntur', edad = 23, altura = 5.79, name = 'sravan', rollNo = '001', peso = 67), fila (dirección = 'hyd', edad = 37, altura = 5.59, name = 'sridevi', rollNo = '005', peso = 54), fila (dirección = 'hyd', edad = 16, altura = 3.79, name = 'ojaswi', rollNo = '002', peso = 34), fila (dirección = 'hyd', edad = 9, altura = 3.69, name = 'rohith', rollNo = '004', peso = 28), fila (dirección = 'patna', edad = 7, altura = 2.79, nombre = 'Gnanesh Chowdary', rollNo = '003', peso = 17)]

Conclusión

En este artículo, discutimos cómo usar la función ASC () utilizando tres escenarios con funciones sort () y orderby () en el Pyspark DataFrame en Python. Finalmente, llegamos a un punto en el que podemos ordenar los datos en orden ascendente usando ASC () y el orden descendente usando Desc () en el PySpark DataFrame basado en las columnas presentes en el DataFrame.

Programación C

¿Qué es la dirección de memoria en la programación C y cómo encontrarla??

La dirección de memoria en la programación C se refiere a la ubicación donde los datos se almacenan ...

Pilar Melgar

Potencia Shell

Cómo usar el comando inicio-dormir en PowerShell?

El cmdlet de inicio-sueño en PowerShell es responsable de suspender una actividad o detener una sesi...

Jacobo Piña

Programación C

Cómo compilar y ejecutar un programa C en el símbolo del sistema

En el símbolo del sistema de Windows, puede compilar y ejecutar fácilmente un programa C a través de...

Jacobo Piña