Pyspark - Min

En Python, Pyspark es un módulo Spark utilizado para proporcionar un tipo similar de procesamiento como Spark usando DataFrame. Min () en Pyspark se usa para devolver el valor mínimo de una columna particular en DataFrame. Podemos obtener el valor mínimo de tres maneras.

Método 1: Uso del método select ()
Método 2: Uso del método Agg ()
Método 3: Uso del método GroupBy ()

Antes de eso, tenemos que crear Pyspark DataFrame para la demostración.

Ejemplo:

Crearemos un marco de datos con 5 filas y 6 columnas y lo mostraremos usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = [
'Rollno': '001', 'Nombre': 'Sravan', 'Age': 23,
'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'Ojaswi', 'Age': 16,
'Altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7,
'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'Rollno': '004', 'Nombre': 'Rohith', 'Age': 9,
'Altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37,
'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Data DataFrame
df.espectáculo()

Captura de pantalla de salida:

Método -1: usando el método select ()

Podemos obtener el valor mínimo de la columna en la estructura de datos utilizando el método select (). Usando el método min (), podemos obtener el valor mínimo de la columna. Para usar este método, tenemos que importarlo de Pyspark.sql.Módulo de funciones, y finalmente, podemos usar el método Collect () para obtener el mínimo de la columna

Sintaxis:

df.SELECT (min ('column_name'))

Dónde,

DF es la entrada Pyspark DataFrame
column_name es la columna para obtener el valor mínimo

Si queremos devolver el valor mínimo de varias columnas, tenemos que usar el método min () dentro del método select () especificando el nombre de la columna separado por una coma.

Sintaxis:

df.SELECT (min ('column_name'), min ('column_name'), .. ., min ('column_name'))

Dónde,

DF es la entrada Pyspark DataFrame
column_name es la columna para obtener el valor mínimo

Ejemplo 1: columna única

Este ejemplo obtendrá el valor mínimo de la columna de altura en el marco de datos de Pyspark.

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función mínima - min
de Pyspark.sql.Funciones Importar min
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = [
'Rollno': '001', 'Nombre': 'Sravan', 'Age': 23,
'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'Ojaswi', 'Age': 16,
'Altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7,
'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'Rollno': '004', 'Nombre': 'Rohith', 'Age': 9,
'Altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37,
'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Realizar el mínimo de la columna de altura
df.Seleccionar (min ('altura')).recolectar()

Producción:

[Fila (min (altura) = 2.79)]

En el ejemplo anterior, se devuelve el valor mínimo de la columna de altura.

Ejemplo 2: múltiples columnas

Este ejemplo obtendrá el valor mínimo de las columnas de altura, edad y peso en el marco de datos de Pyspark.

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función mínima - min
de Pyspark.sql.Funciones Importar min
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
Students = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23,
'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'Ojaswi', 'Age': 16,
'Altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7,
'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'Rollno': '004', 'Nombre': 'Rohith', 'Age': 9,
'Altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37,
'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Realizar el mínimo de las columnas de altura, edad y peso
df.Seleccione (min ('altura'), min ('edad'), min ('peso')).recolectar()

Producción:

[Fila (min (altura) = 2.79, min (edad) = 7, min (peso) = 17)

En el ejemplo anterior, se devuelve el valor mínimo de las columnas de altura, edad y peso.

Método - 2: Uso del método Agg ()

Podemos obtener el valor mínimo de la columna en la estructura de datos utilizando el método Agg (). Este método se conoce como agregación, que agrupa los valores dentro de una columna. Tomará el diccionario como un parámetro en esa clave será el nombre y el valor de la columna es la función agregada, i.mi., mínimo. Usando el método Min (), podemos obtener el valor mínimo de la columna y, finalmente, podemos usar el método Collect () para obtener el mínimo de la columna.

Sintaxis:

df.AGG ('column_name': min)

Dónde,

DF es la entrada Pyspark DataFrame
column_name es la columna para obtener el valor mínimo
Min es una función de agregación utilizada para devolver el valor mínimo

Si queremos devolver el valor mínimo de varias columnas, tenemos que especificar el nombre de la columna con la función MIN separada por una coma.

Sintaxis:

df.agg ('column_name': min, 'column_name': min, ..., 'column_name': min)

Dónde,

DF es la entrada Pyspark DataFrame
column_name es la columna para obtener el valor mínimo
Min es una función de agregación utilizada para devolver el valor mínimo

Ejemplo 1: columna única

Este ejemplo obtendrá el valor mínimo de la columna de altura en el marco de datos de Pyspark.

Producción:

[Fila (min (altura) = 2.79)]

En el ejemplo anterior, se devuelve el valor mínimo de la columna de altura.

Ejemplo 2: múltiples columnas

Este ejemplo obtendrá el valor mínimo de las columnas de altura, edad y peso en el marco de datos de Pyspark.

Producción:

[Fila (min (peso) = 17, min (edad) = 7, min (altura) = 2.79)]

En el ejemplo anterior, se devuelve el valor mínimo de las columnas de altura, edad y peso.

Método - 3: Uso del método GroupBy ()

Podemos obtener el valor mínimo de la columna en la estructura de datos utilizando el método GroupBy (). Este método devolverá el valor mínimo agrupando valores similares en una columna. Tenemos que usar la función min () después de realizar la función GroupBy ()

Sintaxis:

df.Groupby (group_column). min ('column_name')

Dónde,

DF es la entrada Pyspark DataFrame
Group_column es la columna donde los valores se agrupan en función de esta columna
column_name es la columna para obtener el valor mínimo
Min es una función de agregación utilizada para devolver el valor mínimo.

Ejemplo 1:

En este ejemplo, agruparemos la columna de dirección con la columna de altura para devolver el valor mínimo basado en esta columna de dirección.

Producción:

Hay tres valores únicos en el campo de dirección: Hyd, Guntur y Patna. Entonces, el mínimo se formará agrupando los valores en los valores de la dirección.

[Fila (dirección = 'hyd', min (altura) = 3.69),
Fila (dirección = 'Guntur', min (altura) = 5.79),
Fila (dirección = 'patna', min (altura) = 2.79)]

Ejemplo 2:

En este ejemplo, agruparemos la columna de dirección con la columna de peso para devolver el valor mínimo basado en esta columna de dirección.

Producción:

Hay tres valores únicos en el campo de dirección: Hyd, Guntur y Patna. Entonces, el mínimo se formará agrupando los valores en los valores de la dirección.

[Fila (dirección = 'hyd', min (peso) = 28),
Fila (dirección = 'Guntur', min (peso) = 67),
Fila (dirección = 'patna', min (peso) = 17)]

Conclusión:

Discutimos cómo obtener el valor mínimo de Pyspark DataFrame utilizando los métodos select () y agg (). Para obtener el valor mínimo agrupando con otras columnas, utilizamos el grupo junto con la función min (). Ver también Artículo de Pyspark Max ().

Base de datos Oracle

¿Qué tipo de base de datos es Oracle Top 10G??

Oracle 11g es RDBMS que ofrece varias características orientadas a objetos i.mi., herencia y polimor...

Salvador Anaya

Base de datos Oracle

Cómo instalar Oracle Instant Client en Linux?

El cliente Instant Oracle se puede instalar utilizando el servidor YUM, RPM y el archivo zip que se ...

Mariana Cotto

AWS

Cómo usar AWS Systems Manager Manager de sesión?

Para usar un administrador de sesión para conectarse a la instancia, cree una instancia que use AMI ...

Salvador Anaya