Cambiar nombres de columnas de Pyspark DataFrame - Cambiar la columna

En Python, Pyspark es un módulo Spark utilizado para proporcionar un tipo similar de procesamiento como Spark usando DataFrame. Discutiremos diferentes métodos para cambiar los nombres de columnas de Pyspark DataFrame. Crearemos PySpark DataFrame antes de pasar a los métodos.

Ejemplo:
Aquí vamos a crear Pyspark DataFrame con 5 filas y 6 columnas.

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Disprazando el marco de datos
df.espectáculo()

Producción:

Método 1: Uso de WithColumnrenamed ()

Podemos cambiar el nombre de la columna en Pyspark DataFrame utilizando este método.

Sintaxis:
marco de datos.WithColumnrenamed ("Old_Column", "New_Column")

Parámetros:

1. Old_column es la columna existente
2. new_column es la nueva columna que reemplaza a Old_Column

Ejemplo:
En este ejemplo, estamos reemplazando la columna de dirección con "ciudad" y mostrando todo el marco de datos utilizando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Rename la columna de dirección con la ciudad
df.WithColumnrenamed ("Dirección", "Ciudad").espectáculo()

Producción:

También podemos reemplazar múltiples nombres de columnas a la vez utilizando este método.

Sintaxis:
marco de datos.WithColumnrenamed ("Old_Column", "New_Column") .WithColumnrenamed ("Old_Column", "New_Column") .. .WithColumnrenamed ("Old_Column", "New_Column")

Ejemplo:
En este ejemplo, estamos reemplazando la columna de dirección con la columna "Ciudad", altura con "altura", columna Rollno con "ID" y mostrando todo el marco de datos usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Rename La columna de dirección con ciudad, columna de altura con altura, columna Rollno con ID
df.WithColumnrenamed ("Dirección", "Ciudad").WithColumnrenamed ("altura", "altura").WithColumnrenamed ("Rollno", "Id").espectáculo()

Producción:

Método 2: usando selectExpr ()

Este es un método de expresión que cambia el nombre de la columna tomando una expresión.

Sintaxis:
marco de datos.selectExpr (expresión)

Parámetros:

• Tomará solo un parámetro que es una expresión.
• La expresión se usa para cambiar la columna. Entonces, la expresión será: "Old_column como new_column".

Finalmente la sintaxis es:

marco de datos.selectExpr ("Old_Column como New_Column")

dónde,

• Old_column es la columna existente
• new_column es la nueva columna que reemplaza a Old_Column

Nota: Podemos proporcionar múltiples expresiones separadas por coma dentro de este método.

Ejemplo 1:
En este ejemplo, estamos reemplazando la columna de dirección con "ciudad" y mostrando esta columna usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Rename la columna de dirección con la ciudad
df.selectExpr ("Dirección como ciudad").espectáculo()

Producción:

Ejemplo 2:

En este ejemplo, estamos reemplazando la columna de dirección con la columna "Ciudad", altura con "altura", columna Rollno con "ID" y mostrando todo el marco de datos usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Rename La columna de dirección con ciudad, columna de altura con altura, columna Rollno con ID
df.selectExpr ("Dirección como ciudad", "Altura como altura", "Rollno como ID").espectáculo()

Producción:

Método 3: Uso de select ()

Podemos seleccionar columnas de DataFrame cambiando los nombres de columna a través del método col con alias ().

Sintaxis:
marco de datos.Seleccione (col ("Old_Column").alias ("new_column"))

Parámetros:

• Tomará solo un parámetro que es el nombre de la columna a través del método col ().

col () es un método que está disponible en Pyspark.sql.Las funciones tomarán Old_Column como parámetro de entrada y cambiarán a new_column con alias ()

alias () tomará new_column como parámetro

dónde:

1. Old_column es la columna existente
2. new_column es la nueva columna que reemplaza a Old_Column

Nota: Podemos proporcionar múltiples columnas separadas por coma dentro de este método.

Ejemplo 1:
En este ejemplo, estamos reemplazando la columna de dirección con "ciudad" y mostrando esta columna usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Rename la columna de dirección con la ciudad
df.Seleccionar (col ("dirección").alias ("ciudad")).espectáculo()

Producción:

Ejemplo 2:

En este ejemplo, estamos reemplazando la columna de dirección con la columna "Ciudad", altura con "altura", columna RollNo con "ID" y mostrando todo el marco de datos usando el método show ().

#Importa el módulo Pyspark
importar pyspark
#Import Sparksession para crear una sesión
de Pyspark.SQL Import Sparksession
#Importa la función col
de Pyspark.sql.Funciones Importar Col
#cree una aplicación llamada Linuxhint
Spark_app = Sparksession.constructor.AppName ('Linuxhint').getorcreate ()
# Crear datos de estudiante con 5 filas y 6 atributos
estudiantes = ['Rollno': '001', 'Nombre': 'Sravan', 'Age': 23, 'Altura': 5.79, 'Peso': 67, 'Dirección': 'Guntur',
'Rollno': '002', 'Nombre': 'ojaswi', 'edad': 16, 'altura': 3.79, 'Peso': 34, 'Dirección': 'Hyd',
'Rollno': '003', 'Nombre': 'Gnanesh Chowdary', 'Age': 7, 'Altura': 2.79, 'Peso': 17, 'Dirección': 'Patna',
'rollno': '004', 'nombre': 'rohith', 'edad': 9, 'altura': 3.69, 'Peso': 28, 'Dirección': 'Hyd',
'Rollno': '005', 'Nombre': 'Sridevi', 'Age': 37, 'Altura': 5.59, 'Peso': 54, 'Dirección': 'Hyd']
# Crea el DataFrame
DF = Spark_App.Createdataframe (estudiantes)
#Rename La columna de dirección con ciudad, columna de altura con altura, columna Rollno con ID
df.Seleccionar (col ("dirección").alias ("ciudad"), col ("altura").alias ("altura"), col ("rollno").alias ("id")).espectáculo()

Producción:

Conclusión

En este tutorial, discutimos cómo cambiar los nombres de columnas de Pyspark DataFrame usando withColumnrenamed (), select y selectExpr () métodos. Usando estos métodos, también podemos cambiar múltiples nombres de columnas a la vez.