Funciones bit a bit en Pyspark
Función bitwiseor ()
Esta función realiza el bitwise u operación en dos columnas en Pyspark DataFrame.
Operación:
1 bitwiseor 1 => 1
1 bitwiseor 0 => 1
0 bitwiseor 1 => 1
0 bitwiseor 0 => 0
Sintaxis:
Se puede usar con el método select () para mostrar la operación de bit a bit.
dataframe_obj.SELECT (dataFrame_obj.columna1.bitwiseor (dataframe_obj.columna 2)
Donde DataFrame_obj es el Pyspark DataFrame y la columna representa los nombres de la columna (columna1, columna2).
Ejemplo:
Tenemos un marco de datos con 4 filas y 5 columnas: ['temas_id', 'nombre', 'edad', 'm1', 'm2']]. Ahora, aplicamos la función bitwiseand () en las columnas M1 y M2.
importar pyspark
de Pyspark.SQL Import Sparksession
Spark_app = Sparksession.constructor.nombre de la aplicación('_').getorcreate ()
estudiantes = [(4, 'Sravan', 23,0,0),
(4, 'Chandana', 23,0,1),
(46, 'Mounika', 22,1,0),
(4, 'Deepika', 21,1,1),
]
dataFrame_OBJ = Spark_App.creatataframe (estudiantes, ['temas_id', 'nombre', 'edad', 'm1', 'm2'])
dataframe_obj.espectáculo()
#rendimiento bit a bitwise y operación en las columnas M1 y M2
dataframe_obj.SELECT (dataFrame_obj.M1.bitwiseand (dataframe_obj.m2)).espectáculo()
Producción:
Función bitwiseand ()
Esta función realiza el bitwise y la operación en dos columnas en Pyspark DataFrame.
Operación:
1 bitwiseand 1 => 1
1 bitwiseand 0 => 0
0 bitwiseand 1 => 0
0 bitwiseand 0 => 0
Sintaxis:
Se puede usar con el método select () para mostrar la operación de bit a bit.
dataframe_obj.SELECT (dataFrame_obj.columna1.bitwiseand (dataframe_obj.columna 2)
Donde DataFrame_obj es el Pyspark DataFrame y la columna representa los nombres de la columna (columna1, columna2).
Ejemplo:
Tenemos un marco de datos con 4 filas y 5 columnas: ['temas_id', 'nombre', 'edad', 'm1', 'm2']]. Ahora, aplicamos la función bitwiseand () en las columnas M1 y M2.
importar pyspark
de Pyspark.SQL Import Sparksession
Spark_app = Sparksession.constructor.nombre de la aplicación('_').getorcreate ()
estudiantes = [(4, 'Sravan', 23,0,0),
(4, 'Chandana', 23,0,1),
(46, 'Mounika', 22,1,0),
(4, 'Deepika', 21,1,1),
]
dataFrame_OBJ = Spark_App.creatataframe (estudiantes, ['temas_id', 'nombre', 'edad', 'm1', 'm2'])
dataframe_obj.espectáculo()
#rendimiento bit a bitwise y operación en las columnas M1 y M2
dataframe_obj.SELECT (dataFrame_obj.M1.bitwiseand (dataframe_obj.m2)).espectáculo()
Producción:
Función bitwisexor ()
Esta función realiza la operación XOR bitwise en dos columnas en Pyspark DataFrame.
Operación:
1 bitwisexor 1 => 0
1 bitwisexor 0 => 1
0 bitwisexor 1 => 1
0 bitwisexor 0 => 0
Sintaxis:
Se puede usar con el método select () para mostrar la operación de bit a bit.
dataframe_obj.SELECT (dataFrame_obj.columna1.bitwisexor (dataframe_obj.columna 2)
Donde DataFrame_obj es el Pyspark DataFrame y la columna representa los nombres de la columna (columna1, columna2).
Ejemplo:
Tenemos un marco de datos con 4 filas y 5 columnas: ['temas_id', 'nombre', 'edad', 'm1', 'm2']]. Ahora, aplicamos la función bitwisexor () en las columnas M1 y M2.
importar pyspark
de Pyspark.SQL Import Sparksession
Spark_app = Sparksession.constructor.nombre de la aplicación('_').getorcreate ()
estudiantes = [(4, 'Sravan', 23,0,0),
(4, 'Chandana', 23,0,1),
(46, 'Mounika', 22,1,0),
(4, 'Deepika', 21,1,1),
]
dataFrame_OBJ = Spark_App.creatataframe (estudiantes, ['temas_id', 'nombre', 'edad', 'm1', 'm2'])
dataframe_obj.espectáculo()
#rendimiento de operación bitwisexor en las columnas M1 y M2
dataframe_obj.SELECT (dataFrame_obj.M1.bitwisexor (dataframe_obj.m2)).espectáculo()
Producción:
Conclusión
En este tutorial de Pyspark, aprendimos cómo realizar las operaciones bit a bit en Pyspark DataFrame. Bitwiseor devuelve 1 si alguno de los valores en las columnas de marcado de datos de Pyspark es 1 en una fila. Bitwisexor devuelve 1 si los valores en dos columnas son diferentes; De lo contrario, devuelve 0. Y Bitwiseand devuelve 1 si los valores en dos columnas son 1; De lo contrario, devuelve 0.