Preprocesamiento en sklearn
¿Qué es el procesamiento de datos??
El preprocesamiento de datos es una etapa crítica en el aprendizaje automático que mejora la calidad de los datos para fomentar la extracción de información valiosa de los datos. La preparación de datos en el aprendizaje automático es el proceso de preparar los datos sin procesar (limpiarlos y organizarlos) para crear y entrenar modelos de aprendizaje automático. El preprocesamiento de datos en el aprendizaje automático es, en pocas palabras, un enfoque de minería de datos que convierta los datos sin procesar en un formato que sea legible e inteligible.
¿Por qué necesitamos preprocesamiento de datos??
Los datos del mundo real frecuentemente carecen de valores o tendencias de atributos particulares y son frecuentemente inconsistentes, erróneos (contiene errores o valores atípicos) e incompletos. La preparación de datos entra en juego en esta situación porque ayuda a limpiar, formatear y organizar los datos sin procesar, lo que lo prepara para su uso mediante modelos de aprendizaje automático.
El preprocesamiento de datos trata de lo siguiente:
- Datos faltantes: eliminar, corregir e imputar
- Características de ingeniería: extrapolar nuevas características de los datos sin procesar.
- Formato de datos: los datos podrían no estar disponibles en el formato deseado. Por ejemplo, es un archivo de texto simple que necesitamos convertir en un marcado de datos.
- Normalización de datos: no todos los datos pueden estar en forma normalizada. Por lo tanto, lo escala al rango dado para fines de eficiencia
- Descomposición: eliminar datos redundantes para mejorar el rendimiento
Normas para la API Scikit-Learn
Hay varias especificaciones para el tipo de datos que el Sklearn procesará.
- Valores constantes (sin variables categóricas).
- No faltan valores.
- Cada columna debe contener una variable predictor diferente.
- Cada fila debe contener una observación de características.
- Debe haber tantas etiquetas para cada característica como observaciones de ella.
Implementación del preprocesamiento Sklearn
Importación de las bibliotecas y datos
# Importar las bibliotecas y clasesde Sklearn Import SVM, conjuntos de datos
importar pandas como PD
de Sklearn.Imputar importación simple
de Sklearn.preprocesamiento de estándares de importación
de Sklearn.preprocesamiento de importación onehotencoder
# Cargando el conjunto de datos de Iris
datos = conjuntos de datos.load_iris ()
DF = PD.DataFrame (datos = datos.datos, columnas = datos.características_names)
Cargando las primeras 5 filas de los datos
df.cabeza()Producción
| longitud sepal (cm) | Ancho sepal (CM) | Longitud del pétalo (CM) | Ancho de pétalos (CM) | |
|---|---|---|---|---|
| 0 | 5.1 | 3.5 | 1.4 | 0.2 |
| 1 | 4.9 | 3.0 | 1.4 | 0.2 |
| 2 | 4.7 | 3.2 | 1.3 | 0.2 |
| 3 | 4.6 | 3.1 | 1.5 | 0.2 |
| 4 | 5.0 | 3.6 | 1.4 | 0.2 |
Obtener información sobre tipos y valores nulos
df.info ()Producción
RangeIndex: 150 entradas, 0 a 149Columnas de datos (total 4 columnas):
# Columna no nulo cuenta dtype
--- ------ -------------- -----
0 longitud de sepal (cm) 150 flotante no nulo 64
1 ancho de sepal (cm) 150 float no nulo 64
2 Longitud del pétalo (cm) 150 Float no nulo 64
3 ancho pétal (cm) 150 float no nulo 64
Dtypes: Float64 (4)
Llenar los valores faltantes del marco de datos usando sklearn:
Imputer = SimpleImputer (estrategia = 'media')df ['ancho sepal (cm)'] = impute.Fit_Transform (DF [['Sepal Width (CM)']])
Podemos iterar todas las columnas para realizar esta tarea en todas las columnas.
Escalar los datos utilizando escalador estándar
Scaler = estándaressCaler ()escalador.Fit (DF)
# Transformar los datos
escalador.transformar (df) [: 10]
Producción
Array ([[-0.90068117, 1.01900435, -1.34022653, -1.3154443],[-1.14301691, -0.13197948, -1.34022653, -1.3154443],
[-1.38535265, 0.32841405, -1.39706395, -1.3154443],
[-1.50652052, 0.09821729, -1.2833891, -1.3154443],
[-1.02184904, 1.24920112, -1.34022653, -1.3154443],
[-0.53717756, 1.93979142, -1.16971425, -1.05217993],
[-1.50652052, 0.78880759, -1.34022653, -1.18381211],
[-1.02184904, 0.78880759, -1.2833891, -1.3154443],
[-1.74885626, -0.36217625, -1.34022653, -1.3154443],
[-1.14301691, 0.09821729, -1.2833891, -1.44707648]])
Una codificación caliente
Encoder = OneHotencoder (Handle_Unknown = 'Ignore')X = [['A', 1], ['B', 3], ['B', 2]]
codificador.Fit (x)
imprimir (codificador.categorías_)
codificador.transformar (x).ToArray ()
Producción
[array (['a', 'b'], dtype = objeto), array ([1, 2, 3], dtype = objeto)]matriz ([[1., 0., 1., 0., 0.],
[0., 1., 0., 0., 1.],
[0., 1., 0., 1., 0.]])
Conclusión
Discutimos el preprocesamiento y su implementación en la Biblioteca Sklearn Python en este artículo. Para facilitar la extracción de ideas útiles de los datos, el preprocesamiento de datos es un paso crucial en el aprendizaje automático. Plantea la calidad de los datos. Luego, discutimos la implementación en Sklearn. Primero recuperamos información sobre los datos, incluidos los valores y los tipos de datos faltantes, y luego completamos los valores faltantes. También trabajamos en escalar los datos y una codificación en caliente.