Cómo crear configuración de inventario en el cubo S3
El inventario de Amazon S3 se puede configurar para generar informes de objetos S3 específicos especificando el prefijo. El inventario se puede enviar al cubo de destino dentro de la misma cuenta o una cuenta diferente. Los inventarios múltiples S3 también se pueden configurar para el mismo cubo S3 con diferentes prefijos de objetos S3, cubos de destino y tipos de archivos de salida. Además, puede especificar si el archivo de inventario estará encriptado o no.
Este blog verá cómo el inventario se puede configurar en el cubo S3 utilizando la consola de administración de AWS.
Creación de configuración de inventario
Primero, inicie sesión en la consola de administración de AWS y vaya al servicio S3.
Desde la consola S3, vaya al cubo para el que desea configurar el inventario.
Dentro del balde, ve al gestión pestaña.
Desplácese hacia abajo y vaya al Configuración de inventario sección. Clickea en el crear configuración de inventario botón para crear la configuración del inventario.
Abrirá una página de configuración para configurar el inventario. Primero, agregue el nombre de configuración del inventario que debe ser único dentro del cubo S3. Luego proporcione el prefijo del objeto S3 si desea limitar el inventario a objetos S3 específicos. Para cubrir todos los objetos en el cubo S3, deje el prefijo campo vacío.
Para esta demostración, limitaremos el alcance del inventario al objeto con prefijo avisos de servidor.
Además, la configuración del inventario se puede limitar a la versión actual, o la anterior también se puede cubrir por el inventario. Para esta demostración, limitaremos el alcance del inventario a la versión actual.
Después de especificar el alcance del inventario, ahora solicitará los detalles del informe. El informe se puede guardar en el cubo de destino S3 dentro o en toda la cuenta. Primero, seleccione si desea guardar los informes de inventario al cubo S3 en la misma o diferente cuenta. Luego ingrese el nombre del cubo de destino o navegue por los cubos S3 desde la consola.
Una política de cubo se agrega automáticamente al cubo de destino, que permite que el cubo de origen escriba datos en el cubo de destino. La siguiente política de cubo se agregará al cubo de destino S3 para esta demostración.
Después de especificar el cubo de destino S3 para el informe de inventario, ahora proporcione el período de tiempo después del cual se generará el informe de inventario. El cubo de AWS S3 se puede configurar para generar informes de inventario diarios o semanales. Para esta demostración, seleccionaremos la opción de generación diaria de informes.
La opción de formación de salida especifica en qué formato se generará el archivo de inventario. AWS S3 admite los siguientes tres formatos de salida para inventario.
- CSV
- Apache Orc
- Parquet apache
Para esta demostración, seleccionaremos el formato de salida CSV. El Estado Las opciones establecen el estado de la configuración del inventario. Si desea habilitar la configuración del inventario S3 justo después de crearla, configure esta opción en Permitir.
Los informes de inventario generados se pueden cifrar en el lado del servidor habilitando el cifrado del lado del servidor opción. Debe seleccionar la tecla KMS o la tecla administrada por el cliente si está habilitado. Para esta demostración, no habilitaremos el cifrado del lado del servidor.
También puede personalizar el informe de inventario generado agregando campos adicionales al informe. El inventario de AWS S3 proporciona la configuración para agregar metadatos adicionales a los informes de inventario. Bajo la Campos Adicionales Sección, seleccione los campos que desea agregar al informe de inventario. Para esta demostración, no seleccionaremos ningún campo adicional.
Ahora haga clic en el crear Botón en la parte inferior de la página de configuración para crear la configuración de inventario para el cubo S3. Creará la configuración del inventario y agregará una política de cubo al cubo de destino. Vaya al cubo de destino haciendo clic en la URL del cubo de destino.
En el cubo de destino S3, vaya al permisos pestaña.
Desplácese hacia abajo hasta el Política de balde Sección, y habrá una política de cubo S3 que permite que el cubo S3 de origen pase los informes de inventario al cubo de destino S3.
Ahora vaya al cubo S3 de la fuente y cree un avisos de servidor directorio. Sube un archivo en el directorio usando la consola AWS S3.
Después de cargar el archivo en el cubo de fuente S3, puede demorar hasta 48 horas en generar el primer informe de inventario. Después del informe inicial, el próximo informe se generará en el período de tiempo especificado por usted en la configuración de inventario.
Lectura de inventario de Destination S3 Bucket
Después de 48 horas de configuración del inventario para el cubo S3, vaya al cubo S3 de destino, y el informe de inventario se generará para el cubo S3.
Los informes para el inventario se generan en una estructura de directorio específica en el cubo de destino S3. Para ver la estructura del directorio, descargue el directorio de informes y ejecute el árbol Comando dentro del directorio de informes.
Ubuntu@ubuntu: ~ $ CD Linuxhint-Demo-Bucket
ubuntu@ubuntu: ~ $ árbol .
El demo-constante-config directorio (llamado por el nombre de la configuración del inventario) dentro del Linuxhint-Demo-Bucket (llamado por el nombre del cubo S3 de la fuente) contiene todos los datos relacionados con el informe de inventario.
El datos El directorio incluye los archivos CSV comprimidos en formato GZIP. Descomprima un archivo y gétalo en la terminal.
ubuntu@ubuntu: ~ $ gunzip
ubuntu@ubuntu: ~ $ gat
Los directorios dentro del Directorio de Convento de Demo-Inventory, llamado después de la fecha en que se crean, incluyen los metadatos de los informes de inventario. Utilizar el gato ordenar leer el manifiesto.archivo json.
ubuntu@ubuntu: ~ $ CAT 2022-02-17T00-00Z/Manifest.json
Del mismo modo, el colmena El directorio incluye archivos que apuntan al informe de inventario de una fecha específica. Utilizar el gato comandar leer cualquiera de los ajustes simbólicos.archivos txt.
Ubuntu@ubuntu: ~ $ Cat Hive/DT \ = 2022-02-17-00-00/Symlink.TXT
Conclusión
AWS S3 proporciona configuración de inventario para administrar el almacenamiento y generar informes de auditoría. El inventario S3 se puede configurar para objetos S3 específicos especificados por el prefijo de objeto S3. Además, se pueden crear múltiples configuraciones de inventario para un solo cubo S3. Este blog describe el procedimiento detallado para crear configuraciones de inventario S3 y leer los informes de inventario del cubo de destino S3.