Cómo crear un trabajo de operación por lotes S3

Una operación por lotes es una tarea o trabajo realizado por un sistema automáticamente con una interfaz humana mínima. Se puede programar la operación, lo que significa que siempre se ejecutará de la misma manera rutinaria o se invocará por una llamada de función. Además, una operación por lotes nos permite realizar la misma tarea en una gran cantidad de objetos en lugar de hacerlo en cada objeto uno por uno. Esto lo hace muy rentable y ahorrando tiempo para el servidor.

AWS nos permite crear operaciones por lotes para nuestros cubos S3 para procesar datos a gran escala. También administra y rastrea las tareas de operación por lotes y mantiene los informes que tienen detalles sobre la finalización del trabajo. Las cosas son mucho más fáciles de administrar, ya que este es un servicio sin servidor de AWS. Veamos cómo crear un trabajo de operación por lotes para nuestro cubo S3.

Creación de operación de lotes S3 usando la consola

Ahora, veremos cómo crear un trabajo de operación por lotes S3. Entonces, inicie sesión en su cuenta de AWS y cree un cubo S3.

Para crear un trabajo de operación por lotes, requerimos un archivo manifiesto de los datos que necesitamos administrar el uso de ese trabajo. Para generar el manifiesto, vaya a la sección de administración en su cubo S3 con la barra de menú superior.

En la sección de administración, arrastre hacia abajo a las configuraciones de inventario y haga clic en Crear configuraciones de inventario.

En la sección Crear, debe dar un nombre para su configuración de inventario.

Luego, debe seleccionar la ruta de destino donde desea almacenar sus informes de inventario. También debe adjuntar la política para otorgar permiso para poner datos en el cubo S3.

También puede cambiar el formato del archivo manifiesto si lo desea. Aquí, vamos con CSV, ya que deseamos utilizar esto en una operación por lotes.

El usuario puede especificar qué tipo de información desea en su informe manifiesto y sobre qué objetos. AWS proporciona múltiples opciones, como tipo de objeto, clase de almacenamiento, integridad de datos y bloqueo de objetos.

Ahora, simplemente haga clic en el botón Crear en la esquina derecha del botón, y obtendrá la configuración de su inventario para su cubo S3. El informe manifiesto se generará en 48 horas y se almacenará en el cubo de destino.

A continuación, vamos a crear un trabajo por lotes S3. Simplemente haga clic en operaciones de lotes en el panel de menú derecho en la sección S3 para abrir la consola de operación por lotes.

Aquí, tenemos que crear un trabajo específico para una tarea particular que queremos realizar en nuestros objetos en el cubo S3. Entonces, haga clic en Crear trabajo para comenzar a construir su primer trabajo de operación por lotes S3.

Para la creación de empleo, primero necesitamos un manifiesto que proporcione los detalles sobre los objetos almacenados en el cubo. Puede crear un manifiesto en JSON o CSV a partir de la sección de administración en su cubo S3, pero eso llevará algún tiempo generar el informe. Entonces hacemos clic en Crear manifiesto usando la configuración de replicación S3.

Elija el cubo de origen para el que va a crear este trabajo. El cubo también puede pertenecer a alguna otra cuenta de AWS.

También puede guardar el manifiesto, que finalmente se creará para esta operación por lotes. Debe proporcionar el destino donde se guardará.

Ahora, podemos elegir la operación que queremos que realice nuestra operación por lotes. AWS ofrece múltiples operaciones como objetos de copia, invocar funciones lambda, eliminar etiquetas y muchas otras. Sin embargo, un manifiesto creado con la configuración de replicación S3 solo permite la operación de replicación.

A continuación, puede proporcionar la descripción de la operación por lotes y definir el nivel de prioridad en función de los números; Alto valor significa mayor prioridad.

Si desea obtener un informe de finalización de trabajo, verifique la opción de Informe de finalización de Generación y proporcione la ubicación donde se almacenará.

Para los permisos, debe tener un papel de IAM con una política de operaciones de lotes S3 que puede crear fácilmente para operaciones por lotes en la sección IAM.

Finalmente, revise todas las configuraciones y haga clic en Crear trabajo para completar el proceso.

Una vez creado, aparecerá en la sección de trabajos. Puede tomar algún tiempo estar listo en función de las operaciones que ha seleccionado para el trabajo. Después de eso, puedes ejecutarlo como quieras.

Entonces, hemos creado con éxito un trabajo de operación por lotes S3 utilizando la consola AWS.

Creación de operación de lotes S3 usando CLI

Ahora, veamos cómo configurar un trabajo de operación por lotes S3 utilizando la interfaz de línea de comandos de AWS. Para eso, configure las credenciales de AWS CLI en su máquina. Visite el siguiente blog para configurar las credenciales de AWS CLI.

https: // linuxhint.com/configure-aws-cli-credentials/

Después de configurar las credenciales de AWS CLI, cree un cubo S3 usando el siguiente comando en el terminal:

$: AWS S3API Create-Bucket-Bucket --región

Luego, debe crear la operación por lotes que desea realizar en sus objetos. Entonces, cree un documento JSON, defina la operación que desee y proporcione los atributos requeridos de dicha operación. El siguiente es un ejemplo de operación de etiquetado de objeto S3:

A continuación, si desea generar el informe de finalización de su trabajo por lotes, debe proporcionar el destino para almacenar ese archivo de informe. El formato JSON predeterminado para esto es el siguiente:

"Balde": "",
"Formato": "Report_CSV_20180820",
"Habilitado": verdadero | FALSO,
"Prefijo": "",
"Reportscope": "AllTasks | fallido en Tasksonly"

Luego, debe proporcionar el archivo manifiesto que contiene los metadatos de todos los objetos almacenados en su cubo S3 en el que desea realizar la operación por lotes. Debe crear otro archivo JSON con los siguientes atributos:

"Especificaciones":
"Formato": "S3BatchOperations_CSV_20180820"
"Fields": ["Bucket", "Key"]
,
"Ubicación":
"Objectarn": "",
"ObjectVersionID": "",
"Etag": ""

Finalmente, podemos crear nuestra operación por lotes utilizando el siguiente comando:

$: AWS S3Control Create-Job
--ID de la cuenta
--confirmación requerida
--Archivo de operación:
--archivo de informe://
--Archivo manifiesto: //--rol

Entonces, hemos creado con éxito un trabajo de operación por lotes utilizando AWS CLI.

Conclusión:

La operación de lotes S3 es una herramienta muy útil para usar cuando desea administrar una gran cantidad de objetos. Los trabajos por lotes a menudo pueden ser difíciles y complejos de establecer por primera vez. Pero pueden reducir fácilmente su esfuerzo, costo y tiempo. Se utilizan para ejecutar algoritmos complejos, tareas repetitivas, una tabla se une en bases de datos SQL, invoca una función Lambda y llame a una API REST REST. Solo necesita proporcionar la lista de objetos en su cubo S3 en el que desea realizar la tarea, y el proceso se realizará cada vez que se active la operación por lotes. Los ejemplos comunes de las operaciones por lotes incluyen el etiquetado de objetos S3, recuperar datos específicos del glaciar S3, transferir datos de un cubo S3 a otro, generar estados bancarios, procesar informes analíticos y pronósticos, notificaciones de cumplimiento de pedidos y sistema de sincronización de correo electrónico. Esperamos que hayas encontrado este artículo útil. Consulte los otros artículos de Sugerencia de Linux para obtener más consejos y tutoriales.