Copia de copias de seguridad y restauración de los clústeres de Elasticsearch con instantáneas

Elasticsearch se trata de datos, y como probablemente ya sepa, los datos son importantes para usted y elasticsearch. Sin embargo, tanto como los datos de amor y elasticsearch, pueden ocurrir fallas de datos, lo que lleva a la pérdida de datos.

Para ayudar a salvaguardar contra la pérdida de datos, ElasticSearch tiene varias características que le permiten garantizar la disponibilidad de datos, incluso en instancias de falla de datos.

Algunas de las formas en que Elasticsearch utiliza para proporcionarle disponibilidad de datos incluyen:

• Replicaciones de clúster, una característica que le permite replicar datos a un conjunto de grupos de seguidores; Un clúster seguidor es un clúster de espera utilizado en el caso de falla del clúster maestro.
• Otro método que Elasticsearch utiliza para evitar datos utilizando copias de seguridad y se llaman instantáneas de clúster. Si surge la necesidad, puede usar estas instantáneas para restaurar los datos en un clúster completamente nuevo.

Este tutorial le muestra cómo crear instantáneas de clúster, lo que lo ayudará a estar listo si ocurre un evento de falla de datos irreversible.

Empecemos.

¿Qué es una instantánea de elasticsearch??

Como se mencionó, una instantánea elástica es una copia de copia de seguridad de un clúster de Elasticsearch en ejecución. Esta instantánea puede ser de un clúster completo o índices y flujos de datos específicos dentro de un clúster particular.

Como pronto aprenderá, un complemento de repositorio gestiona las instantáneas de Elasticsearch. Estas instantáneas son almacenables en varias ubicaciones de almacenamiento definidas por el complemento. Estos incluyen sistemas locales y sistemas remotos como GCP Storage, Amazon EC2, Microsoft Azure y muchos más.

Cómo crear un repositorio de instantáneas de ElasticSearch

Antes de sumergirnos en la creación de instantáneas de ElasticSearch, necesitamos crear un repositorio de instantáneas porque muchos de los servicios de Elasticsearch usan la API de instantáneas para realizar estas tareas.

Algunas de las tareas manejadas por la API de la instantánea son:

• Poner repositorio de instantáneas
• Verificar el repositorio de instantáneas
• Obtener repositorio de instantáneas
• Eliminar repositorio de instantáneas
• Limpiar el repositorio de instantáneas
• Crear instantánea
• Instantánea de clon
• Obtener instantánea
• Obtener el estado de la instantánea
• Restaurar instantánea
• Eliminar instantánea

Para crear un repositorio de instantáneas, usamos el punto final de la API _SNAPSHOT seguido del nombre que queremos asignar al repositorio de instantáneas. Considere la siguiente solicitud que crea un repositorio llamado backup_repo

Poner /_snapshot /backup_repo

"Tipo": "FS",
"ajustes":
"Ubicación": "/Home/Root/Backups",
"Comprimir": Verdadero

Aquí hay un comando curl para la solicitud anterior:

curl -xput "http: // localhost: 9200/_snapshot/backup_repo" -h 'content -type: application/json' -d '"type": "fs", "configuración": "ubicación": "/////" Inicio/Root/Backups "," Compress ": True '

Para pasar la ruta del repositorio de instantáneas, primero debe agregar la ruta del sistema o el directorio principal a la ruta.Entrada de repositorio en Elasticsearch.YML

El camino.La entrada de repo debe parecer similar a:

camino.Repo: [“/home/root/backups”]

Puede encontrar el archivo de configuración de ElasticSearch ubicado en/etc/elasticsearch/elasticsearch.YML

NOTA: Después de agregar la ruta.Repo, es posible que deba reiniciar los grupos de Elasticsearch. Además, los valores admitidos para la ruta.El repositorio puede variar enormemente dependiendo de la plataforma que ejecuta ElasticSearch.

Cómo ver el repositorio de instantáneas

Para confirmar la creación exitosa del repositorio de instantáneas, use la solicitud GET con el punto final _SNAPSHOT como:

Get /_snapshot /backup_repo

También puede usar el siguiente comando curl:

curl -xget "http: // localhost: 9200/_snapshot/backup_repo"

Esto debería mostrar información sobre el repositorio de copia de seguridad, por ejemplo:

"Backup_repo":
"Tipo": "FS",
"ajustes" :
"Comprimir": "verdadero",
"ubicación": "" "/home/root/backups" ""

Si tiene más de un repositorios de instantáneas y no recuerda el nombre, puede omitir el nombre del repositorio y llamar al punto final _SNAPSHOT para enumerar todos los repositorios existentes.

Get/_snapshot o curl curl -xget http: // localhost: 9200/_snapshot

Cómo crear una instantánea de ElasticSearch

La creación de una instantánea de ElasticSearch para un repositorio de instantáneas específico es manejado por la API Crear instantánea. La API requiere el nombre del repositorio de instantáneas y el nombre de la instantánea.

NOTA: Un solo repositorio de instantáneas puede tener más de una instantánea de los mismos grupos siempre que tengan identidades/nombres únicos.

Considere la siguiente solicitud para agregar una instantánea llamada SnapShot_2021 al repositorio de Backup_Repo.

Poner/_snapshot/backup_repo/snapshot_2021

Para usar curl, use el comando:

curl -xput "http: // localhost: 9200/_snapshot/backup_repo/snapshot_2021"

El comando debe devolver una respuesta de ElasticSearch con 200 OK y aceptado: Verdadero

"Aceptado": Verdadero

Dado que no especifica qué flujos de datos e índices desea tener una copia de seguridad, llamando a las copias de seguridad de la solicitud anterior todos los datos y el estado del clúster. Para especificar qué fluidos de datos e índices retroceden, agregue eso al cuerpo de solicitudes.

Considere la siguiente solicitud que las copias de seguridad del .Índice de kibana (un índice de sistema) y especifica qué usuario autorizó la instantánea y la razón.

Poner/_snapshot/backup_repo/snapshot_2

"índices": ".kibana ",
"Ignore_Unavailable": Verdadero,
"include_global_state": verdadero,
"Metadatos":
"Taken_by": "Elasticadmin",
"Tomado_because": "copia de seguridad diaria"

El comando curl para eso es:

curl -xput "http: // localhost: 9200/_snapshot/backup_repo/snapshot_2" -h 'content -type: aplicación/json' -d '"indices": ".kibana "," ignore_unavailable ": true," include_global_state ": true," metadatos ": " tomado_by ":" elasticadmin "," tomado_because ":" copia de seguridad diaria " '

Ignore_Unavailable establece un estado booleano que devuelve un error si algún flujo de datos o índices especificados en la instantánea faltan o se cerran.

El parámetro incluir_global_state guarda el estado actual del clúster si es verdadero. Parte de la información guardada en el clúster incluye:

• Configuración de clúster persistente
• Plantillas de índice
• Plantillas de índice heredado
• Ingerir tuberías
• Políticas de ciclo de vida de ILM

NOTA: Puede especificar más de un índices separados por comas.

Un argumento común utilizado con el punto final _snapshot es Wait_For_Completion, un valor booleano que define si (Verdadero) o no (falso) la solicitud debe volver inmediatamente después de la inicialización de la instantánea (predeterminado) o esperar una finalización de una instantánea.

Por ejemplo:

Poner/_snapshot/backup_repo/snapshot_3?Wait_for_completion = True

"índices": ".kibana ",
"Ignore_Unavailable": Verdadero,
"include_global_state": falso,
"Metadatos":
"Taken_by": "Elasticadmin",
"Taken_because": "copia de seguridad semanal"

El comando curl es:

curl -xput "http: // localhost: 9200/_snapshot/backup_repo/snapshot_3?Wait_for_completion = true "-h 'Content -type: Application/JSON' -D '" INDICES ":".kibana "," ignore_unavailable ": true," include_global_state ": false," metadatos ": " tomado_by ":" elasticadmin "," tomado_because ":" copia de seguridad semanal " '

Cuando tenga el parámetro Wait_For_Completion configurado en True, dará una salida similar a la que se muestra a continuación:

"Instantánea":
"Snapshot": "Snapshot_3",
"uuid": "tquyofirngmmtw0agbacq",
"Version_id": 7100299,
"Versión": "7.10.2 ",
"índices" : [
".kibana_1 "
],
"data_streams": [],
"include_global_state": falso,
"Metadatos":
"Taken_by": "Elasticadmin",
"Taken_because": "copia de seguridad semanal"
,
"Estado": "éxito",
"Start_time": "2021-01-19T13: 36: 59.615Z ",
"Start_time_in_millis": 1611063419615,
"End_time": "2021-01-19T13: 37: 00.433Z ",
"End_time_in_millis": 1611063420433,
"Duración_in_millis": 818,
"Fallos": [],
"Fragmentos":
"Total": 1,
"Falló": 0,
"exitoso": 1

Cómo ver las instantáneas

La API GET Snapshot maneja la funcionalidad de las instantáneas de la vista.

Todo lo que necesita pasar en la solicitud es el repositorio de instantáneas y el nombre de la instantánea que desea ver los detalles.

La instantánea debe responder con detalles sobre una instantánea específica. Estos detalles incluyen:

• Valores de tiempo de inicio y finalización
• La versión de Elasticsearch que creó la instantánea
• Lista de índices incluidos
• El estado actual de la instantánea
• Lista de fallas que ocurrieron durante la instantánea

Por ejemplo, para ver los detalles sobre el snapshot_3 creado anteriormente, use la solicitud que se muestra a continuación:

Get/_snapshot/backup_repo/snapshot_3
Para usar curl, use el comando a continuación:
[cc lang = "text" width = "100%" height = "100%" escapado = "true" thema = "Blackboard" Nowrap = "0"]
curl -xget "http: // localhost: 9200/_snapshot/backup_repo/snapshot_3"

La solicitud debe devolver una respuesta con los detalles de la instantánea como:

"instantáneas": [

"Snapshot": "Snapshot_3",
"uuid": "tquyofirngmmtw0agbacq",
"Version_id": 7100299,
"Versión": "7.10.2 ",
"índices" : [
".kibana_1 "
],
"data_streams": [],
"include_global_state": falso,
"Metadatos":
"Taken_by": "Elasticadmin",
"Taken_because": "copia de seguridad semanal"
,
"Estado": "éxito",
"Start_time": "2021-01-19T13: 36: 59.615Z ",
"Start_time_in_millis": 1611063419615,
"End_time": "2021-01-19T13: 37: 00.433Z ",
"End_time_in_millis": 1611063420433,
"Duración_in_millis": 818,
"Fallos": [],
"Fragmentos":
"Total": 1,
"Falló": 0,
"exitoso": 1


]

También puede personalizar el cuerpo de solicitud para obtener detalles específicos sobre una instantánea. Sin embargo, no veremos eso por ahora.

Digamos que desea ver información sobre todas las instantáneas en un repositorio de instantáneas específicos; En ese caso, puede pasar un comodín de asterisco en la solicitud como:

Get/_snapshot/backup_repo/*

El comando curl para eso es:

curl -xget "http: // localhost: 9200/_snapshot/backup_repo/*"

La respuesta es un volcado detallado de todas las instantáneas en ese repositorio como:

"instantáneas": [

"Snapshot": "Snapshot_2021",
"uuid": "7cfighzvrtyzw07c60d2iw",
"Version_id": 7100299,
"Versión": "7.10.2 ",
"índices" : [
"my_index",
"single_index_with_body",
"my_index_2",
"Single_index",
".kibana_1 ",
"prueba"
],
"data_streams": [],
"include_global_state": verdadero,
"Estado": "éxito",
"Start_time": "2021-01-19T13: 28: 48.172Z ",
"Start_time_in_millis": 1611062928172,
"End_time": "2021-01-19T13: 28: 50.831z ",
"End_time_in_millis": 1611062930831,
"Duración_in_millis": 2659,
"Fallos": [],
"Fragmentos":
"Total": 7,
"Falló": 0,
"exitoso": 7

,

"Snapshot": "Snapshot_2",
"uuid": "w58irymoraub8vc7cg04wg",
"Version_id": 7100299,
"Versión": "7.10.2 ",
"índices" : [
".kibana_1 "
],
"data_streams": [],
"include_global_state": falso,
"Metadatos":
"Taken_by": "Elasticadmin",
"tomado_because": "copia de seguridad diaria"
,
"Estado": "éxito",
"Start_time": "2021-01-19T13: 33: 34.482Z ",
"Start_time_in_millis": 1611063214482,
"End_time": "2021-01-19T13: 33: 35.921z ",
"End_time_in_millis": 1611063215921,
"Duración_in_millis": 1439,
"Fallos": [],
"Fragmentos":
"Total": 1,
"Falló": 0,
"exitoso": 1

,

"Snapshot": "Snapshot_3",
"uuid": "tquyofirngmmtw0agbacq",
"Version_id": 7100299,
"Versión": "7.10.2 ",
"índices" : [
".kibana_1 "
],
"data_streams": [],
"include_global_state": falso,
"Metadatos":
"Taken_by": "Elasticadmin",
"Taken_because": "copia de seguridad semanal"
,
"Estado": "éxito",
"Start_time": "2021-01-19T13: 36: 59.615Z ",
"Start_time_in_millis": 1611063419615,
"End_time": "2021-01-19T13: 37: 00.433Z ",
"End_time_in_millis": 1611063420433,
"Duración_in_millis": 818,
"Fallos": [],
"Fragmentos":
"Total": 1,
"Falló": 0,
"exitoso": 1


]

Los comodines son muy útiles para filtrar información específica sobre las instantáneas.

Cómo eliminar una instantánea

Eliminar una instantánea es muy simple: todo lo que tiene que hacer es usar la solicitud Eliminar como:

Eliminar/_snapshot/backup_repo/snapshot_2021/

El comando curl es:

curl -xdelete "http: // localhost: 9200/_snapshot/backup_repo/snapshot_2021/"

La respuesta debe ser reconocida: verdadera

"Reconocido": verdadero

Si la instantánea no existe, obtendrá un código de estado 404 y un error de falta de instantánea como:

"error" :
"causa principal" : [

"Tipo": "Snapshot_missing_Exception",
"Razón": "[Backup_Repo: Snapshot_2021] falta"

],
"Tipo": "Snapshot_missing_Exception",
"Razón": "[Backup_Repo: Snapshot_2021] falta"
,
"Estado": 404

Conclusión

En esta guía, hemos discutido cómo crear instantáneas de ElasticSearch utilizando la API de instantánea. Lo que ha aprendido debería ser suficiente para permitirle crear un repositorio de instantáneas, ver los repositorios de instantáneas, crear, ver y eliminar instantáneas. Aunque hay personalizaciones que puede hacer con la API, el conocimiento en esta guía debería ser suficiente para comenzar.

Gracias por leer.