Cómo tokenizar una cadena en JavaScript

Para abordar el tema de la tokenización de cadenas, algunos idiomas ofrecen clases especiales. En JavaScript, no hay clases o funciones dedicadas que admitan problemas de cadena de tokenización. Sin embargo, tenemos un mecanismo efectivo en forma de expresiones regulares. Por lo tanto, use expresiones regulares con un método predefinido de JavaScript para analizar las cadenas en tokens para la tokenización.

Este artículo ilustrará el procedimiento para la tokenización de cadena de JavaScript.

Cómo tokenizar una cadena en JavaScript?

Para tokenizar una cadena en JavaScript, use el método incorporado JavaScript llamado "dividir()" método. El método JavaScript Split () divide una cadena en una matriz de sustros. La cadena original no ha cambiado. Requiere dos parámetros opcionales que indican cómo debe actuar el método.

Cómo tokenizar una cadena usando el método Split ()?

Siga la siguiente sintaxis del método Split () para tokenizar una cadena en JavaScript:

cadena.división (separador, límite);

• • Aquí el "separador"Es un carácter alfanumérico o no alfanumérico, como un espacio, o un patrón regex, se usa como parámetro separador para especificar dónde dividir la cadena.
  • "límite"Es un entero que indica el número de divisiones.
  • El método se invoca en una variable que tiene un valor de cadena con la ayuda de la notación de puntos.
  • Devuelve una matriz de sustros basados ​​en los argumentos, y si no se pasa ningún parámetro en el método, devolverá toda la cadena.

Ejemplo 1

En el siguiente ejemplo, primero, cree una variable "stri"Y almacene una cadena en ella:

var str = "Linuxhint es el mejor sitio web para habilidades de aprendizaje";

Ahora, divida la cadena en tokens usando el "dividir()"Método por pasar (") como argumento. El espacio indica que la cadena se dividirá a medida que ocurra el espacio:

var strToken = str.dividir(" ");

Finalmente, imprima los tokens en la consola usando el "consola.registro()" método:

consola.log (strToken);

La salida muestra una matriz de sustros basado en el separador "espacio"("")

El método Split () también toma el "patrón regex"Como separador en lugar de un carácter específico como argumento:

var strToken = str.división (/\ w+/);

Aquí, en el patrón regex, las barras delanteras (/) indica el comienzo y el final de un patrón, mientras que el (\ W) es el metacharacter que coincide con todos los caracteres alfanuméricos A-Z, A-Z, 0-9 sin espacios blancos. Mientras (+) indica múltiples coincidencias.

Producción

Si desea obtener tokens de una longitud específica de una cadena, siga la sección dada.

Ejemplo 2

Ahora, tokenize una cadena de tres longitud de una cadena. Para hacer esto, use el "filtrar()"Método con el"dividir()" método:

var strToken = str.dividir(" ").Filtro (función (token)
token de regreso.longitud == 3;
);

Imprima los tokens resultantes en la consola:

consola.log (strToken);

La salida indica que solo se devuelven las subcadenas de longitud 3 de la cadena:

Conclusión

Para tokenizar una cadena en JavaScript, puede usar el "dividir()" método. El método Split () divide la cadena dependiendo de su entrada "separador". Puede dividir una cadena en una serie de cadenas más pequeñas dependiendo de los argumentos. Si el método no recibe parámetros, se imprimirá toda la cadena. Si desea obtener tokens de una longitud específica de una cadena, use el "filtrar()Método "con el método Split (). En este artículo, el proceso de tokenizar una cadena en JavaScript se ilustra con ejemplos.