Unidad 4 Componentes léxicos, patrones y lexemas.

• Un token es un par que consiste en un nombre de token y un valor de atributo opcional. El nombre del token es un símbolo abstracto que representa un tipo de unidad léxica; por ejemplo, una palabra clave específica o una secuencia de caracteres de entrada que denotan un identificador. Los nombres de los tokens son los símbolos de entrada que procesa el analizador sin táctico. A partir de este momento, en general escribiremos el nombre de un token en negrita. Con frecuencia nos referiremos a un token por su nombre.

• Un patrón es una descripción de la forma que pueden tomar los lexemas de un token. En el caso de una palabra clave como token, e l patrón es sólo la secuencia de caracteres que forman la palabra clave. Para los identificadores y algunos otros tokens, el patrón es una estructura más compleja que se relaciona mediante muchas cadenas.

• Un lexema es una secuencia de caracteres en el programa fuente, que coinciden con el patrón para un token y que el analizador léxico identifica como una instancia de ese token.

Son las unidades lógicas que genera el analizador léxico.  Formar caracteres en tokens es muy parecido a formar palabras en un lenguaje natural. 

Es el conjunto de cadenas de entrada que produce como salida el mismo componente léxico. Cada token es una secuencia de caracteres que representa una unidad de información en el programa fuente.

Los componentes léxicos más comunes son los siguientes:

Ø  palabras clave o reservadas

Ø  Operadores aritméticos

Ø  Operadores relacionales

Ø  Operadores lógicos

Ø  Operador de asignación

Ø  Identificadores

Ø  Constantes

Ø  Cadenas

Ø  Literales

Ø  Signos de puntuación

Ø  Librerías