Token, Patron, Lexema
Enviado por Crackz10 • 24 de Septiembre de 2013 • 204 Palabras (1 Páginas) • 717 Visitas
Tokens, patrón y lexema
Atributos de los componentes léxicos
El analizador léxico recoge información sobre los componentes léxicos en sus atributos asociados. Los componentes léxicos influyen en las decisiones del análisis sintáctico y los atributos en la traducción de los componentes léxicos:
• Apuntador a la entrada de la Tabla de símbolos donde se guarda la información sobre el componente léxico.
• El lexema para un identificador
• El número de línea en que se encontró por primera vez.
Token
Son las unidades lógicas que genera el analizador léxico. Formar caracteres en tokens es muy parecido a formar palabras en un lenguaje natural. Es el conjunto de cadenas de entrada que produce como salida el mismo componente léxico. Cada token es una secuencia de caracteres que representa una unidad de información en el programa fuente.
Los componentes léxicos más comunes son los siguientes:
Palabras clave o reservadas
Lexema
Representan cadenas de caracteres en el programa fuente que se pueden tratar juntos como una unidad léxica. Un lexema es una secuencia de caracteres en el programa fuente con la que concuerda el patrón para un componente léxico.
Patrón
Regla que describe el conjunto de lexemas que pueden representar a un determinado componente léxico en los programas fuente.
En otras palabras, es la descripción del componente léxico mediante una regla.
...