Analisis Lexico

Análisis léxico (morfemas) y PLN

El lenguaje natural es un fenómeno muy complejo, pero ha sido sobradamente demostrado que las expresiones del lenguaje humano están organizadas a través de un conjunto de reglas. Todo hablante de una lengua maneja de forma competente este conjunto de reglas, que es específico para cada lengua. Es justamente este conocimiento común el que hace posible la comunicación: para poder comunicarnos con otros, debemos seguir estas reglas hasta un cierto nivel. 

Todas nuestras expresiones tienen una clara organización: las palabras en una oración se asocian para describir objetos y acciones, posiblemente complejas. El objetivo de un analizador sintáctico es precisamente descubrir estas asociaciones entre palabras, lo que se conoce como estructura sintáctica. Un analizador sintáctico es un programa que toma como entrada una oración y trata de descubrir la estructura sintáctica que explica las relaciones entre las palabras de esa oración. Los analizadores buscan la estructura correcta dentro de un conjunto de análisis posibles, este conjunto esta usualmente definido por una gramática. El modelo de lenguaje en el cual se basa el analizador sintáctico decide cuáles son los componentes sintácticos de las oraciones y como éstos están relacionados. 

Aplicaciones complejas de procesamiento del lenguaje, como la búsqueda de respuestas, el reconocimiento del habla o el análisis semántico, se beneficiarían sensiblemente del análisis de sintáctico de las oraciones. El nivel de detalle y profundidad en la información devuelta por un analizador sintáctico puede cambiar dependiendo de la aplicación, pero un cierto nivel de análisis sintáctico juega un rol muy importante en muchas aplicaciones de tecnología del lenguaje, y consecuentemente, el buen funcionamiento del analizador sintáctico puede ser crucial para el funcionamiento de toda la aplicación. En dos palabras: un analizador sintáctico eficiente y fiable es la base para aplicaciones que implican una cierta comprensión del lenguaje. 


El procesamiento del lenguaje natural (PLN), área de investigación en continuo desarrollo, se aplica en la actualidad en diferentes actividades como son la traducción automática, sistemas de recuperación de información, elaboración automática de resúmenes, interfaces en lenguaje natural, etc. Si bien en los últimos años se han realizado avances espectaculares, los fundamentos teóricos del PLN se encuentran todavía en estado de desarrollo.

Aún siendo evidente que los obstáculos a superar en el estudio del tratamiento del lenguaje son considerables, los resultados obtenidos y la evolución en los últimos años sitúan al PLN en posición para liderar una nueva dimensión en las aplicaciones informáticas del futuro: los medios de comunicación del usuario con el ordenador pueden ser más flexibles y el acceso a la información almacenada más eficiente.

Por ejemplo, con la creación de interfaces inteligentes el usuario dispondría de la facilidad para interactuar con el ordenador en lenguaje natural. Asimismo, el uso de técnicas de PLN puede tener un alto impacto en la gestión documental y en los sistemas de traducción automática.

No obstante, la complejidad implícita en el tratamiento del lenguaje comporta limitaciones en los resultados y, por tanto, aplicaciones en áreas de conocimiento concretas y con un uso restringido del lenguaje.

Revisión histórica

Las primeras aplicaciones del PLN se dieron durante el período de 1940-1960, teniendo como interés fundamental la traducción automática. Los experimentos en este sector, basados en la substitución de palabra por palabra, obtuvieron resultados rudimentarios.

Surgió por tanto la necesidad de resolver ambigüedades sintácticas y semánticas, y asimismo la consideración de información contextual. La carencia de un orden de la estructura oracional en algunas lenguas, y la dificultad para obtener una representación tanto sintáctica como semántica, fueron los problemas más relevantes. Afrontándolos se dio paso a una concepción más realista del lenguaje en la que era necesario contemplar las transformaciones que se producen en la estructura de la frase durante el proceso de traducción.

En los años sesenta los intereses se desplazan hacia la comprensión del lenguaje. La mayor parte del trabajo realizado en este período se centró en técnicas de análisis sintáctico.

Hacia los setenta la influencia de los trabajos en inteligencia artificial fue decisiva, centrando su interés en la representación del significado. Como resultado se construyó el primer sistema de preguntas-respuestas basado en lenguaje natural.

De esta época es Eliza, que reproducía las habilidades conversacionales de un psicólogo. Para ello recogía patrones de información de las respuestas del cliente y elaboraba preguntas que simulaban una entrevista.

Entre los años 70 y 80, ya superados los primeros experimentos, se hacen intentos de construir programas más fiables. Aparecen numerosas gramáticas orientadas a un tratamiento computacional, y experimenta notable crecimiento la tendencia hacia la programación lógica.

En Europa surgen intereses en la elaboración de programas para la traducción automática. Se crea el proyecto de investigación Eurotra, que tenía como finalidad la traducción multilingüe. En Japón aparecen equipos dedicados a la creación de productos de traducción para su distribución comercial.

Los últimos años se caracterizan por la incorporación de técnicas estadísticas y se desarrollan formalismos adecuados para el tratamiento de la información léxica. Se introducen nuevas técnicas de representación del conocimiento cercanas a la inteligencia artificial, y las técnicas de procesamiento utilizadas por investigadores procedentes del área de la lingüística e informática son cada vez más próximas. Surgen así mismo intereses en la aplicación de estos avances en sistemas de recuperación de información con el objetivo de mejorar los resultados en consultas a texto completo.

Cuatro niveles de análisis

El estudio del lenguaje natural se estructura normalmente en 4 niveles de análisis:

morfológico,

sintáctico,

semántico

pragmático.

Definición de morfema

Lexemas (Morfemas léxicos)

En todas las lenguas

...