Modelos Formales

No Transformacionales MFNT
 Modelos Formales
No Transformacionales MFNT
Los 3 grandes ejes que articulan toda la materia son:

• Por qué necesitamos Modelos Formales

• Por qué esos modelos formales deben ser NO transformacionales
• Cómo este desideratum se ajusta exactamente a la agenda de la lingüística
computacional
Modelos Formales
No Transformacionales MFNT

“Al fin y al cabo, Chomsky es un maestro en la adaptación de las

ideas de sus críticos” (Antonio Moreno Sandoval)

“Si bien el componente transformacional resultó ser un engendro epistemológico, el

gran mérito de Chomsky fue haber abierto el camino hacia el tratamiento
computacional del lenguaje como un sistema de símbolos a manipular”

No hacemos lingüística anti-chomskyana sino post-chomskyana

Modelos Formales
No Transformacionales MFNT

1.Introducción ¿De qué hablamos

cuando hablamos de MFNT? MFNT y
Lingüística Computacional
 Los mitos del Lenguaje Natural

 Mito 1: El lenguaje natural es tan ambiguo que no puede ser “reducido” a un

modelo formal o lenguaje artificial.
Verdad: La ambigüedad puede ser modelada por aproximaciones estadísticas

 Mito 2: Aun cuando el lenguaje natural pudiera ser formalizado, el uso que
hacemos del mismo muestra un poder expresivo o aspecto creativo que no puede
ser capturado por ningún modelo formal.
Verdad: Recursividad es una forma de lograr infinito poder expresivo a partir de un
conjunto discreto de datos

 Mito 3: O todo lo contrario, en realidad el lenguaje no es más que una

concatenación de unidades significativas integradas en niveles superiores. Basta
con entender cada sonido para finalmente entender discurso
Verdad: Si bien desde el estructuralismo teórico esto funciona, en la práctica
procesar lenguaje natural significa un flujo y reflujo de información continua y
discreta top-down y bottom-up, de naturaleza intrinseca y extrinseca

y después de todo, para qué queremos un modelo 5

formal de lenguaje natural…
 MFNT y Lingüística Computacional

 Antecedentes tempranos : Zipf (los ’30) -> regularidad en

el discurso -> paradigma cuantitativo-estadístico, por
mayor poder de cálculo en los ‘90
 Invención de la computadora (1947)
 Estructuralismo distribucional de Harris (1952)
 Paradigma Generativismo de Chomsky (1957)
 Analogía mente/computadora (cognitivismo de los ’60-
funciones superiores de cognición)
Todo esto llevó a la conformación de una nueva
transdisciplina … la lingüística computacional como
una búsqueda de ingenios o mecanismos para que
una computadora procese Lenguaje Natural. Para
ello necesitamos un Modelo Formal de Lenguaje
Natural 6
Más incentivos para la búsqueda de modelos formales -> Interfaz hombre-máquina y ciencias cognitivas (Inteligencia Artificial)
Cómo procesamos lenguaje los humanos?
La estructura por niveles

Cuando nos aproximamos al lenguaje desde una

perspectiva formal observamos que no se trata de una
caja negra inexpugnable, sino pareciera que existen,
para empezar, diversos niveles (antecedente
Estructuralismo de Benveniste, Los niveles del ánálisis
lingüístico, 1969) que se estructuran envolventemente y
que presentan fenómenos inherentes característicos. El
procesamiento de dichos fenómenos implicaría
conocimiento específico sobre el lenguaje que debe ser
formalizado con mayor o menor esfuerzo mediante
heurísticas apropiadas.

7
Cómo procesamos lenguaje los humanos?
La estructura por niveles
representación
de conocimiento
pragmática
semántica composicional
y forma lógica

Lingüística tradicional
sintaxis

estructuralismo
nivel lexemático
y semántica léxica
morfología

fonología

fonética

Niveles de la estructura 8
Cómo podrían procesar lenguaje las
máquinas? Por niveles ? Humm…..
Algunos entonces piensan que NLP es un proceso
incremental de análisis de niveles jerárquicos, como
resolver una expresión algebraica compleja:

7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)}

7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)}

9
Buscar la N y comparar con L, en waveform, no alcanza, necesitamos Spectograma con Formantes, ver en vocales

Cómo podrían procesar lenguaje las

máquinas? Por niveles ? Humm….
Pero de ser así, ¿cómo pasamos de esto…. Wave Sound

/menkantalalingŋgɯistikakomputacional/

10
Cómo podrían procesar lenguaje las
máquinas? Por niveles ?
…a entender la oratoria de Cicerón?

Quo usque tandem abutere, Catilina,

patientia nostra? quam diu etiam
furor iste tuus nos eludet? quem ad
finem sese effrenata iactabit
audacia? Nihilne te nocturnum
praesidium Palati, nihil urbis vigiliae,
nihil timor populi, nihil concursus
bonorum omnium, nihil hic
munitissimus habendi senatus locus,
nihil horum ora voltusque moverunt?

11
Cómo podrían procesar lenguaje las
máquinas? Modelos relacionales
En realidad procesar lenguaje natural tiene más que ver según
los últimos modelos con información modular disponible en forma
temprana y un acceso compartido con procesamiento paralelo.
Incluso a nivel del paradigma estadístico se habla de
boostrapping de cues o pistas. Por ejemplo, un modelo relacional
para un agente comunicativo sería:
fonética fonología

morfología

Natural Language
Understanding Acá
empiezan a jugar un
representación
de conocimiento
semántica composicional
y forma lógica
sintaxis papel los parsers
como un módulo de
nivel lexemático
pragmática
y semántica léxica procesamiento 12
sintáctico
 Mapeo de niveles tradicionales y lingüistica
computacional
extracción de representación
información de mundo de conocimiento
generación de diálogo
pragmática
inferencias
semántica composicional
traducción de máquina
y forma lógica

Lingüística computacional
parsers

Lingüística tradicional
sintaxis
correctores gramaticales

estructuralismo
desambiguación nivel lexemático
corrector ortográfico y semántica léxica
lematización
morfología
para diccionarios
reconocedores de habla fonología
/vos, quemero botón/
fonética
/bosque me robó/

Fenómenos formalizados y Niveles de la estructura 13

campos de aplicación
El rol de la lingüistica computacional

14
MFNT y Lingüística Computacional:
Foco en Parsers

Objetivos de la materia Cuestiones fuera

Paradigma Algoritmo
Lingüistico: Modelo Formalismo: Implementación
Bottom-up Top-
generativismo – linguistico: CFG, DCG, HPSG down, Chart prototípica:
simbólico (vs. NO parser Python
Estadistico y vs. TRANSFORM
Conexionismo)

15
Modelos Formales
No Transformacionales MFNT

2.Chomsky 1957: Jerarquía de

Lenguajes Formales
Los primeros modelos
El modelo de Chomsky ’57

 Preeminencia de la sintaxis como componente

generativo equivalente a una gramática
 Una gramática como un ingenio computacional que
cuenta con un conjunto de reglas operativas (reglas de
rescritura de frase) + una serie de transformaciones
 Estructura profunda – Estructura de superficie
 Máquina de Turing vs. Máquina de Estados

17
 Los primeros modelos
El modelo de Chomsky ’57

Reglas de rescritura
de frase (REF)

Reglas
transformacionales
obligatorias y
optativas

18
Los primeros modelos
El modelo de Chomsky ’57

La motivación original de Chomsky al postular el

componente transformacional fue dar cuenta de los
casos de homonimia estructural
E.S. “el deseo de la madre” = 2 E.P.s
(transformacion de nominalización)

E.S.1 “La madre ama al hijo”

E.S.2 “El hijo es amado por la madre”
E.S.3 “A quién ama la madre?”
(todas corresponden a una unica estructura profunda- transf. Pasiva e
Interrogación pronominal)
19
Algunas transformaciones del Inglés (p.88)

Transformación optativa de pregunta parcial Tw:

 Tw1 convierte la cadena de la forma X-FN-Y en la
correpondiente cadena de la forma FN-X-Y
 Tw2 convierte la cadena resultante FN-X-Y en who-X-Y
si FN es animado o en what-X-Y si FN es inanimado
 Pero Tw debe ser aplicada solo después de Tq (41-42)
 Pero Tq debe ser aplicada sólo después de aplicar la
transformación obligatoria de auxiliar y morfema de 3
persona!!!! (29i)
 Ufa!!!!!

20
Todavía bajo la égida de Chomsky
Pese a todo, el paradigma chomskyano trazó las
líneas directrices de los primeros formalismos de
gramáticas computacionales bajo la forma de
parsers

 Preeminencia de la sintaxis -> Parsers o analizadores

sintácticos
 Reglas de Rescritura/Estrucura de Frase REF ->
Gramáticas Sintagmáticas

21
Jerarquía de lenguajes formales

Una de las principales tesis del

modelo de Chomsky ’57 es que las
propiedades formales de los diversos
lenguajes naturales determinan una
jerarquía de gramáticas en virtud de
su poder expresivo

22
 Jerarquía de lenguajes formales
Lenguaje Restricciones a la reglas de Implement
Limitación
Tipo (Gramática) producción ación
Tipo-0 Recursivamente Ninguna: Máquina de demasiado costosa
enumerable Turing computacionalmente y
(Irrestricta) sobregeneración

Tipo-1 Dependiente La parte derecha contiene como Autómata Adecuada en fenomenos fonologicos
del Contexto mínimo los símbolos de la parte linealmente pero en sintaxis sobregenera
izquierda finito AUNQUE concordancia SVO puede
resolver NP de S no = a NP de VP en
A γ /α_β numero
Tipo-2 Independiente La parte izquierda sólo puede tener un Autómata concordancia SV y subcategorizacion
de Contexto símbolo no terminal Push-Down (vt vi) con soluciones parciales.
(LIFO Last Problemas en constituyentes
In First Out) discontinuos: “He believes him his
friend is gonna forgive?” “Las cosas
que César creía que Tulio dijo”
construct. trabada
Tipo-3 Regular A través de expresiones regulares Autómata cláusulas embebidas (recursividad
de estados resuelta sólo a través de
finitos constituyentes)
Gramáticas lineales a derecha y/o izquierda serían un tipo intermedio entre 2 y 3
Gramáticas Sintagmáticas Aumentadas (la solución) serían un tipo intermedio entre 1 y 223
Modelos Formales
No Transformacionales MFNT

3.No a las Transformaciones

No a las transformaciones!!!

 Con la consolidación de la teoría estándar (década del

’60) la hegemonía chomskyana parecía indiscutible, pero
en la década del ’70 surgen escisiones del paradigma
generativista con interés más en las propiedades
matemáticas y formales del lenguaje que en el problema
chomskyano de la adquisición.
 Bresnan de la semántica generativa postula Lexical
Functional Grammar LFG y Gazdar la Generalized Phrase
Structure Grammar GPSG son la más acérrimos
oponentes a las transformaciones

25
No a las transformaciones!!!

 Complejidad epistemológica categorial apunta contra las

transformaciones. Coexistencia de 2 tipos de reglas muy
diversas. Mientras las REF operan sobre una categoría a
la vez, las transformaciones operan con varias categorías
a la vez, lo cual no puede ser fácilmente modelado y
agregan un nivel de representación de la estructura
innecesario.
 El mismo Chomsky deja el componente transformacional
en su modelo del ´81 (Principios y Parámetros) –aunque
cuestion estrictamente el muevase-α puede verse como
transformacional.
Ante este escenario surgen propuestas superadoras
para aproximarse al lenguaje natural desde Modelos
Formales No Transformacionales 26
No a las transformaciones!!!

 Evidencia psicolingüística : experimento Marslen-Wilson

(1977). Modelo de la Cohorte
Ataca el procesamiento en serie que presuponen las
transf. Procesamiento incremental con disponibilidad de
información semántica temprana. Procesamiento
indiferenciado entre oraciones meollares y superficiales
 Evidencia computacional: Peters & Ritchie (1973)
demuestran formalmente que la teoría estandar equivale
a una máquina de turing y, por tanto, la complejidad de
procesamiento hace prohibitivo su uso en aplicaciones
prácticas. http://www.cs.utoronto.ca/~gpenn/csc2517/peters-ritchie73.pdf
 Grishman describe costosas implementaciones de
parsers transformacionales que primero pasaban de ES a
EP y luego parseaban 27
 Demostración formal de Inadecuación de
Transformaciones (Bach, 1974) (parte 1)
Sea una Máquina de Turing:
• Un conjunto finito de estados internos E0, E1,

• Un alfabeto finito a0, a1,

• Un conjunto determinado de estados iniciales, tomados de 1.
• Un conjunto determinado de estados finales, tomados de 1.
• Un conjunto finito de instrucciones, cada una es una cuádrupla
Ei ai ak Eh
Ei ai D Eh
Ei ai I Eh
significando: el sistema se halla en el estado Ei ante el signo ai,
entonces i) pasar al estado Eh sustituyendo el signo ai por ak, ii) pasar
al estado Eh moviéndose un lugar a la Derecha en la cinta de input
-tape-, iii) pasar al estado Eh moviéndose un lugar a la izquierda 28
 Demostración formal de Inadecuación de
Transformaciones (Bach, 1974) (parte 2)

Esta definición muestra por qué las gramáticas transformacionales son

correspondientes formalmente a máquinas de Turing. Recordemos que
el movimiento de constituyentes sintácticos no podría ser llevado a cabo
por dispositivos menos poderosos de memoria como pilas o stacks que
sólo recordarían el estado interno.

Ahora recordemos 2 definiciones de la tabla de jerarquía de lenguajes:

•Lenguaje enumerablemente recursivo (tipo-0) : cuando puede
probarse que un conjunto finito o infinito de oraciones pertenece a una
lengua. Por ejemplo, mediante una lista exhaustiva de todas las
oraciones gramaticales.

•Lenguaje propiamente recursivo (tipo-1): Cuando además de lo

anterior, puede probarse que las oraciones agramaticales NO 29
pertenecen a la lengua
Demostración formal de Inadecuación de
Transformaciones (Bach, 1974) (parte 3)

La correspondencia Máquina de Turing – gramática transformacional comporta

un formalismo tan potente que absolutamente para cualquier conjunto de
oraciones que sea recursivamente enumerable hay una gramática
transformacional. Teniendo en cuenta que este resultado se mantiene para
cualesquiera restricciones que se introduzcan en la base (subcomponente no
transformacional o sintagmático), la conclusión inevitable es que el exceso de
potencia se encuentra en el subcomponente transformacional (hipótesis de la
universalidad de la base). La gramáticas transf. NO pueden probar que una
oración NO pertenece a la lengua.

Este exceso de poder generador en las gramáticas transformacionales significa

que éstas NO constituyen una teoría suficiente para delimitar el concepto de
lenguaje humano; y que en cambio, las gramáticas de tipo-1 o 2, al ser más
restrictivas pueden dar cuenta del lenguaje humano decidiendo cuándo una
oración NO pertenece a la lengua, a la vez que todavía son suficientemente
poderosas para expresar la recursividad (lenguaje propiamente recursivo) y la 30
manipulación de constituyentes.
Igual, aclaremos
Si bien el componente
transformacional resultó ser un
engendro epistemológico, el gran
mérito de Chomsky fue haber abierto
el camino hacia el tratamiento
computacional del lenguaje como
sistema de símbolos a manipular

31
 Bibliografía

•George K. Zipf, The Psychobiology of Language, Houghton-Mifflin, New York, NY, 1935
at http://citeseer.ist.psu.edu/context/64879/0

•Harris, Zelig S. 1968. Mathematical Structures of Language. Wiley.

•Chomsky (1957). Syntactic Structures. The Hague: Mouton. Reprint. Berlin and New York (1985).

•Sandoval Moreno, Antonio. 1998. Linguistica Computacional. Madrid. Editorial

Sintesis

•Sandoval Moreno, Antonio. 2001. Gramáticas de Unificación y Rasgos. Madrid.

Editorial Machado

•Bach, E., 1974 Syntactic Theory. Holt, Rinehart and Winston. New York

•Jurafsky, D y Martin, J. 2000 Speech and Language Processing.

New Jersey. Prentice-Hall. Cap. 2 32