SLP Notizen

Teil II
Kapitel 12: Lexikalisiertes und probabilistisches Parsen

Inhalt

1. Probabilistische CFGs
• jeder Regel wird ihre Übergangswahrscheinlichkeit p zugeordnet:
• A → β [p]
• die Summe der einzelnen Übergangswahrscheinlichkeiten für jedes Nonterminal beträgt 1.
• so kann jedem Syntaxbaum eine Wahrscheinlichkeit zugeordnet werden:
• P(T, S) = ∏_{n ∈ T} p(r(n)), mit T Syntaxbaum, S Satz, n Knoten, r Regel
• also das Produkt der Wahrscheinlichkeiten aller im Baum verwendeten Regeln
• der beste Syntaxbaum ist jener mit der größten Wahrscheinlichkeit:
• T̂(S) = argmax _{T ∈ mögliche Syntaxbäume} P(T)
• ordnet einer Wortkette eine Wahrscheinlichkeit zu 
• brauchbar zur Sprachmodellierung (ASR, Fehlerkorrektur, ...)
• nämlich die Summe der Wahrscheinlichkeiten aller Parses
• Algorithmen um die Wahrscheinlichkeit zu errechnen, dass ein Satz auf eine bestimmte Art anfängt
• nutzbar zur Spracherkennung
• Probabilistisches Parsing mit dem CKY-Parser
• in jedem Feld der Chart wird für jedes Non-Terminal die maximale Wahrscheinlichkeit für dessen Produktion an dieser Stelle gespeichert
• Ermitteln der Regelwahrscheinlichkeiten: 
• aus einer Baumbank
• manuell
• Verallgemeinerung des Forward-Backward-Algorithmus zum Inside-Outside-Algorithmus
2. Probleme mit PCFGs
• durch strukturelle Abhängigkeiten
• Subjekte sind häufiger Pronomen (vor allem in gesprochener Sprache)
• Objekte sind selten Pronomen
• obwohl beides NPs sind
• durch lexikalische Abhängigkeiten
• manche Verben fordern zum Beispiel PPs (ich sende [_NP ein Paket] [_PP nach xyz]), obwohl global gesehen die Anbindung an die NP wahrscheinlicher ist
• anderes Beispiel: Koordination: cats in houses and cats
3. Probabilistische, lexikalisierte CFGs
• als Kopf-Merkmal wird jeweils das Kopfwort der Kopfkonstituente übernommen
• heißt auch Attribut-Grammatik (einfache, nichtrekursive Features)
• Regeln werden entsprechend erweitert, dass angegeben ist, welches der Kopf der Konstituente ist
• andere Sichtweise: Auffaltung der Regeln für jeden möglichen Kopf, eher bescheuert
• Wahrscheinlichkeiten für Regeln bei gegebenen Kopflexemen ihrer Konstituenten können gelernt werden
• zu wenig Daten, es müssen also Unabhängigkeitsannahmen getroffen werden
• beispielsweise nur Kopflexem der Kopfkonstituente (-> Name des Verbs)
• p(VP -> Verb|schläft) >> p(VP -> Verb NP| schläft), da "schlafen" meist intransitiv ist
• Unterschiede zwischen lexikalisierten PCFGs vor allem in der Auswahl der Annahmen
• W.keiten können aus Korpora geschätzt werden (Smoothing, Backoff, ...)
4. menschliche Syntaxanalyse
• TODO

letzte Änderung: 12. August 2006.