"Mustererkennung und neuronale Netze 001.ps.gz" - читать интересную книгу автора

Rheinisch-Westf"alische Technische Hochschule Aachen

Lehrstuhl f"ur Informatik VI

MUSTERERKENNUNG

UND NEURONALE NETZE

von Prof. Dr.-Ing. H. Ney

Sommersemester 1995

Vorlesungsmitschrift ausgearbeitet von A.Eiden

9. August 1995

INHALTSVERZEICHNIS 1 Inhaltsverzeichnis 1 Einf"uhrung 3

1.1 Gebiete der Mustererkennung : : : : : : : : : : : : : : : : 4 1.2 Aufbau eines Erkennungssystems : : : : : : : : : : : : : : 5

1.2.1 Ansatz mit Diskriminanten : : : : : : : : : : : : : : 5 1.2.2 Statistischer Ansatz : : : : : : : : : : : : : : : : : : 7 1.2.3 Typische Aufgaben der Mustererkennung : : : : : : 10 1.3 Zufallsvariablen und Verteilungen : : : : : : : : : : : : : : 11 1.4 Gauss-Verteilung: univariate und multivariate : : : : : : : : 17 1.5 Weitere Verteilungen im IRD : : : : : : : : : : : : : : : : : 22

2 Bayessche Entscheidungsregel 24

2.1 "Uberblick "uber die verschiedenen Verteilungen : : : : : : : 24 2.2 Bayesscher Ansatz und Entscheidungsregel : : : : : : : : : 25 2.3 Diskriminanten und Grenzfl"achen : : : : : : : : : : : : : : 27 2.4 Multivariate Gauss-Verteilung : : : : : : : : : : : : : : : : 30 2.5 Abstands- oder geometrische Klassifikatoren : : : : : : : : 33 2.6 Bin"are Merkmale : : : : : : : : : : : : : : : : : : : : : : : 38

2.6.1 Unabh"angige bin"are Merkmale : : : : : : : : : : : : 39 2.6.2 Abh"angige bin"are Merkmale : : : : : : : : : : : : : 40 2.6.3 Entscheidungsregel und Fehlerrate f"ur Spezialfall : : 42

3 Training und Lernen 45

3.1 Aufgabenstellung : : : : : : : : : : : : : : : : : : : : : : : 45 3.2 Verteilung der Abst"ande im IRD mit D AE 1 : : : : : : : : 46 3.3 Momentenmethode : : : : : : : : : : : : : : : : : : : : : : 49 3.4 Maximum-Likelihood-Methode : : : : : : : : : : : : : : : : 50 3.5 Praktische Aspekte : : : : : : : : : : : : : : : : : : : : : : 54 3.6 Bewertungskriterium: empirische Fehlerrate : : : : : : : : 56 3.7 Bayessches Lernverfahren : : : : : : : : : : : : : : : : : : : 57

4 Diskriminanten und Neuronale Netze 63

4.1 Fehlerquadratkriterium : : : : : : : : : : : : : : : : : : : : 63 4.2 Strukturen und Multilayer-Perceptron : : : : : : : : : : : : 67

4.2.1 Nichtlinearit"at : : : : : : : : : : : : : : : : : : : : : 69 4.2.2 Bemerkungen zum Multilayer-Perceptron (MLP) : : 71 4.2.3 Multilayer-Perceptron-"ahnliche Strukturen f"ur statistische Klassifikatoren : : : : : : : : : : : : : : : : 76