Fazit und Ausblick

Die künstlichen neuronalen Netze sind ein weit verbreites Verfahren, das in vielen Bereichen Anwendung findet. Dies sind z.B. die Texterkennung, Bilderkennung, Gesichtserkennung u.v.a. Die KNN besitzen gewisse Eigenschaften:

Vorteile
  • Nah an dem biologischen Vorbild beim Erwerb vom Wissen
  • Hohe Lernfähigkeit
  • Robust beim Umgang mit verrauschten Daten
Nachteile
  • Neuronale Netze benötigen eine aufwendige Vor- und Nachbearbeitung wegen der Ein- und Ausgabekodierung in herkömmlicher Technik.
  • Die künstlichen neuronalen Netze neigen dazu, die Trainingsdaten auswendig zu lernen - Überanpassung. Um das zu vermeiden, muss die Netzarchitektur sehr "vorsichtig" gewählt werden.
  • Die Anzahl der Schichten und der Neuronen pro Schicht bestimmen die Qualität des Lernens nicht immer eindeutig.
  • Eine komplizierte Parametrisierung ist erforderlich.
  • Direkte Aussagen über die Qualität der Ergebnisse sind eher nicht möglich.
  • Komplexere Eingaben verursachen einen hohen Speicher- und Zeitaufwand.

Die neuronalen Netzen haben sich meiner Meinung nach für dieses komplexe OCR-Problem leider als nicht ganz geeignet erwiesen. Sie können mit großeren Mengen von Daten und mit höheren Anzahl von Mustern nicht so gut umgehen. Aus diesem Grund ist das Einsetzen von neuronalen Netzen für die OCR von chinesischen Schriftzeichen nicht sehr effizient.
Wie auch die letzen Ergebnisse zeigen, könnte man durch gezielte Erhöhung der Schichten und der Anzahl der Neuronen pro Schicht keine signifikante Leistungssteigerung erzielen.

Seit einigen Jahren werden häufiger verbesserte Verfahren wie die Support-Vector-Maschinen(SVM) eingesetzt. Die SVM wurden Anfang bis Mitte der 1990er Jahre von Vapnik und seinen Mitarbeitern entwickelt. Die SVM erkennen die Muster anhand statistischer Lerntheorie. Die Grundlage ist der verallgemeinerte, um nichtlineare Zusammenhänge erweiterte "Generalised Portrait"-Algorithmus. Der Grundgedanke dahinter ist die Transformation der Daten in höherdimensionalen Merkmalsraum. Die Trainingsbeispiele werden in einer Hyperebene in negative und positive Beispiele getrennt. Aus der Trainingsphase ergeben sich für jede Klasse die passenden Trainingsvektoren (auch Supportvektoren genannt), die am nächsten zu dieser Hyperebene liegen. Die kürzeste Distanzberechnung zu den Vektoren ergibt die Klasse.

Stärken der SVM:
  • Theoretisch gut fundiert
  • Über die Kapazitätskontrolle kann das Überlernen ("overfitting") eingeschränkt oder vermieden und somit eine gute Generalisierungsfähigkeit erreicht werden.
  • Leichte Handhabbarkeit
  • Es gibt nur wenige Modellparameter, die vom Anwender festgelegt werden können/müssen: eine Kostenfunktion sowie eine Kernelfunktion und ihre(n) Parameter.
  • Sehr flexibel
  • Allein die Auswahl eines neuen Kernels erzeugt eine neue Lösungsmethode, ohne dass weitere Änderungen vorgenommen werden müssen. Durch die Wahl einer bestimmten Kernelfunktion können verschiedene Architekturen, die teilweise Ähnlichkeiten mit neuronalen Netzen haben, erzeugt werden.
  • Die Ergebnisse sind im Prinzip besser als andere Klassifikatoren wie die neuronalen Netze.
Schwächen der SVM:
  • Langsames und speicherintensives Lernen
  • Nur binäre Klassifikation möglich
Forschungsbedarf besteht aber noch, um unter anderem folgende Fragen zu beantworten:
  • Wie gut ist die Rechengeschwindigkeit und Ergebnisqualität bei sehr hoher Anzahl an Datensätzen und/oder Dimensionen und kann sie verbessert werden?
  • Wie ist domänenspezifisches Wissen in das Verfahren einzubinden?

Für die jenigen, die mehr über Support-Vektor-Maschinen erfahren wollen, sind die folgenden Bücher zu empfehlen:

  • Nello Cristianini und John Shawe-Taylor, An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods, New York, Cambridge University Press, ISBN: 978-0-521-78019-3
  • Bernhard Schölkopf und Alexander J.Smola, Learning With Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, MIT Press, ISBN: 978-0-262-19475-4
  •