Aller Wahrscheinlichkeit nach haben die Ergebnisse der Experimentieraufgabe zuvor durchaus für Enttäuschung gesorgt. Denn erfahrungsgemäß lassen sich ein paar wenige Ziffern recht gut erkennen, viele anderen Ziffern jedoch ganz und gar nicht.
Als Hintergrund sei zunächst erwähnt, dass es sich bei der Ziffernerkennung um ein Standardbeispiel für neuronale Netze handelt: Dank der MNIST-Datenbank stehen einheitliche Trainings- sowie Testdaten zur Verfügung:
Y. LeCun, C. Cortes und C.J.C. Burges. 2010. MNIST handwritten digit database. AT&T Labs Research.
Insbesondere sind Daten von 60 000 Ziffern gegeben, welche dazu verwendet werden, die Gewichte und Schwellwerte geeignet zu wählen (Trainingsphase). Anschließend kann das (trainierte) neuronale Netz anhand von weiteren 10 000 Ziffern getestet werden. Auch im Beispiel aus der Aufgabe zuvor wurden die Gewichte und Schwellwerte derart bestimmt, sodass über 96 Prozent der 10 000 Testdaten korrekt erkannt werden.
Dass die Ergebnisse der Aufgabe zuvor dennoch wenig zufriedenstellend sind, liegt insbesondere daran, dass die Daten anders erhoben wurden: Bei den MNIST-Daten handelt es sich um Ziffern, welche auf Papier geschrieben, eingescannt und auf eine Größe von 28 x 28 Pixel skaliert wurden. In unserer Aufgabe wurden die Testdaten mit einer Maus oder mit dem Finger direkt eingegeben, was durchaus zu erheblichen Unterschieden führen kann. Auch hat weder eine Zentrierung noch eine Skalierung der Eingaben stattgefunden. Zudem wurden die MNIST-Daten vor allem im englischsprachigen Raum erhoben und dort werden die Ziffern 1 und 7 häufig ein wenig anders geschrieben.
Als Fazit sollte mitgenommen werden, dass neuronale Netze nur so schlau sein können wie die Trainingsdaten, mit denen die Gewichte und Schwellwerte bestimmt wurden. Außerdem müssen Trainings- und Testdaten identisch aufgenommen werden, um gute Ergebnisse zu erzielen.