taralino

Trainingsphase

Mit den Beschreibungen aus dem Abschnitt zuvor wird schnell klar, dass die Trainingsphase eines Autoencoders genau wie bei künstlichen neuronalen Netzen durchgeführt werden kann, sofern ausreichend viele Trainingsdaten zur Verfügung stehen.

Aber wie üblich muss auch ein Autoencoder zunächst initialisiert werden. Dabei ist das Layout des Encoders sowie das Layout des Decoders zu spezifizieren:

Zur Referenz

Bei der anschließenden Trainingsphase handelt es sich um einen iterativen Prozess, der insbesondere über die folgenden Parameter gesteuert werden kann:

Variable	Beschreibung
iterations	Anzahl der Iterationen der Trainingsphase
batch_size	Losgröße pro Iteration
learning_rate	Lernrate

Es sei bemerkt, dass Autoencoder durchaus sensibler auf die Lernrate reagieren können im Vergleich zu neuronalen Netzen. Es kann also durchaus sinnvoll sein, auch damit zu experimentieren. Eine weiterführende Dokumentation dazu findest du hier:

Zur Referenz

Um den Fortschritt und Verlauf der Trainingsphase besser analysieren zu können, stellt auch das Autoencoder-Paket den .progress-Befehl zur Verfügung:

Zur Referenz

Im folgenden Beispiel nutzen wir die Daten des HandwrittenDigits-Datensatzes, um erste Erfahrungen zu sammeln. Nach abgeschlossener Trainingsphase wird der Zielfunktionswert (siehe Abschnitt zuvor) über der Anzahl der Iterationen dargestellt. Hinweis: Im Vergleich zum Abschnitt zuvor werden die Zielfunktionswerte zur besseren Darstellung mit einem Faktor von 100 skaliert.

Beispiel

Demonstration der Trainingsphase eines Autoencoders.

<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <script src="taralino.js"></script>
  <script src="HandwrittenDigits.js"></script>
</head>
<body>
<script>

// zweidimensionales Datenfeld X erzeugen
var T = HandwrittenDigits.train();
var X = [];
for (var i = 0; i < T.length; i++) X.push(T[i].input);

// Initialisierung und Trainingsphase starten
Autoencoder.init([64,4],[4,64]);
Autoencoder.progress(X, {iterations:1000, batch_size:10, learning_rate:0.5});

// Ergebnis der Trainingsphase darstellen
function on_training_done(T) {
  var labelx = "Iterationen der Trainingsphase (Anzahl)";
  var labely = "Zielfunktionswert";
  Plot.init(640, 320, {axis:[labely,labelx]});
  Plot.list(T, {style:"joined"});
  Plot.draw();
};

</script>
</body>
</html>

Vorschau Download Kopie speichern

Aufgabe

Verändere im Beispiel zuvor das Layout des Autoencoders sowie die drei Parameter der Trainingsphase. Dokumentiere, mit welchen Einstellungen du die besten Ergebnisse erzielt hast.