taralino

Beispiel Strichzeichnungen

Ein zweites Beispiel, welches demselben Prinzip folgt wie zuvor, ist die Erkennung einfacher Strichzeichnungen. Als Grundlage dafür haben wir Daten des Projekts Quick, Draw! von Google verwendet.

In der Anwendung der folgenden Experimentieraufgabe können (ähnlich zur Ziffernerkennung) Zeichnungen eingegeben werden. Die Zeichnungen werden als Vektorgrafik angezeigt, für das neuronale Netz werden die Zeichnungen jedoch auf Bilder bestehend aus 40 x 40 Pixel umgerechnet. Das zugehörige künstliche neuronale Netz verarbeitet somit ein Eingangssignal bestehend aus

Eingangsneuronen und es wird zwischen den folgenden Objekten klassifiziert:

Auch dieses Beispiel lässt sich anhand der Anwendung der folgenden Experimentieraufgabe testen, wobei ein bereits trainiertes neuronales Netz mit folgendem Layout verwendet wird:

Anwendung

Fertige Strichzeichnungen an und fordere die Künstliche Intelligenz heraus.

<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <script src="taralino.js"></script>
  <script src="Doodle.js"></script>
</head>
<body>
<script>

/*******************************************
             global variables
*******************************************/

var data = [];

var result = [0,0,0,0];

var mousekey = "up"; // "up", "down"



/*******************************************
             local functions
*******************************************/

function output_to_index(o) {
  var r = [];
  for (var k = 0; k < o.length; k++) r.push([o[k],k]);
  r.sort(function(a,b){return b[0]-a[0];});
  return r;
};

function distance(x1,y1,x2,y2) {
  var dx = x1-x2;
  var dy = y1-y2;
  return Math.sqrt(dx*dx + dy*dy);
};



/*******************************************
            mouse interactions
*******************************************/

function on_mouse_down(x, y) {
  mousekey = "down";
  data.push([[x],[y]]);
};

function on_mouse_up(x, y) {
  on_mouse_move(x, y);
  mousekey = "up";
};

function on_mouse_leave(x, y) {
  on_mouse_up(x, y);
};

function on_mouse_move(x, y) {
  if (mousekey == "down") {
    var i = data.length-1;
    var j = data[i][0].length-1;
    if ((j == 0) || (distance(data[i][0][j], data[i][1][j], x, y) > 2.0)) {
      data[i][0].push(x);
      data[i][1].push(y);
      Canvas.line(data[i][0][j], data[i][1][j], x, y);
    };
  };
};



/*******************************************
                   setup
*******************************************/

function setup() {
  // ConvNet
  ConvNet.init([40,40], [{size:5,count:5,pooling:2},{size:3,count:5,pooling:4}]);
  var T = Doodle.get_data_convnet();
  NeuralNetwork.set_data(T);
  // Canvas
  Canvas.init([-1,256], [-1,256], {width:420, background:"#f4f4f4"});
  // Sketch
  Sketch.init([-1,256], [0,24], {width:420, background:"#f4f4f4"});
  sketch_draw();
  // Buttons
  Button.add("evaluate", "Zeichnung auswerten");
  Button.add("clear", "Neu");
};



/*******************************************
                sketch_draw
*******************************************/

function sketch_draw() {
  Sketch.clear();

  if (data.length == 0) {
    Sketch.text(128, 12, "Apfel, Fisch, Schmetterling oder Sonne?");
    Sketch.draw();
    return;
  };

  var H = output_to_index(result);
  if ((H[0][0] > 0.96) && (H[1][0] < 0.20)) {
    var t = "unknown";
    if (H[0][1] == 0) t = "ein Apfel";
    if (H[0][1] == 1) t = "ein Schmetterling";
    if (H[0][1] == 2) t = "ein Fisch";
    if (H[0][1] == 3) t = "eine Sonne";
    Sketch.text(128, 12, "Das ist " + t + ".");
  } else {
    Sketch.text(128, 12, "Das kann ich leider nicht erkennen.");
  };
  Sketch.draw();
};


/*******************************************
                on_click
*******************************************/

function on_click(id) {
  if (id == "clear") {
    Canvas.clear();
    data = [];
    result = [0,0,0,0];
    sketch_draw();
  };
  if (id == "evaluate") {
    var p = Doodle.data_to_image(data);
    result = NeuralNetwork.evaluate(ConvNet.compute(p));
    sketch_draw();
  };
};


</script>
</body>
</html>

Vorschau Download Kopie speichern

Aufgabe

Mache dich mit der Anwendung vertraut, welche ein bereits trainiertes neuronales Netz zur Klassifizierung von Strichzeichnungen in Apfel, Schmetterling, Fisch und Sonne verwendet. Zeichne unterschiedliche Objekte und protokolliere deine Ergebnisse tabellarisch (als Konfusionsmatrix). Welche Beobachtungen kannst du machen?

Quiz

Hast du dich mit der Anwendung beschäftigt?

nein