Eine wichtige Erkenntnis, der wir diesen Abschnitt widmen, ist der Zusammenhang zwischen der Hauptkomponentenanalyse und der metrischen multidimensionalen Skalierung:
Wird eine Dimensionsreduktion mit der metrischen multidimensionalen Skalierung unter Verwendung der Euklidischen Metrik durchgeführt, so ist das Ergebnis (bis auf Rotation und Skalierung) identisch zur Dimensionsreduktion unter Verwendung einer Hauptkomponentenanalyse.
Zur Wiederholung: Die Hauptkomponentenanalyse basiert im Wesentlichen auf einer Singulärwertzerlegung, die metrische multidimensionale Skalierung auf einer Eigenwertbestimmung.
Die Laufzeit der Hauptkomponentenanalyse hängt dabei vor allem von der Anzahl der Merkmale ab, die Laufzeit der metrischen multidimensionalen Skalierung vor allem von der Anzahl der Objekte.
Wenn es auf die Laufzeit ankommt, sollte die Wahl des Verfahrens zur Dimensionsreduktion danach getroffen werden, ob der Datensatz mehr Merkmale oder mehr Objekte besitzt:
- Datensatz besitzt mehr Objekte als Merkmale: Hauptkomponentenanalyse
- Datensatz besitzt mehr Merkmale als Objekte: metrischen multidimensionalen Skalierung