Qimaya – Semantic Web

creating a semantic web

Qimaya Technologie: Hinter den Kulissen von Qimaya

leave a comment »

In Zukunft werde ich, wie von Roy angekündigt, in unregelmäßigen Abständen einen Blick hinter die Kulissen gewähren.

Algorithmen werden danach bewertet, wie viel Zeit benötigt wird, um eine wachsende Menge an Daten neu abzubilden. Im Idealfall wird bei einer doppelten Datenmenge die doppelte Zeit für die Erstellung des Index benötigt. Dies ist allerdings eher die Ausnahme.

Nehmen wir mal an, die Erstellung des Index für eine Million HTML-Dokumente dauert zehn Stunden. Wie lange benötigt der Server für eine Milliarde Seiten?

Bei linearer Skalierung dauert dies ein Jahr und knapp zwei Monate. Bei einer realen Suchmaschine gibt es natürlich nicht nur einen Server, sondern Tausende. Tausend Server wären dann ebenfalls nach zehn Stunden fertig.

Was passiert, wenn der Algorithmus nicht linear skaliert? Verhält sich die Rechenzeit wie eine Parabel, also nimmt beispielsweise die Rechenzeit quadratisch mit der Menge zu, dann würde ein einzelner Server 152 Millionen Jahre (!) benötigen. Wohl auch deshalb hatten die Dinosaurier kein Google…

Das Problem ist nun, dass viele Rechenverfahren, die intelligente neuronale Netzwerke simulieren (beispielsweise so genannte Hopfield- oder Backpropagation-Netzwerke) NICHT linear skalieren. Bei sehr großen Datenmengen sagt sich der Wissenschaftler dann: Finger weg! Denn Wissenschaftler scheitern nicht so gern.

Bis zum Sommer 2007 wusste ich selbst nicht, ob es eine Lösung für ein skalierbares neuronales Netzwerk gibt. Die Entstehungsgeschichte werden wir später noch einmal aufgreifen.

Insofern ist für mich das verblüffende an Qimaya nicht in erster Linie die Leistungsfähigkeit assoziativer neuronaler Netze. Diese konnte ich in zahlreichen Projekten erfahren. Ein interessantes Beispiel ist der Einsatz assoziativer Netze für die Philosophie.

Das Faszinierende für mich ist, wenn in kürzester Zeit aus Millionen HTML-Dokumenten ein künstliches neuronales Netzwerk generiert wird. Das ist mit einem Wort – Qimaya.

Nach 24 Sekunden yahoogeln stößt man im Netz auf wissenschaftliche Aufsätze zu QUEAP-Algorithmen. Diese sind allerdings nicht identisch mit den von uns eingesetzten Verfahren. Unterscheidungsmerkmal ist der Einsatz von Pointern. 1993 hatte ich Parallelrechner des Höchstleistungsrechenzentrum Jülich zur Simulation neuronaler Netze benutzt. Bei einem Besuch der Arbeitsgruppe dort sah ich, dass fast alle einen Aufkleber an ihrem Monitor hatten: “No Pointer!”.

Bis zum heutigen Tage scheint mich das zu beeinflussen.

Autor: Klaus

About these ads

Written by Qimaya

20. September 2008 um 1:31 vormittags

Veröffentlicht in Uncategorized

Getaggt mit , ,

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ photo

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

Follow

Erhalte jeden neuen Beitrag in deinen Posteingang.

%d Bloggern gefällt das: