Qimaya – Semantic Web

creating a semantic web

Posts Tagged ‘Qimaya

Q&A Forum/Community? Was meint ihr?

with 20 comments

Die vielen hilfreiche eMails und Kommentare im Blog lassen mich schon seit geraumer Zeit darüber nachdenken, ob es nicht sinnvoll wäre eine noch dynamischere Kommunikationsmöglichkeit zu bieten.

XiongShui, Rudy, Huggy, Martin, Justin, Timon, Julia, Anja und und und… (ich zähle jetzt mal nicht jeden auf, ihr möget mir bitte verzeihen) ihr seid so gut zu uns. Auch ist mir nicht entfallen, dass auf unserem Blog teils schon Unterhaltungen entstehen, die zwischen euch geführt werden. Nicht nur Fragen sondern auch Antworten gehen auf euch zurück.

Ich stelle mir daher vor, eine Art Community/Forum einzurichten. Möglicherweise auf der Basis von Mixxt. Hierbei stehen nicht wir im Vordergrund. Sondern ihr!

Ich würde mir ein eigendynamisches System aus Mitgliedern vorstellen. Ihr unterhaltet euch, stellt Fragen, könnt uns sogar euren “Need” im Hinblick auf semantische Suche oder ein semantisches Web als Aufgabe stellen. Ebenso würden wir sehr gerne selbst ab und an eine Aufgabe im Forum/der Community stellen. Probleme mit denen wir zu kämpfen haben, ein Ziel das es vielleicht zu erreichen gilt. Webseiten die gecrawlt werden sollen. Was auch immer. Semantik lebt ja gerade vom Geben und Nehmen. Give´n Take! Wenn wir also wirklich Semantik erreichen wollen brauchen wir auch eine kanalisierte Form der Unterstützung. Die Technologie dazu haben wir. Die personellen Kapazitäten sind jedoch recht schwach. Und die Ideen können gar nicht nur bei uns entstehen! Hättet ihr daran Interesse? Ist MIxxt eine gute Idee? Oder gibt es etwas besseres? Sollte auch ein wenig was her machen und ein(e) skalierbare(s) Forum/Community sein. Mit euch als Moderatoren!!

Jetzt seid ihr dran!

Written by Qimaya

3. Dezember 2008 at 4:13 nachmittags

Veröffentlicht in Uncategorized

Getaggt mit , ,

In English please……..

leave a comment »

As Qimaya, our well known elemantary school student, is doing well throughout the last months, we´re not only feeling but also facing a need for english communication. So far our communication on channels such as Twitter and the Qimaya blog has rarely been spotted in english.

For a reason the WorldWideWeb does take its advantage out of being a global network, which is much more than only german. Even the Germans know that ;) However since more and more english eMails and twitterstats came up we´ve been beared out in taking much more care of the english-speaking market. But questions for an early english Version of Qimaya must be answered with a smile!

Thus the Qimaya-Team, to be detailed Markus and sometimes me, will now and then drop some lines for the english speaking geeks just only to remind you, that Germany is still the mother country of technology and innovation!

Written by Qimaya

28. Oktober 2008 at 5:24 nachmittags

Veröffentlicht in Uncategorized

Getaggt mit ,

Assoziationen sind die Wegweiser der öffentlichen Meinung

leave a comment »

Wie schon berichtet, analysiert und erkennt Qimaya den Inhalt einer Webseite. Durch die Bestimmung der inhaltlichen Relevanz innerhalb eines neuronalen Netzes kann Qimaya jedoch auch artverwandte Themen, eben solche die mit dem Gesuchten in einem assoziativen Zusammenhang stehen, erkennen.

Der Clou ist aber, dass diese Assoziationen automatisch aus dem neuronalen Netz entstehen, eben nicht mittels einer redaktionellen Bearbeitung.

Und das führt zu sehr interessanten Beobachtungen. Gibt man z.B. das Suchwort “Problem” ein, so erhält man alle Themen, die laut dem bisher durchsuchten, deutschsprachigen Index mit dem Wort “Problem” verknüpft sind.

Seht selbst, so sieht es das Netz, nicht Qimaya. An alle Männer da draußen, nix Photoshop. Frauen stehen wirklich nicht in der Assoziationswolke. :-)

Autor: Roy

Written by Qimaya

11. September 2008 at 8:11 nachmittags

Veröffentlicht in Uncategorized

Getaggt mit

Wir testen, justieren, programmieren und siehe da…das BKA

leave a comment »

Qimaya befindet sich derzeit in der Testphase. Der Index ist noch klein, jedoch fokussieren wir uns zunächst auch nur auf Qualität, statt Quantität.

Immer wieder stellen wir Suchanfragen mit dem Zweck Bugs zu erkennen. Welche Ergebnislinks stellen sich plötzlich tot, welche URL lässt sich nicht crawlen und was macht überhaupt das Frontend?

Qimaya basiert auf einem neuartigen Algorithmus und wir wissen was wir bzw. Qimaya kann. Jedoch lassen manche Ergebnisse selbst uns erstaunen. Schon jetzt, mit einem noch recht begrenzten Index, stoßen wir auf Webseiten, die mit vergleichbaren Diensten im Verborgenen blieben. So erhielten wir unter dem Suchwort Kreuzberg neben weiteren Ergebnissen einen Hinweis des BKA auf eine zur Fahndung ausgeschriebenen Person mit letzter Wohnhaft in Berlin Kreuzberg.

Warum dies so spektakulär für uns ist? Das ist leicht zu erklären, Qimaya durchsucht den vollständigen Inhalt einer Webseite und gleicht eben nicht nur das Suchwort mit der Webseite ab. Durch das Erfassen der vollständigen Inhalte bildet Qimaya eine Art inhaltliches neuronales Netz ab und kann hierdurch die Relevanz eines Ergebnisses weitaus exakter gewichten, als es zum Beispiel der bisher verwendete PageRank vermag. Das oben genannte Ergebnisse basiert auf der Suche im vollständigen Inhalt einer Webseite, denn der nachfolgende Link wurde nicht aufgrund seiner Verlinkungsstruktur als relevanteres Ergebnis lokalisiert.

http://www.bka.de/fahndung/personen/meistgesuchte

/krauth/lebenslaufheidbreder.html

Qimaya sucht nach inhaltlicher Relevanz, nicht nach Prominenz.

Autor: Roy

Written by Qimaya

29. August 2008 at 10:31 nachmittags

Veröffentlicht in Uncategorized

Getaggt mit , ,

Der lange Weg zu Qimaya…

with 2 comments

Der heutige Standard für die Internet-Suche wurde vor zehn Jahren gesetzt. Am 9. Januar 1998 reichte die Universität Stanford beim amerikanischen Patentamt die Erfindung “Method for node ranking in a linked database” ein. Diese Erfindung sollte das Problem lösen, die Bedeutung einer Internet-Seite zu bewerten. Vorbild war hierbei die Wissenschaft: Ein wissenschaftlicher Aufsatz gilt dann als wichtig, wenn er von anderen Wissenschaftlern häufig zitiert wird. Dieser Ansatz wird auch als “Popularity metrics” bezeichnet.
Lange schien sich diese Vorgehensweise zu bewähren: Das World Wide Web wurde 1993 zur allgemeinen Benutzung freigegeben und anfänglich dominierten Universitäten und Forschungseinrichtungen die Inhalte des Internets.

Heute prägen private und kommerzielle Nutzer durch Blogs, Homepages sowie Video- und Community-Seiten das Gesicht des Internet. Wird etwa ein populärer Clip in einem Videoportal mit einem Goethe-Zitat betitelt, so wird der Clip zum Top-Treffer bei der Internetsuche. Inhaltlich relevantere Seiten aus dem Bereich der Kultur sind erst in den hinteren Rängen gelistet. Dies führt die Grundvoraussetzung der “Popularity metrics” ad absurdum: Wenn wahllos Internetseiten zitiert werden, kommt die Bewertung von Qualität, Inhalt und Relevanz zu kurz. Darüber hinaus bemüht sich ein neuer Wirtschaftszweig – Firmen, die Suchmaschinenoptimierung (SEO) anbieten – um die Simulierung von Relevanz im Internet.

Das Grundproblem des bisherigen Ansatzes ist es, dass die Relevanz einer Webseite INDIREKT gemessen wird. Hier setzt Qimaya (R) mit seiner zum Patent angemeldeten Technologie an: Wir wollen die Relevanz einer Webseite DIREKT ermitteln. Zu diesem Zweck setzen wir assoziative neuronale Netzwerke ein.

Die Geschichte dieses Ansatzes begann ebenfalls im Jahr 1998. Forschungsarbeiten an den Universitäten Bonn, Jena, Bochum und Münster sowie die Kooperation mit russischen Wissenschaftlern führte zu einem Ansatz für ein neuartiges Computersystem, das Inhalte aus Texten assoziativ interpretieren kann. Vorbild bei diesem Ansatz ist unser menschliches Gehirn. Man kennt inzwischen das Erfolgsgeheimnis für die Leistungsfähigkeit unseres Denkapparats: Zwei Nervenzellen sind genau in dem Maß miteinander verknüpft, wie sie Informationen austauschen. Die Milliarden Nervenzellen kann man sich vorstellen wie ein soziales System: Wenn wir die Tastatur unseres Computers bedienen, sind bestimmte Gruppen von Nervenzellen gleichzeitig aktiv. Lesen wir die Tageszeitung, sind es andere Gruppen. Je nachdem, welchen Tätigkeiten wir nachgehen, verstärken sich bestimmte Gruppen (sog. neural assemblies). Auf diese Weise kann sich unser Gehirn flexibel an die Gegebenheiten anpassen.

Sinnvoll wäre es, wenn eine Internetsuchmaschine ebenfalls flexibel mitdenken könnte!

Leider sind die mathematischen Computerprogramme, die die Funktion von Nervenzellen nachahmen, extrem rechen- und speicheraufwendig. Mit wachsendem Umfang des Internet stellte es sich zunächst als Illusion heraus, ein “intelligentes” Internet zu realisieren. In der Tat finden sich bis zum heutigen Tage Lösungen für intelligentes Suchen vorrangig als Unternehmenslösungen (Enterprise search) für überschaubare Datenmengen.

Im Jahr 2007 gelang dann der Durchbruch: Qimaya (R) ist es gelungen, ein skalierbares neuronales Netzwerk zu konzipieren. Damit läßt sich erstmals die gewaltige Datenmenge des Internet als Gehirnstruktur abbilden.

Die Vorteile für den Anwender der Internetsuche sind spektakulär. Wird etwa nach “Klinsmann” gesucht, so reagiert das Netzwerk mit mehreren parallel aktivierten Gruppen: Ein Cluster repräsentiert Klinsmann als Nationaltrainer, ein weiterer Cluster stellt Klinsmann als Fußballspieler dar und ein neuer Cluster zum Thema “Klinsmann als Coach des FC Bayern” entsteht ebenso automatisch aus den zur Verfügung stehenden Daten.

Anschaulich wird dabei jeweils ein Hypertext-Dokument als künstliches Neuron dargestellt und jeder Begriff, der in dem Dokument vorkommt, ist eine Verknüpfungsstelle (Synapse) zu anderen Neuronen.

Ermöglicht wird dabei die Leistungsfähigkeit unserer Internetsuche durch eine weitere Innovation: den Qimaya-Index. Um die Verknüpfung der Neuronen zu beschleunigen, wird jedem Begriff eine eindeutige Zahl zugewiesen. Für die deutsche Sprache verwenden wir ein Zahlensystem auf der Basis der Zahl 42. Der Buchstabe ‘a’ hat den Wert 1, ‘b’ hat den Wert 2 usw.

Hinzu kommen Zahlen um Umlaute. Fremdsprachige Sonderzeichen werden zuvor vereinheitlicht. So sind für Qimaya”Franck Ribéry” und “Franck Ribery” ein und dieselbe außergewöhnliche Person.

Diese Zahl gilt universell, egal ob sich einer der Qimaya-Server in Berlin oder Singapur befindet.

Leitmotiv für die weitere technologische Entwicklung bleibt das Vorbild Natur. Unsere Mission ist es, Algorithmen und Verfahren aus den Neurowissenschaften für den Umgang mit digitaler Information im Alltag verfügbar zu machen.

Dieser Blog wird euch in Abständen über Qimayaund unsere weitere Entwicklung informieren. Gebt uns Input, denn wir entwickeln für euch.

Die ersten Schritte sind getan……..

Autor: Klaus

Written by Qimaya

27. August 2008 at 7:48 vormittags

Veröffentlicht in Uncategorized

Getaggt mit

Follow

Erhalte jeden neuen Beitrag in deinen Posteingang.