Die Ergebnisse von Suchmaschinen wie Google oder Yahoo betreffen in der Regel eine 'Momentaufnahme' des World Wide Web.
Diese Momentaufnahme beinhaltet mitunter viele Milliarden Web Seiten, die mithilfe von Crawlern gefunden und dann indexiert
wurden. Solch eine Momentaufnahme des Webs ist mit sehr grossen Kosten verbunden und viele wissenschaftliche Arbeiten
beschäftigen sich mit Methoden, den Index aktuell zu halten.
In dieser Arbeit steht gerade diese Änderung des Webs, bzw. des Index im Fokus. Es sollen dabei ein Konzept und ein
System entwickelt werden, um die Änderung des Index einer Suchmaschine zu erfassen und abzufragen.
Es soll dabei zunächst untersucht werden, wie aktuelle Crawler und Indizierungsprogramme arbeiten und inwieweit
Open-Source-Projekte sich konkret für den Einsatz im Web eignen.
Es soll dann mithilfe verschiedener Abtaststrategien, die aus der Literatur bekannt sind, eine Methode zur Verlaufserfassung
des Index entwickelt werden (Verlaufsindex).
Hierbei ist auch ein Konzept für die Qualitätsmessung des Verlaufsindex zu entwickeln. Der betrachtete Web-Ausschnitt
sollte dabei eine realistische Grösse haben. Effiziente Speicherverfahren sind für die Optimierung zu entwickeln.
Schliesslich soll ein Konzept für Anfragen an den 'Verlaufsindex' entwickelt werden. Dieser neue (textuelle) Anfragetypus soll Informationen
darüber geben können, wie sich die Information im betrachteten Zeitabschnitt geändert hat.
Im Einzelnen sind in der Diplomarbeit folgende Teilaufgaben zu erfüllen: