Dozenten:
Prof. Dr. Ralf Möller, PD Dr. Özgür Özcep

Praktikumsbetreuung:
Magnus Bender

Das Modul Intelligente Agenten (CS4514-KP12) besteht aus einer Vorlesung (6 SWS) sowie einem Projektpraktikum Information Retrieval Agents (3 SWS).

Beschreibung der Vorlesung:

• Bei der Vorlesung gliedert sich der Inhalt in zwei Teile:
  1. Intelligent Agents for Information Retrieval
  2. Agents' reasoning and Reasoning about Agents
• Die Vorlesung wird auf Englisch gehalten.
• Im Projektpraktikum nutzen Studierende gängige (open source) Programmiersprachen und Werkzeuge des Data Science, um die in der Vorlesung Web-Mining-Agenten vermittelten Abstraktionen, Konzepte und Resultate in der praktischen Modellbildung und Verarbeitung von großen Datensätzen umzusetzen.

Vorbereitendes Material:

Es hat sich herausgestellt, dass nicht alle die notwendigen Vorkenntnisse aus dem Bachelor-Programm für das Modul mitbringen. Wir haben für Sie daher Material zusammengestellt, das ihnen hilft, mögliche Lücken zu beseitigen. Das Passwort für die Videos lautet: IA-WiSe-2021

• Grundlagen der Stochastik (pdf, pptx, mp4)
• Grundlagen des Lernens mit partiellen Daten: Expectation Maximization (EM) (pdf, pptx, mp4)
• Grundlagen des Information Retrievals, Dimensionsreduktion mit linearer Algebra (pdf, pptx, mp4)

Nützliche Informationsquellen könnten für Sie generell auch die folgenden Bachelor-Vorlesungen sein:

• Algorithmen und Datenstrukturen
• Einführung in Datenbanksysteme
• Einführung in Web und Data Science
• Non-Standard-Datenbanken und Data-Mining

Inhalt:

Vorlesungsteil: Agents' reasoning and Reasoning about Agents

1. Intelligent agents and artificial intelligence (pdf,  pptx)
2. Causal dependencies (pdf, pptx)
   
3. Intervention (pdf , pptx)
4. Instrumental variables (pdf , pptx)
   
5. Counterfactuals   (pdf , pptx)
   
6. Game theory and social choice (pdf, pptx)
   
7. Mechanism design, algorithmic mechanism design (pdf, pptx)
   
8. Agent collaboration, rules of encounter (pdf, pptx)
   
9. Epistemic logic intro  (pdf, pptx)
   
10. Knowledge and seeing (pdf, pptx)
    
11. Knowledge and time (pdf, pptx)
    
12. Dynamic epistemic logic 1 (pdf, pptx)
    
13. Dynamic epistemic logic 2 (pdf, pptx)
    
14. Doxastic Logic  (pdf, pptx)
    
    

Vorlesungsteil: Intelligent Agents for Information Retrieval

1. Information retrieval and web-mining agents (pdf,  pptx)
2. Probabilistic dimension reduction, latent content descriptions, topic models, LDA (pdf, pptx)
3. Probabilistic modeling of sequential structures, DBNs, HMMs, LDA-HMM (pdf, pptx)
4. Representation learning for sequential structures, embedding spaces, word2vec, CBOW, skip-gram, hierarchical softmax, negative sampling (pdf, pptx)
5. Multi-relational latent semantic analysis, collective classification, knowledge graph embedding (RESCAL, XTransY and successors, tensor networks), knowledge graph completion, training data generation (negative sampling) (pdf, pptx)
6. New language models (1d-CNNs. RNNs, LSTMs, ELMo, Transformers, BERT) (pdf, pptx)
7. BERT, GPT, and beyond, on the way to natural language inference (pdf, pptx)
8. Dynamic Probabilistic Relational Models (Deeper Models) (pdf, pptx)
9. Knowledge graph embedding with GNNs, combining embedding-based KG completion with probabilistic graphical models (ExpressGNN, pLogicNet), MLN inference and learning based on embedded knowledge graphs (pdf, pptx)
10. GMNNs, latent subjective context descriptions, logical abduction for SCD generation (pdf, pptx)
11. Summary

Weiterführende Vorlesungen:

• Automated Planning and Acting (CS5072-KP04)
• Probabilistic Differential Programming (CS5050 KP04)

Videomaterial aus der Vorlesung:

Das Passwort für die Videos der beiden Vorlesungsteile lautet IA-WiSe-2021 (ja: 2021) sofern nicht anders angegeben.

Die Videos der Vorlesung am Donnerstag stammen aus dem letzten Jahr und können daher kleine Differenzen zu den diesjährigen Inhalten aufweisen.

Die Zahl hinter dem Link gibt an, bis zu welcher Slide die Aufzeichnung geht (Teilgebiet + Thema x unter Teilgebietsinhalt + Präsentationsfoliennummer y: Teilgebiet x.y).

Zeit und Ort:

Agents' reasoning and Reasoning about Agents (AR-RA)
Mittwochs, 14:00 - 15:30 Uhr, IFIS 2035 als Inverted Classroom 
Beginn: 20.10.2021

Intelligent Agents for Information Retrieval (IA-IR)
Donnerstags, 14:15 - 15:45 Uhr, IFIS 2035 als live Vorlesung
Beginn: 21.10.2021

Projektpraktikum
Freitags, 12:15 - 13:45 Uhr, IFIS 2035
Beginn: 29.10.2021

Voraussetzungen:

Zulassungsvoraussetzungen zum Modul: keine

Zulassungsvoraussetzungen zur Prüfung: siehe Moodle

Die Kompetenzen der folgenden Module sind für dieses Modul nützlich (keine harte Zulassungsvoraussetzung):

• Algorithmen und Datenstrukturen (CS1001)
• Einführung in die Logik (CS1002)
• Datenbanken (CS2700)
• Informationssysteme (CS4130)
• Lineare Algebra und Diskrete Strukturen I + II (MA1000, MA1500)
• Nonstandard-Datenbanekn und Data Mining (CS3130-KP08)
• Stochastik 1 (MA2510) bzw. Grundlagen der Statistik (PY1800)

Zielgruppe:

• Master Entrepreneurship in digitalen Technologien 2020 (Vertiefungsmodul), Technologiefach Informatik, Beliebiges Fachsemester
• Master Informatik 2019 (Wahlpflicht), Kanonische Vertiefung Data Science und KI, 1. oder 2. Fachsemester
• Master IT-Sicherheit 2019 (Vertiefungsmodul), Vertiefung Informatik, 1. oder 2. Fachsemester
• Master Informatik 2019 (Wahlpflicht), Vertiefungsmodule, Beliebiges Fachsemester
• Zertifikatsstudium Künstliche Intelligenz (Pflicht), Künstliche Intelligenz, 1. Fachsemester

Qualifikationsziele / Kompetenzen:

• Wissen: Studierende können die Agentenabstraktion erläutern und Informationsgewinnung im Web (web mining) als rationales Verhalten erläutern. Sie können Details der Architektur von Mining-Agenten (Ziele, Nützlichkeitswerte, Umgebungen) erläutern. Der Begriff des kooperativen und nicht-kooperativen Agenten kann durch die Studierenden im Rahmen von Entscheidungsproblemen diskutiert werden. Um Agenten mit Fähigkeiten zum Umgang mit Unsicherheiten bei der Informationsrecherche in Realweltszenarien auszustatten, können Studierende die wesentlichen Repräsentationswerkzeuge aufzeigen (z.B. Bayessche Netzwerke) und Algorithmen für Berechnungsprobleme für statische und dynamische Szenarien erläutern. Techniken zur automatischen Berechnung von verwendeten Repräsentationen und Modellen können erklärt werden. Damit Agenten mit Entscheidungs-findungskompetenz ausgestattet werden können (zum Beispiel, um festzulegen, wo weiter im Web gesucht werden soll) sind Studierende in der Lage, Entscheidungsfindungsprozesse für einfache und sequentielle Kontexte zu beschreiben und zu gestalten, so dass Szenarien beherrscht werden können, in denen die Agenten vollen oder auch nur partiellen Zugriff auf den Zustand ihres umgebenden Systems haben und den Wert von möglicherweise akquirierbaren Informationen für festgelegte Aufgaben abschätzen müssen. Studierende verfügen über Wissen zur Erläuterung der klassischen und der neueren Techniken zur zielgerichteten Anreicherung von unstrukturierten Daten mit symbolischen Beschreibungen (Multimediadaten-Interpretation, Annotation).
• Fertigkeiten: Die Studierenden sind in der Lage, für den Aufbau von Web-Recherche-Systemen geeignete Repräsentations- und Kooperationsformen für Teilprozesse bzw. Agenten auszuwählen. Auf der Basis von multimodalen Daten können die Studierenden Mining-Systeme aufbauen, um explizit gegebene Dateneinheiten (Textdokumente, relationale Daten, Bilder, Videos) auszuwerten, so dass für bestimmte Anfragekontexte nicht nur die Einheiten einfach zurückgegeben werden (oder Zeiger hierauf), sondern eine symbolische, zusammenfassende Beschreibung generiert wird (und ggf. zur sog. Annotation der Einheiten hinzugefügt wird). Insbesondere können die Studierenden auf der Basis von multimodalen Daten Mining-Systeme aufbauen, um explizit gegebene Dateneinheiten (Textdokumente, relationale Daten, Bilder, Videos) auszuwerten, so dass für bestimmte Anfragekontexte nicht nur die Einheiten einfach zurückgegeben werden (oder Zeiger hierauf), sondern eine symbolische, zusammenfassende Beschreibung generiert wird (und ggf. zur sog. Annotation der Einheiten hinzugefügt wird). Die Fertigkeiten der Studierenden umfassen auch die wettbewerbsorientierte Gestaltung von Systemen mit autonomen, von verschiedene Parteien konstruierbaren Agenten, so dass über deren Zusammenspiel ein Mehrwert erzeugt werden kann (Interaktion bzw. Kooperation von Web-Mining-Agenten). Koordinierungsprobleme und Entscheidungsprobleme in einem Multiagenten-Szenario können durch die Studierenden über den Gleichgewichts- und den Mechanismus-Begriff behandelt werden.
• Sozialkompetenz und Selbständigkeit: Studierende arbeiten in Gruppen, um Übungsaufgaben und kleine Projekte zu bearbeiten und ihre Lösungen in einem Kurzvortrag zu präsentieren. Selbständiges praktisches Arbeiten der Studierenden wird auch im zugehörenden Projektpraktikum durch die Entwicklung eines größeren Projekts mit aktuellen Programmiersprachen und Werkzeugen aus dem Bereich des Data Science gefördert.

Moodle:

Weitere Informationen sowie Materialien zur Vorlesung und Praktikum sind im Moodle zu finden.

Für den Zugriff müssen Sie sich selbst in den Kurs einschreiben.

Literatur:

• M. Hall, I. Witten and E. Frank: Data Mining: Practical Machine Learning Tools and Techniques - Morgan Kaufmann, 2011
• D. Koller, N. Friedman: Probabilistic Graphical Models: Principles and Techniques - MIT Press, 2009
• K. Murphy: Machine Learning: A Probabilistic Perspective - MIT Press, 2012
• S. Russel, P. Norvig: Artificial Intelligence: A Modern Approach - Pearson Education, 2010
• Y. Shoham, K. Leyton-Brown: Multiagent-Systems: Algorithmic, Game-Theoretic, and Logical Foundations - Cambridge University Press, 2009
• Journal-Artikel zu speziellen Themen der Veranstaltung werden in der Vorlesung bekanntgegeben