Intelligente Agenten (CS4514-KP12)

Dozenten:
Prof. Dr. Ralf Möller, PD Dr. Özgür Özcep, Dr. Marcel Gehrke

Praktikumsbetreuung:
Magnus Bender

 

Das Modul Intelligente Agenten (CS4514-KP12) besteht aus einer Vorlesung (CS4514-V, 6 SWS) sowie einem Projektpraktikum Information Retrieval Agents (CS4514-P, 2 SWS).

Beschreibung der Vorlesung und des Projektpraktikums:

  • Bei der Vorlesung gliedert sich der Inhalt in drei Teile:
    1. Agents, Mechanisms, and Collaboration
    2. Perception of Agents (Language and Vision)
    3. Agent Planning, Reinforcement Learning, Relations, and Human-awareness
  • Die Vorlesung wird auf Englisch gehalten.
  • Im Projektpraktikum nutzen Studierende gängige (open source) Programmiersprachen und Werkzeuge des Data Science, um die in der Vorlesung vermittelten Abstraktionen, Konzepte und Resultate in der praktischen Modellbildung und Verarbeitung von großen Datensätzen umzusetzen.

Vorbereitendes Material:

Es hat sich herausgestellt, dass nicht alle die notwendigen Vorkenntnisse aus dem Bachelor-Programm für das Modul mitbringen. Wir haben für Sie daher Material zusammengestellt, das ihnen hilft, mögliche Lücken zu beseitigen. Das Passwort für die Videos lautet: IA-WiSe-2021

  • Grundlagen der Stochastik (pdf, pptx, mp4)
  • Grundlagen des Lernens mit partiellen Daten: Expectation Maximization (EM) (pdf, pptx, mp4)
  • Grundlagen des Information Retrievals, Dimensionsreduktion mit linearer Algebra (pdf, pptx, mp4)

Nützliche Informationsquellen könnten für Sie generell auch die folgenden Vorlesungen sein:

Inhalt:

Vorlesungsteil: Agents, Mechanisms, and Collaboration

  1. 18.10.2023: Intelligent agents and artificial intelligence (pdf,  pptx)
  2. 25.10.2023: Game theory and social choice (pdf, pptx) 
  3. 1.11.2023: Mechanism design(pdf, pptx)
  4. 8.11.2023: Agent collaboration, rules of encounter (pdf, pptx)
  5. 15.11.2023: Epistemic logic intro  (pdf, pptx) 
  6. 22.11.2023: Knowledge and seeing (pdf, pptx)
  7. 29.11.2023: Knowledge and time (pdf, pptx) 
  8. 06.12.2023: Dynamic epistemic logic 1 (pdf, pptx)
  9. 13.12.2023: Dynamic epistemic logic 2 (pdf, pptx)
  10. 20.12.2023: Doxastic Logic  (pdf, pptx) 
  11. 10.01.2023: Justification Logic  (pdf, pptx) 
  12. 17.01.2023: Knowledge Based programs  (pdf, pptx) 
  13. 24.01.2023: Excursion Fourier Analysis I (pdf , pptx)   
  14. 31.01.2023: Excursion Fourier Analysis II (Proof of Arrows Theorem) (pdf , pptx) 
  15. 6.2.2023: NN

 

Vorlesungsteil: Perception of Agents (Language and Vision)

  1. Information retrieval and web-mining agents (pdf, pptx)
  2. Probabilistic dimension reduction, latent content descriptions, topic models, LDA (pdf, pptx)
  3. Representation learning for sequential structures, embedding spaces, word2vec, CBOW, skip-gram, hierarchical softmax, negative sampling (pdf, pptx)
  4. Multi-relational latent semantic analysis (pdf, pptx)
  5. Language models: 1d-ConvNets. recurrent nets, LSTMs, ELMo, Transformers, BERT, GPT-3, Llama (open source), and beyond, natural language inference and query answering, reinforcement learning with human feedback (RLHF, InstructGPT), PPO, Temperature & top-p sampling, in-context learning, zero-shot vs. few-shot prompting, ChatGPT, GPT-4, Retrieval-augmented generation (pdf, pptx)
  6. Summary: Agents, perception, tasks and goals, action, prediction as a principle (Friston): AlphaZero, AlphaGeometry, FunSearch, Vision and Language (2D-ConvNets: AlexNet, Inception, ResNet, YOLO, Vision Transformers (ViT) / Transfer Learning / Large Multimodal Models (LMMs): ViLBERT / CLIP / Llama 2, GPT-4V, Palm 2/Gemini (pdf, pptx)
  7. Generative language-vision models (DALL-E and beyond), VQ-VAE/dVAE, DALL-E’s transformer, Imagery as a reasoning principle for agents (pdf, pptx)
  8. Well-foundedness, provably beneficial behavior, off-switch problem (pdf, pptx)

 

Vorlesungsteil: Actions of Agents (Planning, Causality, and Reinforcement Learning)

  1. Introduction (Agent, planning, and acting) (pdf, pptx)
  2. Deterministic (State-variable representation, forward state-space search, heuristic functions, backward search, and plan-space search) (pdf, pptx) (Updated 06.11.2023 11:30)
  3. Temporal (Temporal representation, planning with temporal models, constraint management, and acting with temporal models)(pdf, pptx) (Updated 16.11.2023 15:30)
  4. Nondeterministic (Planning problem, and/or graph search, determination, and online approaches) (pdf, pptx)
  5. Probabilistic (Stochastic shortest-path problems, heuristic search algorithms, and online approaches including reinforcement learning) (pdf, pptx)
  6. Decision Making
    1. Foundations (Utility theory, Markov decision processes, and reinforcement learning) (pdf, pptx) (Updated 21.12.2023 18:30)
    2. Extensions (Partially observable MDPs and decentralised POMDPs) (pdf, pptx)
    3. Structure (Lifted DecPOMDPs, Factored MDPs, and first-order MDPs) (pdf, pptx)
  7. Human-aware (Mental models, interpretable behaviour, and explanations) (pdf, pptx)

 

Weiterführende Vorlesungen:

Zeit und Ort:

Agents, Mechanisms, and Collaboration
Mittwochs, 14:00 - 15:30 Uhr, IFIS Seminarraum 2035, Vorlesung mit integrierten Übungen
Beginn: 18.10.2023
Dozent: Özgür Özcep

Agent Perception (Language and Vision)
Donnerstags, 14:15 - 15:45 Uhr, IFIS Seminarraum 2035: Vorlesung mit integrierten Übungen
Beginn: 19.10.2023
Dozent: Ralf Möller

Agent Planning, Causality, and Reinforcement Learning
Freitags, 10:15 - 11:45 Uhr, IFIS Besprechungsraum 2032: Vorlesung mit integrierten Übungen
Beginn: 20.10.2023
Dozent: Marcel Gehrke

Projektpraktikum Information Retrieval Agents
Freitags, 12:15 - 13:45 Uhr, IFIS Seminarraum 2035
Beginn: 20.10.2023

 

Voraussetzungen:

Zulassungsvoraussetzungen zum Modul: keine

Zulassungsvoraussetzungen zur Prüfung: siehe Moodle

Die Kompetenzen der folgenden Module sind für dieses Modul nützlich (keine harte Zulassungsvoraussetzung):

  • Algorithmen und Datenstrukturen (CS1001)
  • Einführung in die Logik (CS1002)
  • Datenbanken (CS2700)
  • Informationssysteme (CS4130)
  • Lineare Algebra und Diskrete Strukturen I + II (MA1000, MA1500)
  • Nonstandard-Datenbanekn und Data Mining (CS3130-KP08)
  • Stochastik 1 (MA2510) bzw. Grundlagen der Statistik (PY1800)

Zielgruppe:

  • Master Entrepreneurship in digitalen Technologien 2020 (Vertiefungsmodul), Technologiefach Informatik, Beliebiges Fachsemester
  • Master Informatik 2019 (Wahlpflicht), Kanonische Vertiefung Data Science und KI, 1. oder 2. Fachsemester
  • Master IT-Sicherheit 2019 (Vertiefungsmodul), Vertiefung Informatik, 1. oder 2. Fachsemester
  • Master Informatik 2019 (Wahlpflicht), Vertiefungsmodule, Beliebiges Fachsemester
  • Zertifikatsstudium Künstliche Intelligenz (Pflicht), Künstliche Intelligenz, 1. Fachsemester

Qualifikationsziele / Kompetenzen:

  • Wissen: Studierende können die Agentenabstraktion erläutern und Informationsgewinnung im Web (web mining) als rationales Verhalten erläutern. Sie können Details der Architektur von Mining-Agenten (Ziele, Nützlichkeitswerte, Umgebungen) erläutern. Der Begriff des kooperativen und nicht-kooperativen Agenten kann durch die Studierenden im Rahmen von Entscheidungsproblemen diskutiert werden. Um Agenten mit Fähigkeiten zum Umgang mit Unsicherheiten bei der Informationsrecherche in Realweltszenarien auszustatten, können Studierende die wesentlichen Repräsentationswerkzeuge aufzeigen (z.B. Bayessche Netzwerke) und Algorithmen für Berechnungsprobleme für statische und dynamische Szenarien erläutern. Techniken zur automatischen Berechnung von verwendeten Repräsentationen und Modellen können erklärt werden. Damit Agenten mit Entscheidungs-findungskompetenz ausgestattet werden können (zum Beispiel, um festzulegen, wo weiter im Web gesucht werden soll) sind Studierende in der Lage, Entscheidungsfindungsprozesse für einfache und sequentielle Kontexte zu beschreiben und zu gestalten, so dass Szenarien beherrscht werden können, in denen die Agenten vollen oder auch nur partiellen Zugriff auf den Zustand ihres umgebenden Systems haben und den Wert von möglicherweise akquirierbaren Informationen für festgelegte Aufgaben abschätzen müssen. Studierende verfügen über Wissen zur Erläuterung der klassischen und der neueren Techniken zur zielgerichteten Anreicherung von unstrukturierten Daten mit symbolischen Beschreibungen (Multimediadaten-Interpretation, Annotation).
  • Fertigkeiten: Die Studierenden sind in der Lage, für den Aufbau von Web-Recherche-Systemen geeignete Repräsentations- und Kooperationsformen für Teilprozesse bzw. Agenten auszuwählen. Auf der Basis von multimodalen Daten können die Studierenden Mining-Systeme aufbauen, um explizit gegebene Dateneinheiten (Textdokumente, relationale Daten, Bilder, Videos) auszuwerten, so dass für bestimmte Anfragekontexte nicht nur die Einheiten einfach zurückgegeben werden (oder Zeiger hierauf), sondern eine symbolische, zusammenfassende Beschreibung generiert wird (und ggf. zur sog. Annotation der Einheiten hinzugefügt wird). Insbesondere können die Studierenden auf der Basis von multimodalen Daten Mining-Systeme aufbauen, um explizit gegebene Dateneinheiten (Textdokumente, relationale Daten, Bilder, Videos) auszuwerten, so dass für bestimmte Anfragekontexte nicht nur die Einheiten einfach zurückgegeben werden (oder Zeiger hierauf), sondern eine symbolische, zusammenfassende Beschreibung generiert wird (und ggf. zur sog. Annotation der Einheiten hinzugefügt wird). Die Fertigkeiten der Studierenden umfassen auch die wettbewerbsorientierte Gestaltung von Systemen mit autonomen, von verschiedene Parteien konstruierbaren Agenten, so dass über deren Zusammenspiel ein Mehrwert erzeugt werden kann (Interaktion bzw. Kooperation von Web-Mining-Agenten). Koordinierungsprobleme und Entscheidungsprobleme in einem Multiagenten-Szenario können durch die Studierenden über den Gleichgewichts- und den Mechanismus-Begriff behandelt werden.
  • Sozialkompetenz und Selbständigkeit: Studierende arbeiten in Gruppen, um Übungsaufgaben und kleine Projekte zu bearbeiten und ihre Lösungen in einem Kurzvortrag zu präsentieren. Selbständiges praktisches Arbeiten der Studierenden wird auch im zugehörenden Projektpraktikum durch die Entwicklung eines größeren Projekts mit aktuellen Programmiersprachen und Werkzeugen aus dem Bereich des Data Science gefördert.

Moodle:

Weitere Informationen sowie Materialien zur Vorlesung und Praktikum sind im Moodle zu finden.

Für den Zugriff müssen Sie sich selbst in den Kurs einschreiben.

Literatur:

  • M. Hall, I. Witten and E. Frank: Data Mining: Practical Machine Learning Tools and Techniques - Morgan Kaufmann, 2011
  • D. Koller, N. Friedman: Probabilistic Graphical Models: Principles and Techniques - MIT Press, 2009
  • K. Murphy: Machine Learning: A Probabilistic Perspective - MIT Press, 2012
  • S. Russel, P. Norvig: Artificial Intelligence: A Modern Approach - Pearson Education, 2010
  • Y. Shoham, K. Leyton-Brown: Multiagent-Systems: Algorithmic, Game-Theoretic, and Logical Foundations - Cambridge University Press, 2009
  • Konferenz- und Journal-Artikel zu speziellen Themen der Veranstaltung werden in der Vorlesung bekanntgegeben