29.01.2026 | Christian Friedrich

(Un-)sicher mit LLMs?

avatar
Prof. Dr. Volker Skwarek
avatar
Prof. Dr. Ingo Timm
avatar
Monina Schwarz
avatar
Dr. Tobias Wirth

Untertitel

Zu Gast: Dr. Tobias Wirth, Leiter des Transferlabors Innere Sicherheit am DFKI

Beschreibung

Mit Tobias Wirth haben wir über die (Un-)Sicherheit von LLMs und KI Anwendungen in Sicherheitsbehörden gesprochen. Er ist Themenfeldleiter für generative und transparente KI im Forschungsbereich smarte Daten- und Wissensdienste am DFKI und leitet das Transferlabor KI-Forschung für die Polizei KI4POL.

Im Gespräch geht es um Möglichkeiten, LLMs auszutricksen, darum, wie Sicherheitsbehörden sich gegen die größten Angriffsvektoren schützen können und darum, was wir daraus auch auf den Alltag außerhalb von Sicherheitsbehörden lernen können.

Dr. Tobias Wirth (DFKI)

Dr. Tobias Wirth (LinkedIn)

BSI-Publikationen

BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden (PDF)

BSI: Evasion-Angriffe auf LLMs – Gegenmaßnahmen (PDF)

Sicherheit und Schwachstellen

Malwarebytes: ChatGPT Deep Research Zero-Click Vulnerability

OWASP Top 10 for Large Language Model Applications

Agentic LLM Vulnerabilities (arXiv, Stanford HAI)

Tools und Ressourcen

GARAK – LLM Vulnerability Scanner

JailbreakChat (GitHub)

Prompt Injection in the Wild (Kaggle Dataset)

Podcast App Empfehlungen

Unsere Kapitelbilder könnt ihr mit einer guten Podcast App sehen. Zum Beispiel mit:

Antenna Pod (Android)

Pocket Casts (Android & iOS)

Overcast (iOS)

Die Sicherheits_lücke im Netz

Abonniere Die Sicherheits_lücke überall, wo es Podcasts gibt, oder über unsere Website: https://www.sicherheitsluecke.fm

Die Sicherheits_lücke bei Mastodon

Die Sicherheits_lücke bei LinkedIn

Die Sicherheits_lücke bei Pixelfed

Feedback oder Kritik? Wünsche? Schreib uns: post@sicherheitsluecke.fm

Die Sicherheits_lücke ist ein Podcast der Hamburg Open Online University (HOOU).

Monina Schwarz, LSI Bayern

Ingo Timm beim DFKI

Volker Skwarek an der HAW Hamburg

Produktion und Musik: Christian Friedrich

Das in dieser Episode verwendete Bildmaterial steht unter der Lizenz CC-BY 4.0, Urheberin ist Anne Vogt.

Podcast Design: Anne Vogt

Das Bild zeigt verschiedene Muster in Lila und Grün.

Bild: SPOTSOFLIGHT/Pixabay

23.01.2024 | hoouadmin

Virtueller Studienführer? HAW Hamburg arbeitet an spannendem Chatbot

Können Chatbots im Studium helfen? Das erarbeiten aktuell die Projektverantwortlichen des Lernangebots ChAdmin der HAW Hamburg.

Chatbots begegnen uns schon seit vielen Jahren in unserem digitalen Alltag. Agierten sie anfangs noch als interaktive FAQ, lernen sie durch künstliche Intelligenz auch mehr und mehr auf komplexere Fragen Antworten zu finden. Ihnen allen ist gemein, dass nicht Mensch mit Mensch, sondern Mensch mit Computer interagiert. Aber wie werden Chatbots konzipiert und was ist die Technologie dahinter?

Wie funktioniert das Projekt ChAdmin?

Über projektorientiertes Lernen soll in dem Lernangebot ChAdmin der HAW Hamburg an die Funktionsweise von Chatbots herangeführt werden. Dabei geht es auf technischer Seite um die KI-basierte Technologie. Durch den niedrigschwelligen Zugang werden keine Vorkenntnisse benötigt.

Mit der konkreten Aufgabe, einen virtuellen Studienbegleiter zu erstellen, müssen die Themenfelder, zu denen der Chatbot auskunftsfähig sein soll, identifiziert und abgegrenzt werden. Darüber hinaus werden die rechtlichen, psychologischen, wirtschaftlichen, ethischen und weiteren wissenschaftliche Perspektiven auf den Einsatz von Chatbots vermittelt.

Einsatzmöglichkeiten für Chatbots identifizieren

Das Ziel des Projektes ist, dass die Nutzer:innen in der Praxis Einsatzmöglichkeiten für Chatbots identifizieren und etwaige Nebenwirkungen rechtzeitig bedenken können. Das Projekt hat die Vision, mit den konstruierten Chatbots und der großen Anzahl an Fragen und Antworten im Crowd-Ergebnis einen tatsächlich nutzbaren Studienbegleiter für die HAW Hamburg zu erstellen. Dadurch soll unter anderem auch ein Entlastungspotential für die Hochschulverwaltung ermöglicht werden.

Für Studierende im Erstsemester, aber auch im höheren Semester

Durch den niedrigschwelligen Einstieg in dieses komplexe Thema umfasst die Zielgruppe alle Studierenden der HAW Hamburg und Interessierte darüber hinaus. Das Lehrangebot wäre sowohl für Erstsemester als auch für höhere Semester einsetzbar. Es ist möglich, dieses im Studium einzusetzen, als auch im Selbststudium durchzuarbeiten. Die Projektverantwortlichen arbeiten aktuell an der Umsetzung des Lernangebots.

Text: Dorothee Wagner/HAW Hamburg