{"version":"1.0.0","segments":[{"speaker":"Volker","startTime":12.91,"endTime":18.03,"body":"Hallo und herzlich willkommen zur Sicherheitsl\u00fccke. Heute mal eine kurzfristige"},{"speaker":"Volker","startTime":18.03,"endTime":24.37,"body":"Sonderausgabe zu dem Vorfall zwischen OpenAI und Tagging-Phase,"},{"speaker":"Volker","startTime":24.37,"endTime":26.46,"body":"wo sich ein OpenAI-Modell,"},{"speaker":"Volker","startTime":27.1,"endTime":28.13,"body":"selbstst\u00e4ndig gemacht hat."},{"speaker":"Volker","startTime":28.86,"endTime":33.59,"body":"Ja, heute sind wir Volker Skwarek von der HAW Hamburg und."},{"speaker":"Monina","startTime":33.75,"endTime":35.06,"body":"Monina Schwarz vom LSI."},{"speaker":"Volker","startTime":35.28,"endTime":39.62,"body":"Ingo haben wir in seinem wohlverdienten Urlaub gelassen. Der lauscht uns aber"},{"speaker":"Volker","startTime":39.62,"endTime":43.18,"body":"sehr gespannt, was wir hier in dieser Folge fabrizieren."},{"speaker":"Volker","startTime":43.54,"endTime":46.61,"body":"Ja, die Frage, was ist eigentlich passiert, Monina?"},{"speaker":"Monina","startTime":46.84,"endTime":52.61,"body":"Genau, also vor kurzem am 16. Juli hat Hugging-Face einmal ver\u00f6ffentlicht,"},{"speaker":"Monina","startTime":52.61,"endTime":53.8,"body":"dass sie angegriffen worden sind."},{"speaker":"Monina","startTime":54.46,"endTime":57.34,"body":"Da war in ihrem Bericht zu lesen, dass es vermutlich ein Angriff war,"},{"speaker":"Monina","startTime":57.34,"endTime":61.7,"body":"der durch KI erfolgt ist, weil der so ausgefeilt und schnell abgelaufen ist,"},{"speaker":"Monina","startTime":62.16,"endTime":66.709,"body":"dass es eigentlich durch einen menschlichen Angreifer so gar nicht umgesetzbar gewesen w\u00e4re."},{"speaker":"Monina","startTime":66.709,"endTime":70.28,"body":"Und sie haben das Ganze mit KI erkannt und sind auch dabei, das mit KI mit einem"},{"speaker":"Monina","startTime":70.28,"endTime":74.319,"body":"anderen Modell abzuwehren und auch ihre Forensik damit, also was ist passiert,"},{"speaker":"Monina","startTime":74.98,"endTime":76.87,"body":"mit einem Modell aufzuarbeiten."},{"speaker":"Monina","startTime":77,"endTime":83.06,"body":"Dann ein bisschen sp\u00e4ter, am 22., glaube ich, wenn ich mich nicht irre, hat dann,"},{"speaker":"Monina","startTime":83.94,"endTime":87.73,"body":"OpenAI einen Bericht herausgebracht, dass das eines ihrer KI-Modelle war,"},{"speaker":"Monina","startTime":87.73,"endTime":93.43,"body":"beziehungsweise ein Test, wo sie Modellen eine Aufgabe gestellt haben, die die l\u00f6sen sollten."},{"speaker":"Monina","startTime":93.599,"endTime":98.31,"body":"Und bei dem Test ist dieses Modell oder diese Kombination von mehreren Modellen,"},{"speaker":"Monina","startTime":98.31,"endTime":103.51,"body":"unter anderem ihrem aktuellsten GPT-5.6 Sol und ein in Anf\u00fchrungszeichen noch"},{"speaker":"Monina","startTime":103.51,"endTime":106.85,"body":"leistungsf\u00e4higeres Pre-Release-Model, das aber nicht bekannt genauer ist,"},{"speaker":"Monina","startTime":108.27,"endTime":110.73,"body":"Die haben diesen Angriff ausgef\u00fchrt, beziehungsweise diesen Test ausgef\u00fchrt,"},{"speaker":"Monina","startTime":110.73,"endTime":114.42,"body":"sind dabei ausgebrochen und haben dabei dann Hugging-Face angegriffen."},{"speaker":"Volker","startTime":115.2,"endTime":122.26,"body":"Ja, genau, dieser Test, das ist so ein Exploit-Gym, das angeblich irgendwie"},{"speaker":"Volker","startTime":122.26,"endTime":126.77,"body":"ein standardisierter Test ist f\u00fcr solche Modelle. Ich habe mal geguckt."},{"speaker":"Monina","startTime":126.77,"endTime":129.34,"body":"Das Paper haben wir verlinkt in den Shownotes."},{"speaker":"Volker","startTime":129.76,"endTime":134.65,"body":"Genau, das sind irgendwie 850 oder wie auch immer so \u00fcber den Daumen oder 869"},{"speaker":"Volker","startTime":134.65,"endTime":139.34,"body":"Real-World Vulnerabilities, die dann die KIs irgendwie finden m\u00fcssen."},{"speaker":"Volker","startTime":140.09,"endTime":145.34,"body":"Und GPT-5,6, Sol, also der Vorg\u00e4nger von diesem verbesserten Nachfolger,"},{"speaker":"Volker","startTime":145.639,"endTime":150.449,"body":"ist nat\u00fcrlich World-Class-Best-Leading und dementsprechend ist dieser Nachfolger,"},{"speaker":"Volker","startTime":152.25,"endTime":156.38,"body":"der diesen Angriff begangen hat, nat\u00fcrlich noch viel besser. Oder Monina?"},{"speaker":"Monina","startTime":157.04,"endTime":160.53,"body":"Ja, auf jeden Fall ist der laut den Aussagen, die wir hier haben."},{"speaker":"Monina","startTime":160.53,"endTime":165.61,"body":"Also wir haben hier die Aussagen von OpenAI, dass ihr Modell hier leider besser"},{"speaker":"Monina","startTime":165.61,"endTime":168.54,"body":"war als ihre eigenen Sicherheitsvorkehrungen, mit denen sie das Modell restricted"},{"speaker":"Monina","startTime":168.54,"endTime":171.48,"body":"haben, wobei sie es nat\u00fcrlich relativ offen haben laufen lassen,"},{"speaker":"Monina","startTime":171.48,"endTime":173.669,"body":"damit es auch diesen Test machen kann."},{"speaker":"Monina","startTime":174.31,"endTime":178.65,"body":"Dass das so gut war, dass es sowohl eine Zero-Day in ihrem Proxy gefunden hat,"},{"speaker":"Monina","startTime":178.65,"endTime":181.72,"body":"um auszubrechen, oder eine Verkettung von mehreren Schwachstellen,"},{"speaker":"Monina","startTime":181.72,"endTime":183.389,"body":"dabei eine Zero-Day, mit der sie nat\u00fcrlich auch,"},{"speaker":"Monina","startTime":183.93,"endTime":186.88,"body":"vertrauensvoll jetzt umgegangen sind und mit dem Hersteller schon dabei sind,"},{"speaker":"Monina","startTime":186.88,"endTime":192.15,"body":"das zu patchen, als auch dann mehrere Schwachstellen und Zugangsdaten von HackingFace"},{"speaker":"Monina","startTime":192.15,"endTime":196.68,"body":"gefunden hat und eine Kombination, also eine Attack-Chain durchgef\u00fchrt hat, um sich dann"},{"speaker":"Monina","startTime":197.08,"endTime":201.18,"body":"dort bei HackingFace die Informationen zu holen, wie es diesen Test m\u00f6glichst gut bestehen kann."},{"speaker":"Monina","startTime":202.08,"endTime":205.31,"body":"Also muss es ja noch besser sein als das Modell in dem Test,"},{"speaker":"Monina","startTime":205.96,"endTime":207.45,"body":"der da beschrieben ist in dem Paper."},{"speaker":"Volker","startTime":208.17,"endTime":212.71,"body":"Ja und wir hatten schon jetzt kurz in der Vorbesprechung eigentlich miteinander"},{"speaker":"Volker","startTime":212.71,"endTime":215.67,"body":"diskutiert, bringen wir hierzu eigentlich noch einen Podcast?"},{"speaker":"Volker","startTime":215.67,"endTime":219.7,"body":"Weil wir sind jetzt heute bei der Aufzeichnung am 25.07."},{"speaker":"Volker","startTime":220.18,"endTime":224.97,"body":"Und nat\u00fcrlich alle gro\u00dfen Medien, einschlie\u00dflich Primetime, Nachrichten,"},{"speaker":"Volker","startTime":224.97,"endTime":229.27,"body":"Sender haben sich da drauf gest\u00fcrzt. Also es gibt eigentlich nichts,"},{"speaker":"Volker","startTime":229.27,"endTime":230.49,"body":"was nicht schon gesagt wurde."},{"speaker":"Volker","startTime":230.81,"endTime":235.54,"body":"Und ja, einerseits, manchmal muss man halt im Strom mitschwimmen,"},{"speaker":"Volker","startTime":235.54,"endTime":238.53,"body":"um nicht zu zeigen, oh, wir haben das gar nicht gewusst, sondern ja,"},{"speaker":"Volker","startTime":238.53,"endTime":240.02,"body":"ja, wir haben auch was dazu gewusst."},{"speaker":"Volker","startTime":240.4,"endTime":244.8,"body":"Nur ganz ehrlich, es gibt keine neuen Informationen. Also wir k\u00f6nnen eigentlich"},{"speaker":"Volker","startTime":244.8,"endTime":251.33,"body":"gar nicht wirklich mehr zu dem Informationsfluss beitragen, au\u00dfer,"},{"speaker":"Volker","startTime":252.25,"endTime":256.26,"body":"dass wir eben in der Vorbereitung ziemlich gute Diskussionen eigentlich gestartet haben."},{"speaker":"Monina","startTime":257.08,"endTime":260.79,"body":"Also wir k\u00f6nnen jetzt gar nicht hundertprozentig sagen, stimmt das so,"},{"speaker":"Monina","startTime":260.79,"endTime":261.97,"body":"wie das beschrieben wurde oder nicht."},{"speaker":"Monina","startTime":262.37,"endTime":265.339,"body":"Das ist auf jeden Fall eine gute Werbung, kann aber, es ist durchaus vorstellbar,"},{"speaker":"Monina","startTime":265.339,"endTime":268.33,"body":"dass es stimmt. Aber die relativ relevante Frage, die daraus folgt,"},{"speaker":"Monina","startTime":268.33,"endTime":271.94,"body":"ist, was bedeutet das jetzt eigentlich f\u00fcr die IT-Sicherheits-Community?"},{"speaker":"Monina","startTime":272.36,"endTime":276.05,"body":"Hier in dem Fall haben wir ein Beispiel, wo nur noch KI gegen KI ank\u00e4mpft."},{"speaker":"Monina","startTime":276.05,"endTime":280.01,"body":"Also es ist eine KI als Angreifer und es ist eine KI, die das erkannt hat."},{"speaker":"Monina","startTime":280.49,"endTime":283.92,"body":"Und eine KI, die dann hilft, die Forensik zu machen, weil ein Mensch hier gar nicht mehr mith\u00e4lt."},{"speaker":"Monina","startTime":285.149,"endTime":288.3,"body":"Wir sehen das jetzt im Alltag, wenn eine Schwachstelle announced wird,"},{"speaker":"Monina","startTime":288.52,"endTime":292.71,"body":"wir haben eigentlich mittlerweile diese Zeit bis zum POC in Minuten."},{"speaker":"Monina","startTime":293.17,"endTime":296.81,"body":"Also Schwachstelle wird announced, irgendeine KI wei\u00df dann mit den Informationen,"},{"speaker":"Monina","startTime":296.81,"endTime":301.02,"body":"die vorhanden sind, oder findet damit raus, wie ein POC zu schreiben ist."},{"speaker":"Monina","startTime":301.55,"endTime":305.76,"body":"Und sofort ist diese Schwachstelle f\u00fcr ganz viele Leute, die m\u00f6glichst viel"},{"speaker":"Monina","startTime":305.76,"endTime":309.45,"body":"oder wenig Ahnung haben k\u00f6nnen von dieser Schwachstelle, benutzbar."},{"speaker":"Monina","startTime":310.25,"endTime":314.38,"body":"Das ver\u00e4ndert die IT-Security-Community. Man kann es sich jetzt nicht mehr leisten,"},{"speaker":"Monina","startTime":314.38,"endTime":315.899,"body":"hier irgendwie zu warten."},{"speaker":"Monina","startTime":315.899,"endTime":319.96,"body":"Man muss sofort eigentlich auch mit demselben Mittel am besten schon vorher"},{"speaker":"Monina","startTime":319.96,"endTime":324.3,"body":"wissen, dass man eine Schwachstelle hat, um entweder zu patchen oder eine Ma\u00dfnahme"},{"speaker":"Monina","startTime":324.3,"endTime":326.95,"body":"zu etablieren, die da auf jeden Fall schon mal dagegen stehen kann."},{"speaker":"Volker","startTime":327.63,"endTime":333.19,"body":"Ja, und da bin ich halt so ein bisschen auch als Wissenschaftler hin- und hergerissen."},{"speaker":"Volker","startTime":333.67,"endTime":337.83,"body":"Denn, also gerade was, ich bleibe jetzt noch bei diesem Vorfall."},{"speaker":"Volker","startTime":338.37,"endTime":340.51,"body":"Es liegen ja keine Nachweise vor."},{"speaker":"Volker","startTime":341.07,"endTime":343.86,"body":"Also eine Firma wurde angegriffen,"},{"speaker":"Volker","startTime":344.81,"endTime":350.32,"body":"Und diese Firma hat aber nach eigenen Angaben den Angriff mithilfe ihrer eigenen"},{"speaker":"Volker","startTime":350.32,"endTime":357.16,"body":"KI-Modelle oder kooperierenden Modelle und Agenten unmittelbar erkennen und eind\u00e4mmen k\u00f6nnen."},{"speaker":"Volker","startTime":357.43,"endTime":363.06,"body":"Das ist nat\u00fcrlich eine coole Firma, die coole Modelle und coole Agenten der Community anbietet."},{"speaker":"Monina","startTime":363.99,"endTime":366.56,"body":"Moment, man muss dazu sagen, also Huggin-Face, die es erkannt haben,"},{"speaker":"Monina","startTime":366.56,"endTime":369.95,"body":"haben auch noch in ihrem Bericht geschrieben, dass sie ein Open-Source-Modell"},{"speaker":"Monina","startTime":369.95,"endTime":374.66,"body":"daf\u00fcr verwendet haben, das aufzuarbeiten oder zu erkennen. Was auch interessant ist."},{"speaker":"Monina","startTime":375.17,"endTime":377.339,"body":"Also sie machen nicht direkt Werbung f\u00fcr ein eigenes Modell,"},{"speaker":"Monina","startTime":377.339,"endTime":380.77,"body":"aber es ist trotzdem was, was in ihrem Sinne ist als Kommunikation."},{"speaker":"Volker","startTime":380.9,"endTime":386.06,"body":"Genau. Also sie sagen, sie sind in der Lage, mithilfe von KI,"},{"speaker":"Volker","startTime":386.58,"endTime":390.1,"body":"in Klammern als KI-Modell- und Datenanbieter oder Provider,"},{"speaker":"Volker","startTime":391.04,"endTime":396.44,"body":"sind sie in der Lage, KI-basierte Angriffe sehr, sehr schnell zu erkennen und auch einzud\u00e4mmen."},{"speaker":"Volker","startTime":397.22,"endTime":402.44,"body":"Die andere Seite ist halt OpenAI, die sagen,"},{"speaker":"Volker","startTime":402.94,"endTime":407.01,"body":"hey, wir haben ein kleines geheimes Modell, das ist noch besser als das Modell,"},{"speaker":"Volker","startTime":407.45,"endTime":414.85,"body":"das hier schon publiziert ist und das war so gef\u00e4hrlich, das hat einen quasi"},{"speaker":"Volker","startTime":415.01,"endTime":416.96,"body":"Kunden von uns angegriffen,"},{"speaker":"Volker","startTime":418,"endTime":421.49,"body":"aber zum Gl\u00fcck konnte er es nat\u00fcrlich dann ganz schnell einstellen und eind\u00e4mmen"},{"speaker":"Volker","startTime":421.49,"endTime":422.63,"body":"und erkennen und sonst was."},{"speaker":"Volker","startTime":423.38,"endTime":428.24,"body":"Und was mir halt fehlt, ist dieses Peer-Reviewed. Das ist irgendetwas,"},{"speaker":"Volker","startTime":428.24,"endTime":433.37,"body":"irgendein Indikator, der \u00fcberhaupt beweist, wie schwer dieser Angriff war,"},{"speaker":"Volker","startTime":433.73,"endTime":435.3,"body":"wie schlimm dieser Angriff war,"},{"speaker":"Volker","startTime":436.05,"endTime":439.68,"body":"und ob da m\u00f6glicherweise an manchen Stellen doch, sagen wir mal,"},{"speaker":"Volker","startTime":439.93,"endTime":443.93,"body":"marketingf\u00e4hige \u00dcbersteigerungen drin waren."},{"speaker":"Volker","startTime":444.91,"endTime":447.36,"body":"Manche Leute w\u00fcrden auch brutal sagen, irgendwer hat gelogen."},{"speaker":"Volker","startTime":447.58,"endTime":453.3,"body":"Aber man muss ja auch nicht immer alles nur komplett erz\u00e4hlen und so erz\u00e4hlen,"},{"speaker":"Volker","startTime":453.3,"endTime":457.75,"body":"dass andere das komplett verstehen k\u00f6nnen, wenn es im eigenen Sinne ist. Und das fehlt mir hier."},{"speaker":"Monina","startTime":458.17,"endTime":462.18,"body":"Es w\u00fcrde ja reichen zu wissen zum Beispiel auch schon, ob das KI-Modell wirklich"},{"speaker":"Monina","startTime":462.18,"endTime":466.4,"body":"nur den Auftrag hatte, diesen Test zu l\u00f6sen. Oder war das vielleicht sogar im"},{"speaker":"Monina","startTime":466.4,"endTime":471.69,"body":"Hintergedanken, dass dieses KI-Modell Hugging-Face medienwirksam angreift. Das sind lauter Fragen."},{"speaker":"Monina","startTime":472.09,"endTime":474.3,"body":"Ich w\u00fcrde nicht behaupten, dass man \u00fcber irgendwas die Aussage treffen kann,"},{"speaker":"Monina","startTime":474.3,"endTime":476.85,"body":"dass es so oder anders ist, aber es sind Gedanken, die man sich auf jeden Fall"},{"speaker":"Monina","startTime":476.85,"endTime":481.07,"body":"machen kann, wenn man diese ganze Geschichte h\u00f6rt, die schon sehr musterbeispielhaft klingt."},{"speaker":"Volker","startTime":481.07,"endTime":484.99,"body":"Du bist ja aktive Sicherheitsforscherin. Ich sage mal, ich bin ja nur irgendwie"},{"speaker":"Volker","startTime":484.99,"endTime":488.41,"body":"im akademischen Kontext unterwegs, auch in anderen Kontexten,"},{"speaker":"Volker","startTime":488.41,"endTime":490.5,"body":"aber halt in keiner Stelle so aktiv wie du."},{"speaker":"Volker","startTime":491.17,"endTime":498.14,"body":"Und wenn du von einem aggressiven System nicht wei\u00dft, wie aggressiv es ist,"},{"speaker":"Volker","startTime":498.79,"endTime":503.09,"body":"w\u00fcrdest du es, ich stelle mal so vier, f\u00fcnf Testfragen, w\u00fcrdest du es in einer"},{"speaker":"Volker","startTime":503.09,"endTime":505.95,"body":"virtuellen Maschine auf einem Produktionsrechner laufen lassen?"},{"speaker":"Volker","startTime":506.43,"endTime":511.26,"body":"W\u00fcrdest du diesen nicht-virtuellen Maschinen auf einem Nicht-Produktionsrechner"},{"speaker":"Volker","startTime":511.26,"endTime":516.19,"body":"irgendwelche Rechte in deinem System geben, geschweige denn an einem Netzwerk anbinden?"},{"speaker":"Volker","startTime":517.44,"endTime":522.07,"body":"So, einfach mal so ein paar einfache Fragen gestellt an eine aktive Forscherin."},{"speaker":"Monina","startTime":522.11,"endTime":526.15,"body":"Also man k\u00f6nnte tats\u00e4chlich die Testumgebung hier stark infrage stellen,"},{"speaker":"Monina","startTime":526.15,"endTime":527.179,"body":"die die aufgesetzt haben."},{"speaker":"Monina","startTime":527.36,"endTime":530.65,"body":"Dass man mittlerweile KI-Modelle hat, die so komplex sind, dass man sagt,"},{"speaker":"Monina","startTime":530.65,"endTime":533.429,"body":"okay, vielleicht brauchen die einen Internetzugang."},{"speaker":"Monina","startTime":533.87,"endTime":538.76,"body":"Das okay, kann ich mir irgendwo vorstellen. Und die hatten ja anscheinend Sicherheitsvorkehrungen,"},{"speaker":"Monina","startTime":538.76,"endTime":541.75,"body":"die die KI ausgehebelt hat, aber das scheint mir trotzdem entweder ein relativ,"},{"speaker":"Monina","startTime":542.29,"endTime":546.22,"body":"undurchdachtes Labor gewesen zu sein oder es war Vorsatz dabei."},{"speaker":"Monina","startTime":546.97,"endTime":548.85,"body":"Also ich kann mir nicht vorstellen, dass ich dann in so einem Fall,"},{"speaker":"Monina","startTime":548.85,"endTime":552.799,"body":"wenn ich so ein Modell da laufen lasse, nicht wenigstens monitore, was das tut."},{"speaker":"Monina","startTime":552.799,"endTime":556.799,"body":"Also es m\u00fcsste mir doch zumindest auffallen, wenn es anf\u00e4ngt am Markt zu laufen,"},{"speaker":"Monina","startTime":557.16,"endTime":560.54,"body":"was es da gerade anstellt. Also ich m\u00fcsste dann sehen, oh, das hat pl\u00f6tzlich"},{"speaker":"Monina","startTime":560.54,"endTime":563.5,"body":"sehr viel Internet-Traffic, den das verursacht. Was wird da wohl passieren?"},{"speaker":"Volker","startTime":564.299,"endTime":568.37,"body":"Mein eigenes Intrusion Detection System m\u00fcsste ja schon anschlagen und sagen,"},{"speaker":"Volker","startTime":568.37,"endTime":573.7,"body":"da sind, keine Ahnung, pl\u00f6tzlich 10.000 Internetzugriffe pro Sekunde von einem"},{"speaker":"Volker","startTime":573.7,"endTime":578.19,"body":"und demselben Rechner auf verschiedene, keine Ahnung, Sandboxes, die es dann aufmacht."},{"speaker":"Volker","startTime":578.19,"endTime":584.49,"body":"Und also da hat ja Command & Control Center aufgebaut in Sandboxes und zwar"},{"speaker":"Volker","startTime":584.87,"endTime":589.39,"body":"in permanent st\u00e4ndig wechselnden Sandboxes. Das f\u00e4llt doch mal in einem eigenen IDS auf."},{"speaker":"Monina","startTime":589.809,"endTime":592.92,"body":"Also ich denke auch, wenn einem das nicht auff\u00e4llt, dann hat man einfach schlechtweg,"},{"speaker":"Monina","startTime":593.66,"endTime":595.95,"body":"nicht die Absicht gehabt, das Ganze zu beobachten."},{"speaker":"Volker","startTime":596.799,"endTime":600.25,"body":"Ja, genau. Also man hat es billigend in Kauf genommen. So was hei\u00dft,"},{"speaker":"Volker","startTime":600.25,"endTime":603.39,"body":"glaube ich, grob fahrl\u00e4ssig, oder? Also grenzt an Vorsatz."},{"speaker":"Volker","startTime":604.32,"endTime":608.67,"body":"Ja, und das ist eigentlich das, muss ich sagen, so toll die Geschichte ist."},{"speaker":"Volker","startTime":608.96,"endTime":614.32,"body":"Und Monina, ich stimme dir zu, mit Hilfe von KI-Modellen, die f\u00fcr mich immer"},{"speaker":"Volker","startTime":614.32,"endTime":618.429,"body":"noch in dem Bereich der Big-Data-Analyse, also der Strukturierung von Big-Data"},{"speaker":"Volker","startTime":618.63,"endTime":623.04,"body":"geh\u00f6ren. Das sind einfach algorithmische Modelle zur Strukturgebung von Big-Data."},{"speaker":"Volker","startTime":623.65,"endTime":628.11,"body":"Nat\u00fcrlich, die werden sch\u00f6ner, schneller, besser und sie k\u00f6nnen damit mehr Daten"},{"speaker":"Volker","startTime":628.11,"endTime":630.24,"body":"strukturierter aufarbeiten."},{"speaker":"Volker","startTime":630.549,"endTime":636.09,"body":"Und damit finden sie nat\u00fcrlich schneller Zero Days, als es Menschen sind,"},{"speaker":"Volker","startTime":636.09,"endTime":637.15,"body":"die sowas per Hand machen."},{"speaker":"Volker","startTime":638.97,"endTime":643.16,"body":"Ja, jetzt haben wir den ganzen Kram irgendwie wieder total entzaubert."},{"speaker":"Volker","startTime":643.66,"endTime":647.75,"body":"Also da ist jetzt eigentlich nichts \u00dcberraschendes dabei, was passiert ist,"},{"speaker":"Volker","startTime":647.75,"endTime":650.58,"body":"au\u00dfer die Pressemitteilung, die rausgegeben wurde."},{"speaker":"Monina","startTime":650.58,"endTime":653.83,"body":"Ich w\u00fcrde sagen, tats\u00e4chlich \u00fcberraschend ist es nicht, aber es ist trotzdem,"},{"speaker":"Monina","startTime":654.15,"endTime":656.37,"body":"egal ob es jetzt stimmt oder nicht, eine wundersch\u00f6ne Geschichte,"},{"speaker":"Monina","startTime":656.37,"endTime":660.53,"body":"wie gef\u00e4hrlich tats\u00e4chlich doch KI aber ist und wie ernst wir das nehmen m\u00fcssen,"},{"speaker":"Monina","startTime":660.53,"endTime":661.52,"body":"auch in der Sicherheitsbranche."},{"speaker":"Monina","startTime":662.07,"endTime":665.179,"body":"Die ganzen Schwachstellen, die aktuell gefunden werden. Gut,"},{"speaker":"Monina","startTime":665.179,"endTime":667.74,"body":"es gibt einen Haufen Unternehmen, die sich beschweren sich dar\u00fcber,"},{"speaker":"Monina","startTime":667.74,"endTime":671.46,"body":"dass sie ganz viele Schwachstellenmeldungen bekommen, bei denen einige nicht stimmen."},{"speaker":"Monina","startTime":672.09,"endTime":675.48,"body":"Nichtsdestotrotz gibt es wahnsinnig viel KI-Modelle, die losgelassen werden"},{"speaker":"Monina","startTime":675.48,"endTime":677.82,"body":"und auch viele Schwachstellen finden, auch legitime Schwachstellen."},{"speaker":"Monina","startTime":678.14,"endTime":681.78,"body":"Und es wird bis zu dem Punkt, wo wir irgendwann mal ein Gro\u00dfteil der Schwachstellen,"},{"speaker":"Monina","startTime":682.299,"endTime":686.61,"body":"gepatcht haben, jetzt steigend die Zahl auf uns einprasselt von Schwachstellen,"},{"speaker":"Monina","startTime":686.61,"endTime":688.51,"body":"die gefunden werden, die vielleicht auch schon lange schlummern,"},{"speaker":"Monina","startTime":688.79,"endTime":691.33,"body":"und f\u00fcr die es dann vermutlich auch immer sofort ein POC gibt."},{"speaker":"Monina","startTime":691.72,"endTime":695.97,"body":"Und mit dem aktuellen Patchfenster, das ich jetzt kenne von verschiedenen Herstellern,"},{"speaker":"Monina","startTime":695.97,"endTime":700.299,"body":"von verschiedenen Unternehmen, ist man einfach zu langsam."},{"speaker":"Monina","startTime":700.299,"endTime":704.61,"body":"Also wenn man zwei, drei Tage braucht, wenn am Samstag eine Schwachstellenwarnung"},{"speaker":"Monina","startTime":704.61,"endTime":707.559,"body":"rauskommt und man am Montag patcht, dann kann man sich sicher sein,"},{"speaker":"Monina","startTime":707.559,"endTime":709.89,"body":"dass man da schon mehrere Angreifer drauf hat auf dem System."},{"speaker":"Monina","startTime":710.76,"endTime":714.32,"body":"Eigentlich kann man jetzt als Sicherheitsforscher nur noch wirklich auf solche"},{"speaker":"Monina","startTime":714.53,"endTime":717.76,"body":"Bedrohungen reagieren, wenn man sagt, man hat da auch irgendwie ein System,"},{"speaker":"Monina","startTime":717.76,"endTime":720.54,"body":"was automatisch rund um die Uhr dagegen arbeitet."},{"speaker":"Monina","startTime":720.54,"endTime":722.4,"body":"Entweder, indem man die Schwachstellen selber schneller findet,"},{"speaker":"Monina","startTime":722.76,"endTime":726.179,"body":"mit der, sagen wir mal, es gibt ein KI-Modell, das Schwachstellen erkennt."},{"speaker":"Monina","startTime":726.38,"endTime":728.74,"body":"Man l\u00e4sst das also die ganze Zeit gegen seine eigenen Sachen laufen,"},{"speaker":"Monina","startTime":729.13,"endTime":731.84,"body":"um Schwachstellen schneller zu erkennen. Das w\u00e4re eine M\u00f6glichkeit."},{"speaker":"Monina","startTime":732.559,"endTime":736.19,"body":"Oder man hat irgendwie ein Modell, was extrem gut in der Angriffserkennung tats\u00e4chlich"},{"speaker":"Monina","startTime":736.19,"endTime":739.35,"body":"ist und hat auch die Infrastruktur, dass das Modell die Daten bekommt,"},{"speaker":"Monina","startTime":739.35,"endTime":742.559,"body":"die es braucht, um diese Angriffserkennung zu machen, um was dagegen zu tun."},{"speaker":"Monina","startTime":743.46,"endTime":746.9,"body":"Aber nichtsdestotrotz ist das dann eine ganz sch\u00f6ne Materialschlacht, auf die wir dazu laufen."},{"speaker":"Volker","startTime":747.059,"endTime":751.14,"body":"Ja, das ist ja eigentlich das Thema, das wir gerade so als letzte Sonderausgabe"},{"speaker":"Volker","startTime":751.14,"endTime":752.679,"body":"oder Zwischenausgabe gebracht haben,"},{"speaker":"Volker","startTime":754.7,"endTime":759.28,"body":"mit Responsible Disclosure. Und wenn wir jetzt Gefahr laufen,"},{"speaker":"Volker","startTime":759.7,"endTime":764.41,"body":"dass m\u00f6glicherweise KI-Modelle Informationen leaken,"},{"speaker":"Volker","startTime":764.92,"endTime":769.4,"body":"vielleicht auch nur, sagen wir mal, weil sie eigentlich Logdateien schreiben"},{"speaker":"Volker","startTime":769.72,"endTime":770.83,"body":"und eigentlich schreiben sie"},{"speaker":"Volker","startTime":770.83,"endTime":775.35,"body":"Logdateien f\u00fcr Leute, die sie sogar lesen sollen, n\u00e4mlich die Pentester."},{"speaker":"Volker","startTime":775.91,"endTime":780.08,"body":"Versehentlich haben sie aber diese Log-Dateien auf einen falschen Server geschrieben,"},{"speaker":"Volker","startTime":780.08,"endTime":784.51,"body":"weil sie haben halt ein bisschen hinhalluziniert und jetzt ist halt so eine"},{"speaker":"Volker","startTime":784.51,"endTime":789.78,"body":"Log-Datei mal auf GitHub irgendwie aufgetaucht und das Ganze auf Public gestellt."},{"speaker":"Volker","startTime":789.92,"endTime":792.36,"body":"Kann ja im Rahmen einer Halluzination passieren."},{"speaker":"Volker","startTime":793.28,"endTime":799.1,"body":"Das ist ja eigentlich das, was du meinst, dass pl\u00f6tzlich Schwachstellen sogar"},{"speaker":"Volker","startTime":799.1,"endTime":803.14,"body":"legitim durch KI-Modelle gefunden werden, aber bl\u00f6d publiziert werden."},{"speaker":"Monina","startTime":803.14,"endTime":805.94,"body":"Was ich eigentlich meinte, wir haben ja jetzt Modelle, die sind relativ gut"},{"speaker":"Monina","startTime":805.94,"endTime":809.31,"body":"darin, Schwachstellen zu erkennen. Sei es jetzt in Code oder auch einfach als"},{"speaker":"Monina","startTime":809.31,"endTime":812.09,"body":"Blackbox-Test auf irgendwas, eine Web-Anwendung, was auch immer."},{"speaker":"Monina","startTime":812.48,"endTime":814.48,"body":"Web-Anwendung ist immer so ein plastisches Beispiel."},{"speaker":"Monina","startTime":815.12,"endTime":818.95,"body":"Dann laufen die dagegen, finden neue Schwachstellen. Das sind ja teilweise Modelle,"},{"speaker":"Monina","startTime":818.95,"endTime":821.12,"body":"zu denen viele Leute Zugang haben. Ja."},{"speaker":"Monina","startTime":821.77,"endTime":824.83,"body":"Das hei\u00dft, man kann davon ausgehen, dass viele Leute auf einmal dann pl\u00f6tzlich"},{"speaker":"Monina","startTime":824.83,"endTime":826.7,"body":"die M\u00f6glichkeit haben, diese Schwachstellen zu entdecken. Das hei\u00dft,"},{"speaker":"Monina","startTime":826.7,"endTime":829.19,"body":"man will selber, wenn man sowas betreibt, entweder schneller sein oder muss"},{"speaker":"Monina","startTime":829.19,"endTime":832.47,"body":"wirklich hoffen, dass nur eine Person das Modell so hat laufen lassen,"},{"speaker":"Monina","startTime":832.47,"endTime":836.71,"body":"dass die Schwachstelle gefunden wurde und der Patch kommt, bevor alle Angreifer das auch haben."},{"speaker":"Monina","startTime":836.98,"endTime":840.79,"body":"Und das ist ein sehr schlechtes Gl\u00fccksspiel, was man da spielt."},{"speaker":"Volker","startTime":840.79,"endTime":846.97,"body":"Also m\u00fcsste eigentlich die moderne IT-Security nicht nur Pentesting als Handwerk"},{"speaker":"Volker","startTime":847.27,"endTime":853.06,"body":"lehren, sondern auch KI-gest\u00fctztes Pentesting, um einfach Durchsatz hinzukriegen."},{"speaker":"Monina","startTime":853.32,"endTime":853.47,"body":"Ja."},{"speaker":"Volker","startTime":854.59,"endTime":858.84,"body":"Gut, eine KI hat jetzt m\u00f6glicherweise weniger Intuition."},{"speaker":"Volker","startTime":858.84,"endTime":861.28,"body":"Die kann man jetzt vielleicht auch schon ein bisschen kontextabh\u00e4ngig machen."},{"speaker":"Volker","startTime":861.28,"endTime":866.72,"body":"Aber ich sage mal so, dieses reine Intuitive, da war schon viel und da wird"},{"speaker":"Volker","startTime":866.72,"endTime":869.49,"body":"man auch noch irgendwas finden, das hat eine KI vielleicht nicht."},{"speaker":"Volker","startTime":869.49,"endTime":871.25,"body":"Daf\u00fcr hat die halt verdammt viel Speed."},{"speaker":"Volker","startTime":871.52,"endTime":876.59,"body":"Die braucht keine Intuition, weil sie einfach in der Zeit 10.000 Versuche durchf\u00e4hrt,"},{"speaker":"Volker","startTime":876.59,"endTime":879.01,"body":"in der du deine eine Intuition noch nicht mal ausprobiert hast."},{"speaker":"Monina","startTime":879.01,"endTime":881.67,"body":"Ich habe da tats\u00e4chlich was sehr Interessantes zum Thema Threathanding geh\u00f6rt."},{"speaker":"Monina","startTime":881.67,"endTime":884.66,"body":"Das kann man auf verschiedene Arten interpretieren, aber auch,"},{"speaker":"Monina","startTime":884.66,"endTime":887.45,"body":"dass ich nach Schwachstellen oder Gefahren suche, die ausgenutzt werden k\u00f6nnen"},{"speaker":"Monina","startTime":887.45,"endTime":890.35,"body":"und danach nach irgendwelchen Blindspots, nach irgendwelchen Bedrohungen,"},{"speaker":"Monina","startTime":890.35,"endTime":892.05,"body":"die schon da sind, die ich bisher noch nicht erkannt habe."},{"speaker":"Monina","startTime":892.9,"endTime":896.65,"body":"Und da war bisher ja auch, es ist ein bisschen \u00e4hnlich zum Schwachstellen finden."},{"speaker":"Monina","startTime":897.15,"endTime":901.95,"body":"Die KI kann relativ viel auf einmal machen und deswegen vielleicht auch viel finden."},{"speaker":"Monina","startTime":902.4,"endTime":906.18,"body":"Aber es braucht meiner Meinung nach auch immer noch jemanden,"},{"speaker":"Monina","startTime":906.18,"endTime":908.97,"body":"der diese Kreativit\u00e4t, von der du gerade gesprochen hast, mitbringt,"},{"speaker":"Monina","startTime":909.42,"endTime":913.75,"body":"um die KI \u00fcberhaupt erst sozusagen in diese Richtung loszuschicken oder zumindest"},{"speaker":"Monina","startTime":913.75,"endTime":916.39,"body":"ihr zu sagen, wie sie was suchen soll, um das zu finden."},{"speaker":"Monina","startTime":916.39,"endTime":921.37,"body":"Also ich denke, dass im IT-Sicherheitsfeld das Zusammenspiel brauchen wird zwischen,"},{"speaker":"Monina","startTime":921.89,"endTime":923.8,"body":"Leuten, die wissen, was sie tun und das verstehen,"},{"speaker":"Monina","startTime":924.43,"endTime":927.45,"body":"und auch verstehen, wie die KI funktioniert, mit der sie umgehen und eine KI,"},{"speaker":"Monina","startTime":927.45,"endTime":930.4,"body":"die dann auf das Ganze losgelassen wird und dann auch wieder jemand,"},{"speaker":"Monina","startTime":930.4,"endTime":933.35,"body":"der dann interpretieren kann, was die KI zur\u00fcckgibt und bewerten kann,"},{"speaker":"Monina","startTime":933.69,"endTime":935.64,"body":"wie gef\u00e4hrlich das ist und was man da immer jetzt tut."},{"speaker":"Volker","startTime":935.94,"endTime":943.67,"body":"Jetzt ist nat\u00fcrlich die Frage auch wieder, ja, so ein bisschen auch, naja, Verantwortung."},{"speaker":"Volker","startTime":944.84,"endTime":950.37,"body":"Ich sag mal, eine Firma ist zumindest erstmal daf\u00fcr verantwortlich f\u00fcr den Code, den sie publiziert."},{"speaker":"Volker","startTime":950.94,"endTime":955.01,"body":"Jetzt w\u00e4re es aber tats\u00e4chlich eine spannende Frage, wenn nicht OpenAI dieses"},{"speaker":"Volker","startTime":955.01,"endTime":959.78,"body":"Modell eingesetzt h\u00e4tte, sondern ein Kunde h\u00e4tte dieses Modell eingesetzt und h\u00e4tte halt,"},{"speaker":"Volker","startTime":960.23,"endTime":966.22,"body":"seine eigene Infrastruktur m\u00f6glicherweise pentesten wollen mit dem Chat-GPT-Modell."},{"speaker":"Volker","startTime":967.17,"endTime":972.15,"body":"Und f\u00e4hrt jetzt allerdings, weil m\u00f6glicherweise eine Kundensoftware geschrieben"},{"speaker":"Volker","startTime":972.15,"endTime":979.36,"body":"hat und dieses System findet die URL der Kunden und geht auf die Kundenrechner,"},{"speaker":"Volker","startTime":979.36,"endTime":981.16,"body":"also wirklich die Fremdfirma,"},{"speaker":"Volker","startTime":981.86,"endTime":986.36,"body":"und bricht da ein, weil es hofft, da Daten zu finden, um besser die Software,"},{"speaker":"Volker","startTime":986.36,"endTime":988.55,"body":"die du f\u00fcr die Kunden geschrieben hast, hacken zu k\u00f6nnen."},{"speaker":"Volker","startTime":989.01,"endTime":992.4,"body":"Also so wie eigentlich ein Hacker vorgehen w\u00fcrde, weil der w\u00fcrde ja nicht sagen,"},{"speaker":"Volker","startTime":993.24,"endTime":999.54,"body":"du hast eine Software f\u00fcr die XYZ-GmbH geschrieben, sondern die XYZ-GmbH setzt eine Software ein."},{"speaker":"Volker","startTime":999.54,"endTime":1003.22,"body":"Also versuche ich mal \u00fcber Osint oder sonst was alle Informationen zu kriegen,"},{"speaker":"Volker","startTime":1003.22,"endTime":1007.2,"body":"insbesondere durch die Firma, wie diese Software vulnerable sein k\u00f6nnte."},{"speaker":"Volker","startTime":1007.99,"endTime":1013.59,"body":"Und so, jetzt bricht also das OpenAI-Modell, das ja durch die eigentlich gehostet"},{"speaker":"Volker","startTime":1013.59,"endTime":1017.92,"body":"wird, in deinem Auftrag, den du eigentlich f\u00fcr deine eigene Infrastruktur gegeben"},{"speaker":"Volker","startTime":1017.92,"endTime":1019.92,"body":"hast, bei einem dritten Kunden ein."},{"speaker":"Volker","startTime":1020.53,"endTime":1025.849,"body":"Ich glaube, das ist ein Fall, da kann man bestimmt einige juristische Promotionen mit verarbeiten."},{"speaker":"Monina","startTime":1026.57,"endTime":1030.74,"body":"Ja, ich bef\u00fcrchte, das sind Fragen, die wir wahrscheinlich im n\u00e4chsten Jahr,"},{"speaker":"Monina","startTime":1031.52,"endTime":1034.95,"body":"mal doch gelegentlich haben werden und die irgendwann gekl\u00e4rt werden m\u00fcssen."},{"speaker":"Monina","startTime":1034.95,"endTime":1037.81,"body":"Aber ich bin sehr gespannt, was es f\u00fcr Pr\u00e4zedenzf\u00e4lle gibt und wie unterschiedlich"},{"speaker":"Monina","startTime":1037.81,"endTime":1039.52,"body":"da in verschiedenen L\u00e4ndern entschieden werden wird."},{"speaker":"Monina","startTime":1039.849,"endTime":1042.21,"body":"Weil das Ganze h\u00e4lt sich ja auch an keine L\u00e4ndergrenze."},{"speaker":"Volker","startTime":1042.92,"endTime":1048.24,"body":"Oh ja, genau. Ein amerikanisches Modell bricht in Russland ein,"},{"speaker":"Volker","startTime":1048.24,"endTime":1051.04,"body":"die gerade f\u00fcr einen chinesischen Kunden eine Software schreiben."},{"speaker":"Volker","startTime":1051.859,"endTime":1057.609,"body":"Das hat Weltkriegsoptionen, die wir hier gerade spinnen. Naja,"},{"speaker":"Volker","startTime":1058.05,"endTime":1060.77,"body":"vielleicht hat ja der ein oder andere Jurist, der uns irgendwie zuh\u00f6rt,"},{"speaker":"Volker","startTime":1060.77,"endTime":1065.78,"body":"mal Lust, uns dazu einen Kommentar zu schreiben, ob es da die einfache L\u00f6sung gibt."},{"speaker":"Volker","startTime":1066.24,"endTime":1069.66,"body":"Lassen wir es erstmal in L\u00e4nder grenzen und sagen, vielleicht in Deutschland"},{"speaker":"Volker","startTime":1069.66,"endTime":1073.63,"body":"passiert das, damit man vielleicht auch so relativ klar \u00fcberschaubaren Rechtsrahmen"},{"speaker":"Volker","startTime":1073.63,"endTime":1076,"body":"hat. W\u00fcrde mich schon echt interessieren."},{"speaker":"Volker","startTime":1076.68,"endTime":1082.4,"body":"Ja, was hei\u00dft das dann auch ethisch? Also wird eine KI jetzt doch autonom?"},{"speaker":"Monina","startTime":1083.72,"endTime":1086.42,"body":"Ich glaube, das h\u00e4ngt sehr stark davon ab, wie man es definiert."},{"speaker":"Monina","startTime":1086.42,"endTime":1088.21,"body":"Ich w\u00fcrde es nicht als autonom bezeichnen."},{"speaker":"Monina","startTime":1088.21,"endTime":1091.599,"body":"Es ist immer noch an gewisse Rahmen gebunden, wobei, wenn man es sich hier anschaut"},{"speaker":"Monina","startTime":1091.599,"endTime":1095.44,"body":"und das Beispiel nimmt von dem Fall, auf den wir uns hier beziehen,"},{"speaker":"Monina","startTime":1095.44,"endTime":1100.119,"body":"da hat sich die KI ja schon ganz sch\u00f6n \u00fcber die Grenzen rausgestreckt, f\u00fcr die sie gedacht war."},{"speaker":"Monina","startTime":1100.359,"endTime":1104.109,"body":"Ob das dann schon an das, was wir so als Horrorszenarien \u00fcber b\u00f6se KI,"},{"speaker":"Monina","startTime":1104.109,"endTime":1107.44,"body":"die sich irgendwann verselbstst\u00e4ndigt, ob das so schon funktionieren kann."},{"speaker":"Monina","startTime":1107.83,"endTime":1111.73,"body":"Sagen wir mal, das r\u00fcckt n\u00e4her, die Vorstellung. Sie wird langsam vorstellbarer."},{"speaker":"Volker","startTime":1112.32,"endTime":1114.55,"body":"Also ich finde es insofern interessant,"},{"speaker":"Volker","startTime":1115.39,"endTime":1119.57,"body":"in meiner Software-Engineering-Vorlesung bringe ich immer den,"},{"speaker":"Volker","startTime":1120.2,"endTime":1124.45,"body":"das gab vom Europ\u00e4ischen Parlament irgendwie 2016, 2019 so in dem Dreh,"},{"speaker":"Volker","startTime":1124.76,"endTime":1130.43,"body":"eine Motion, also ein Befassungsverfahren \u00fcber Autonomous Robots."},{"speaker":"Volker","startTime":1131.07,"endTime":1136.96,"body":"Das hei\u00dft also quasi so Asimovs Law und alles sowas. Ein Roboter darf keinen"},{"speaker":"Volker","startTime":1136.96,"endTime":1141.16,"body":"Menschen sch\u00e4digen, ein Roboter darf nur im Auftrag eines Menschen handeln und so weiter."},{"speaker":"Volker","startTime":1143.67,"endTime":1146.99,"body":"Darf nur zu friedlichen Zwecken eingesetzt werden, mit hin zu ethischen Fragen."},{"speaker":"Volker","startTime":1146.99,"endTime":1149.82,"body":"Naja, was w\u00e4re denn, wenn die Menschheit sich selbst zerst\u00f6rt?"},{"speaker":"Volker","startTime":1149.82,"endTime":1152.19,"body":"W\u00e4re dann der friedliche Zweck, die Menschheit zu zerst\u00f6ren,"},{"speaker":"Volker","startTime":1152.19,"endTime":1153.64,"body":"um die Menschen vor sich selbst zu sch\u00fctzen?"},{"speaker":"Volker","startTime":1153.95,"endTime":1156.46,"body":"So, das ist dann schon wieder nachher eine philosophische Frage."},{"speaker":"Volker","startTime":1156.46,"endTime":1160.05,"body":"Aber die wurde, glaube ich, nicht in dieser Motion gekl\u00e4rt."},{"speaker":"Volker","startTime":1160.59,"endTime":1164.72,"body":"Aber es gab eigentlich ein, ich glaube, das war ein dreij\u00e4hriges Befassungsverfahren,"},{"speaker":"Volker","startTime":1165.29,"endTime":1169.4,"body":"mit allen m\u00f6glichen Direktoraten, also quasi vergleichsweise Ministerien,"},{"speaker":"Volker","startTime":1169.4,"endTime":1172.67,"body":"die da einbezogen wurden. Und es war einhellige Meinung."},{"speaker":"Volker","startTime":1173.06,"endTime":1174.67,"body":"Und der Meinung schlie\u00dfe ich mich an."},{"speaker":"Volker","startTime":1175.53,"endTime":1178.98,"body":"Dass Menschen sich entschieden haben, eine solche Software zu schreiben,"},{"speaker":"Volker","startTime":1179.13,"endTime":1183.43,"body":"Menschen oder Firmen vertreten durch Menschen sich entschieden haben,"},{"speaker":"Volker","startTime":1183.43,"endTime":1187.49,"body":"eine solche Software publik zu machen, zu betreiben und zu hosten und andere"},{"speaker":"Volker","startTime":1187.49,"endTime":1189.99,"body":"Menschen sich entscheiden, eine solche Software zu nutzen."},{"speaker":"Volker","startTime":1190.13,"endTime":1193.53,"body":"Es gibt keine autonome Software. Es gibt menschliche Entscheidungen,"},{"speaker":"Volker","startTime":1193.64,"endTime":1197.19,"body":"der Software die Freir\u00e4ume zu liefern, die sie bekommt."},{"speaker":"Volker","startTime":1197.53,"endTime":1202.49,"body":"Und damit ist eine Software, nach Meinung der Europ\u00e4ischen Kommission zumindest,"},{"speaker":"Volker","startTime":1204.81,"endTime":1207.17,"body":"nicht autonom und auch nicht zur Rechenschaft zu ziehen."},{"speaker":"Monina","startTime":1207.63,"endTime":1212.359,"body":"Was ich da auch schon finde, wenn du sagst, wir haben, die KI oder die Systeme"},{"speaker":"Monina","startTime":1212.359,"endTime":1217.58,"body":"sind durch Menschen angelernt worden. Also die KI lernt ja mit Informationsmaterial,"},{"speaker":"Monina","startTime":1217.58,"endTime":1218.84,"body":"das von Menschen generiert ist."},{"speaker":"Monina","startTime":1219.16,"endTime":1221.34,"body":"Und das ist tats\u00e4chlich der Punkt, der mir am meisten Angst macht,"},{"speaker":"Monina","startTime":1221.53,"endTime":1226.21,"body":"weil diese ganzen Verhaltensmuster, dass KI anf\u00e4ngt zu l\u00fcgen oder dass KI sich in irgendeiner Form,"},{"speaker":"Monina","startTime":1227.39,"endTime":1231.42,"body":"b\u00f6se verh\u00e4lt, Leute beleidigt, sind ja letztendlich Muster, die die KI gelernt"},{"speaker":"Monina","startTime":1231.42,"endTime":1235.22,"body":"hat dadurch, dass sie Daten hatte, in denen das Verhalten vorgekommen ist."},{"speaker":"Monina","startTime":1235.75,"endTime":1239.63,"body":"Also dass die KI auch alle unsere schlechten Eigenschaften lernt in ihren Modellen,"},{"speaker":"Monina","startTime":1239.98,"endTime":1244.02,"body":"dass unsere Modelle quasi verzogen sind, die wir haben, die KI-Modelle,"},{"speaker":"Monina","startTime":1244.31,"endTime":1247.19,"body":"das finde ich den beunruhigendsten Punkt an dem Ganzen."},{"speaker":"Monina","startTime":1247.19,"endTime":1251.51,"body":"Aber ich glaube, das ist auch einfach jetzt schon zu sp\u00e4t, so richtig darauf"},{"speaker":"Monina","startTime":1251.51,"endTime":1256.08,"body":"zu achten. Also die ganzen Modelle, die werden ja schon mit orchestrierten und"},{"speaker":"Monina","startTime":1256.08,"endTime":1258.53,"body":"mit restriktierten Daten angelernt."},{"speaker":"Monina","startTime":1259.01,"endTime":1262.7,"body":"Aber nichtsdestotrotz ist da immer noch genug drinnen, was negative menschliche"},{"speaker":"Monina","startTime":1262.7,"endTime":1265.41,"body":"Aspekte reinbringt in das Verhalten von der KI."},{"speaker":"Monina","startTime":1266.28,"endTime":1269.88,"body":"Also so w\u00fcrde ich das sehen. Ich wei\u00df nicht, ob du das vielleicht positiver siehst."},{"speaker":"Volker","startTime":1271.55,"endTime":1275.69,"body":"Also ich bin ja eh immer der Vertreter hier bei uns in der Runde, der KI,"},{"speaker":"Volker","startTime":1276.369,"endTime":1279.55,"body":"so in den heutigen Auspr\u00e4gungen wenig Positives abgewinnen kann,"},{"speaker":"Volker","startTime":1279.98,"endTime":1284.02,"body":"sondern der immer sagt, mein Gott, wir haben Big Data Analyse Tools aus den"},{"speaker":"Volker","startTime":1284.02,"endTime":1286.43,"body":"90er Jahren, die heute nat\u00fcrlich viel schneller,"},{"speaker":"Volker","startTime":1287.09,"endTime":1290.59,"body":"auf besseren Prozessoren, auf schnelleren Prozessoren laufen,"},{"speaker":"Volker","startTime":1290.59,"endTime":1292.54,"body":"dadurch auch andere Algorithmen erm\u00f6glichen."},{"speaker":"Volker","startTime":1292.54,"endTime":1295.9,"body":"Also wir sind nicht in den 90er Jahren, aber es ist eigentlich immer noch der"},{"speaker":"Volker","startTime":1295.9,"endTime":1300.13,"body":"Zweck, unstrukturierte Big Data zu strukturieren und daraus eine Aussage zu gewinnen."},{"speaker":"Volker","startTime":1301.099,"endTime":1306.31,"body":"Und wir haben jetzt nur mal mit verschiedenen studentischen Arbeiten,"},{"speaker":"Volker","startTime":1306.31,"endTime":1309.98,"body":"dazu werden wir vielleicht auch noch eine Sendung machen. Das will ich n\u00e4mlich"},{"speaker":"Volker","startTime":1309.98,"endTime":1313.49,"body":"in unserem Kreis im n\u00e4chsten Sendungsplanungsmeeting vorschlagen."},{"speaker":"Volker","startTime":1313.83,"endTime":1318.72,"body":"Wir haben dieses CodeLeak von Open Cloud analysiert mit KI-Hilfe,"},{"speaker":"Volker","startTime":1318.72,"endTime":1321.54,"body":"weil das halt viele, viele hunderttausend Zeilen Code sind."},{"speaker":"Volker","startTime":1321.54,"endTime":1326.43,"body":"Und das kriegst du als Mensch nicht durchgearbeitet und sind eben auf sehr,"},{"speaker":"Volker","startTime":1326.43,"endTime":1329.96,"body":"sehr, sehr viele erschreckende Schwachstellen gesto\u00dfen in den Code."},{"speaker":"Volker","startTime":1330.28,"endTime":1334.8,"body":"Und jetzt muss man dazu sagen, mit Bachelor, Zweit- bis Vier-Semester-Studenten"},{"speaker":"Volker","startTime":1334.8,"endTime":1338.92,"body":"und einem Masterstudenten sind wir darauf gesto\u00dfen und KI-Hilfe,"},{"speaker":"Volker","startTime":1339.4,"endTime":1345.75,"body":"wo dann zum Beispiel deine rechte Token \u00fcberpr\u00fcft werden und da ist dann eine Bedingung,"},{"speaker":"Volker","startTime":1346.369,"endTime":1354.97,"body":"eine Code-Zeile, da steht, if Token ungef\u00e4hr gleich allow oder Token gleich deny, dann mache das."},{"speaker":"Monina","startTime":1356.89,"endTime":1357.41,"body":"Fantastisch."},{"speaker":"Volker","startTime":1357.41,"endTime":1358.83,"body":"Egal, mach's einfach."},{"speaker":"Volker","startTime":1361.45,"endTime":1366.09,"body":"Klar, dieses ganze Kram ist KI generiert, aber ich war sprachlos,"},{"speaker":"Volker","startTime":1366.09,"endTime":1367.859,"body":"als ich diese Zeile Code gesehen habe."},{"speaker":"Volker","startTime":1368.54,"endTime":1375.04,"body":"Und deswegen bin ich immer der Meinung, ja, Leute, die darauf ausgebildet wurden."},{"speaker":"Volker","startTime":1375.04,"endTime":1378.73,"body":"Und ich sage jetzt mal erstmal klassisch Informatikerinnen und Informatiker,"},{"speaker":"Volker","startTime":1379.07,"endTime":1383.27,"body":"die auf Code-Generierung, auf m\u00f6glicherweise sichere Code-Generierung ausgebildet"},{"speaker":"Volker","startTime":1383.27,"endTime":1386.48,"body":"wurden, die haben mit Sicherheit auch ganz gut unter Kontrolle,"},{"speaker":"Volker","startTime":1386.68,"endTime":1389.09,"body":"welche Bibliotheken sie sich einbinden."},{"speaker":"Volker","startTime":1389.09,"endTime":1393.51,"body":"Und eine solche Bibliothek kann ja auch von einer KI geschrieben worden sein."},{"speaker":"Volker","startTime":1394.359,"endTime":1398.25,"body":"Du kaufst dir ja teilweise auch Bibliotheken am Markt ein und kannst den Code"},{"speaker":"Volker","startTime":1398.25,"endTime":1401.89,"body":"da auch nicht einsehen. Aber du bist halt als ausgebildete Informatikerin ganz"},{"speaker":"Volker","startTime":1401.89,"endTime":1407.4,"body":"gut in der Lage einzusch\u00e4tzen, wie riskant diese Blackbox ist."},{"speaker":"Volker","startTime":1407.93,"endTime":1412.2,"body":"Und wenn du das Risiko an einer bestimmten Stelle, sagen wir mal,"},{"speaker":"Volker","startTime":1412.2,"endTime":1417.28,"body":"du baust eine Firewall ein, ein Security-Mechanismus und du kannst die Brisanz"},{"speaker":"Volker","startTime":1417.28,"endTime":1420.65,"body":"dieser Blackbox, die du einkaufst, nicht einsch\u00e4tzen, dann machst du es nicht."},{"speaker":"Monina","startTime":1421.609,"endTime":1427.24,"body":"Und da fallen mir so gro\u00dfe Beispiele ein wie Microsoft mit seinen Sicherheitsfunktionen."},{"speaker":"Monina","startTime":1427.54,"endTime":1429.109,"body":"Aber das ist eine andere Geschichte."},{"speaker":"Volker","startTime":1429.54,"endTime":1434.15,"body":"Okay, ich gehe jetzt mal von Einzelpersonen hier in unserem bilateralen Chat"},{"speaker":"Volker","startTime":1434.15,"endTime":1435.84,"body":"aus, wo ich mal unterstelle,"},{"speaker":"Volker","startTime":1436.859,"endTime":1440.88,"body":"dass Einzelpersonen, die auf Sicherheit ausgebildet sind, schon Probleme damit"},{"speaker":"Volker","startTime":1440.88,"endTime":1447.43,"body":"haben, Dinge in Betrieb zu nehmen, deren Sicherheit sie im Rahmen einer Risikoabsch\u00e4tzung"},{"speaker":"Volker","startTime":1447.43,"endTime":1449.08,"body":"nicht wirklich gut einsch\u00e4tzen kann."},{"speaker":"Volker","startTime":1449.81,"endTime":1453.17,"body":"Und deswegen, jetzt haben wir quasi auch wieder diesen Kreis geschlossen."},{"speaker":"Volker","startTime":1453.71,"endTime":1459.76,"body":"Ich gehe immer davon aus, dass die Sicherheitstests bei OpenAI von auch ausgebildeten"},{"speaker":"Volker","startTime":1459.76,"endTime":1463.04,"body":"Sicherheitsfachleuten gemacht wurden. Nicht nur, vielleicht auch nicht mal die"},{"speaker":"Volker","startTime":1463.04,"endTime":1465.65,"body":"Majorit\u00e4t, aber mit Sicherheit nicht unter Abwesenheit."},{"speaker":"Volker","startTime":1466.52,"endTime":1472.77,"body":"Und wenn das solche Exploit-Gyms sind, die \u00fcber den Daumen 870 Test-Cases durchfahren,"},{"speaker":"Volker","startTime":1472.77,"endTime":1474.3,"body":"die alle brisant sind, dann,"},{"speaker":"Volker","startTime":1475.14,"endTime":1480.099,"body":"kann ich mir nicht vorstellen, dass fahrl\u00e4ssig sowas passiert ist oder wenn"},{"speaker":"Volker","startTime":1480.099,"endTime":1481.5,"body":"zum Beispiel Internetzugang,"},{"speaker":"Volker","startTime":1482.22,"endTime":1485.23,"body":"erforderlich ist, dass dann nicht einer mit dem Kill-Switch sitzt,"},{"speaker":"Volker","startTime":1485.4,"endTime":1489.69,"body":"der diesen Internetzugang permanent monitort und wenn die Internetlast mal ebenso"},{"speaker":"Volker","startTime":1489.69,"endTime":1492.18,"body":"exponentiell nach oben geht, einfach sagt Stopp."},{"speaker":"Monina","startTime":1492.57,"endTime":1496.49,"body":"Vor allem, wenn man wei\u00df, wie gut das Vorg\u00e4ngermodell schon mit gewissen Sachen umgegangen ist."},{"speaker":"Volker","startTime":1496.72,"endTime":1500.52,"body":"Genau. So, und jetzt haben wir eigentlich den Kreis geschlossen und sagen,"},{"speaker":"Volker","startTime":1501.16,"endTime":1504.7,"body":"also das, was passiert ist, ist mit Sicherheit nicht lachhaft,"},{"speaker":"Volker","startTime":1504.7,"endTime":1508.74,"body":"nicht l\u00e4cherlich, sondern wirft ganz, ganz viele Fragen auf."},{"speaker":"Volker","startTime":1509.27,"endTime":1514.9,"body":"Aber das, was passiert ist, wirft auch die Frage auf, ob es denn in the wild"},{"speaker":"Volker","startTime":1514.9,"endTime":1518.69,"body":"wirklich so passiert ist oder ob da vielleicht doch ein paar helfende H\u00e4nde,"},{"speaker":"Volker","startTime":1519.96,"endTime":1524.26,"body":"Dinge zugelassen haben, die auch Aktienkurse sehr, sehr positiv beeinflussen k\u00f6nnen."},{"speaker":"Volker","startTime":1525.08,"endTime":1530.78,"body":"Es beeinflusst aber auf jeden Fall unser Informatikerinnen- und Informatikerleben, indem wir,"},{"speaker":"Volker","startTime":1531.77,"endTime":1536.04,"body":"davon ausgehen m\u00fcssen, dass sicherheitskritische Funktionen,"},{"speaker":"Volker","startTime":1536.04,"endTime":1540.37,"body":"Fehler, Angriffe jetzt viel, viel schneller durchgef\u00fchrt werden k\u00f6nnen,"},{"speaker":"Volker","startTime":1540.37,"endTime":1542.23,"body":"viel schneller gefunden werden k\u00f6nnen."},{"speaker":"Volker","startTime":1542.68,"endTime":1548.26,"body":"Gar nicht durch magische Kompetenz von KI-Modellen, sondern einfach deren unglaublich"},{"speaker":"Volker","startTime":1548.26,"endTime":1551.17,"body":"hohe Rechenf\u00e4higkeit und Leistungsf\u00e4higkeit."},{"speaker":"Volker","startTime":1551.91,"endTime":1554.83,"body":"Ja, und wenn wir dann davon ausgehen, dann k\u00f6nnen wir davon ausgehen,"},{"speaker":"Volker","startTime":1554.83,"endTime":1557.45,"body":"dass die auch einfach mal mehr und schneller geleakt werden,"},{"speaker":"Volker","startTime":1557.9,"endTime":1560.31,"body":"wie ich schon sagte. Und sei es auch nur durch ein Versehen,"},{"speaker":"Volker","startTime":1560.31,"endTime":1563.31,"body":"weil eine KI vielleicht einen falschen Pfad vor sich hin halluziniert,"},{"speaker":"Volker","startTime":1563.31,"endTime":1566.44,"body":"wo sie das Zeug mal ablegt und ups, der ist leider gerade public."},{"speaker":"Monina","startTime":1567,"endTime":1569.99,"body":"Oder es ihr gedient hat f\u00fcr irgendeinen Zweck, das zu tun."},{"speaker":"Volker","startTime":1569.99,"endTime":1573.79,"body":"Genau, oder es hatte irgendwas Positives, weil vielleicht irgendein anderer"},{"speaker":"Volker","startTime":1573.79,"endTime":1577.78,"body":"Agent darauf auch zugreifen musste. Aber die hatten gerade, keine Ahnung,"},{"speaker":"Volker","startTime":1577.78,"endTime":1582.87,"body":"es war der n\u00e4chstliegende Speicherplatz. Dann nimmt man halt mal GitHub in der Public-Version."},{"speaker":"Volker","startTime":1583.56,"endTime":1592.42,"body":"So, und das ist dann nachher die ethische Frage, die nat\u00fcrlich jedem Zuh\u00f6rer"},{"speaker":"Volker","startTime":1592.42,"endTime":1593.94,"body":"und jeder Zuh\u00f6rerin hier offen bleibt."},{"speaker":"Volker","startTime":1594.5,"endTime":1600.89,"body":"Wie weit wollt ihr KI einsetzen? Oder andersrum, wie schnell nutzt ihr auch"},{"speaker":"Volker","startTime":1600.89,"endTime":1604.58,"body":"KI als Handwerkstool, um eigene Sicherheitsl\u00fccken zu finden?"},{"speaker":"Volker","startTime":1604.86,"endTime":1608.82,"body":"Hoffentlich in einer besser isolierten Umgebung als bei OpenAI."},{"speaker":"Volker","startTime":1609.81,"endTime":1613.73,"body":"So, und das war schon unsere Kurzfassung dieser kleinen Folge."},{"speaker":"Volker","startTime":1613.73,"endTime":1618.5,"body":"30 Minuten und jetzt haben wir wieder Monina, die hier unseren Abspann einsprechen wird."},{"speaker":"Monina","startTime":1619.77,"endTime":1623.17,"body":"Das war die Sicherheitsl\u00fccke. Heute mit einer kleinen Sonderfolge zu den aktuellen"},{"speaker":"Monina","startTime":1623.17,"endTime":1626.59,"body":"Diskussionen \u00fcber IT-Sicherheit und KI-Angriffe aus aktuellem Anlass."},{"speaker":"Monina","startTime":1627.21,"endTime":1632.43,"body":"Ein spannendes und ein bisschen beunruhigendes, aber auch sehr schnell weiter"},{"speaker":"Monina","startTime":1632.43,"endTime":1633.86,"body":"spannender werdendes Thema."},{"speaker":"Monina","startTime":1634.26,"endTime":1637.47,"body":"Weitere Links und Infos findet ihr wie immer in den Shownotes."},{"speaker":"Monina","startTime":1637.47,"endTime":1638.65,"body":"Und damit verabschieden wir uns."},{"speaker":"Volker","startTime":1639.08,"endTime":1643.08,"body":"Monina Schwarz und Volker Skwarek und leider nicht Ingo Timm. Hallo Ingo,"},{"speaker":"Volker","startTime":1643.52,"endTime":1644.72,"body":"viele Gr\u00fc\u00dfe in deinen Urlaub."}]}