Wenn KI halluziniert: Betrug, Deepfakes und Bankrisiken

In dieser Folge geht es um die Tücken generativer KI im Bankalltag: von erfundenen Zinssätzen in Kundenantworten bis zu den rechtlichen Folgen falscher Auskünfte. Außerdem sprechen wir über Deepfakes, Stimmklonen und die Frage, warum bei Zahlungsfreigaben heute mehr denn je kritische Verifikation gefragt ist.

This show was created with Jellypod, the AI Podcast Studio. Create your own podcast with Jellypod today.

Is this your podcast and want to remove this banner? Click here.

Chapter 1

Täuschend echt, aber brandgefährlich – KI in der Kundenberatung und Betrugsrisiken

Noah

Willkommen zu einer neuen Episode! Ich bin Noah und mir gegenüber sitzt Sofia. Und Sofia, ich muss dir direkt von einem Experiment erzählen, das mich gestern bei der Arbeit echt kalt erwischt hat. Ich habe eine generative KI gebeten, eine Musterantwort für eine Anfrage zu unseren Festgelder-Konditionen bei der SGKB zu schreiben. Der Text klang absolut professionell, fehlerfrei, aber -- beim Zinssatz hat mir das Tool einfach mal frech 4,8 Prozent HALLUZINIERT!

Sofia

Vierkommaacht Prozent? Das ist ja fast das Dreifache vom aktuellen Niveau! Stell dir vor, so eine Zahl rutscht ungeprüft in eine echte Mail an unsere Kunden raus. Wenn die das schriftlich haben, haben wir ein massives rechtliches Problem und haften als Bank im schlimmsten Fall für diese Falschauskunft.

Noah

Ganz genau. Und das Gefährliche ist ja, dass diese reaktiven Sprachmodelle, wie wir sie im KI-Führerschein gelernt haben, einfach stur Wort für Wort das statistisch wahrscheinlichste nächste Wort voraussagen. Die haben kein echtes Faktenwissen. Die KI weiß gar nicht, was 4,8 Prozent bedeutet, es klang für sie in dem Moment einfach plausibel.

Sofia

Genau das ist der Punkt. Es klingt plausibel, ist aber komplett erfunden. Deshalb gilt für uns im Bankalltag die goldene Regel: absolute Quellenkritik. Keine einzige KI-Auskunft darf blind übernommen werden. Wir müssen jeden Fakt, jede Zahl, jedes Datum manuell mit unseren offiziellen SGKB-Systemen abgleichen. Blindes Vertrauen hebelt sofort unsere Sorgfaltspflicht aus.

Noah

Absolut. Und neben den Fehlern, die wir unabsichtlich machen könnten, gibt es ja noch die ganz dunkle Seite. Im Booklet vom KI-Führerschein haben wir ja das Thema Deepfakes und Stimmimitationen angeschaut. Da reichen mittlerweile lächerliche drei Sekunden Tonaufnahme aus einem echten Video, um eine Stimme perfekt zu klonen.

Sofia

Drei Sekunden? Das ist ja gerade mal ein kurzer Satz bei einer Begrüßung. Wenn Kriminelle das nutzen, um im Namen eines Kunden oder sogar eines unserer Vorgesetzten anzurufen, um eine dringende Zahlungsfreigabe einzufordern... Das ist eine völlig neue Dimension von Social Engineering.

Noah

Vollkommen! Und genau darum müssen wir doppelt vorsichtig sein. Wenn ein Kunde am Telefon plötzlich ungewöhnliche Transaktionen fordert, reicht es nicht mehr, nur auf die Stimme zu vertrauen. Wir brauchen klare Verifikations-Schleifen, Rückfragen über gesicherte Kanäle und vor allem: gesunden Menschenverstand.

Sofia

Perfekt zusammengefasst. Die Technik wird immer besser darin, uns zu täuschen. Unsere wichtigste Waffe dagegen ist nicht noch mehr Technik, sondern unsere eigene Skepsis und das genaue Hinsehen. Ein spannendes, aber auch verdammt ernstes Thema. Danke fürs Mitdenken, Noah, und bis zum nächsten Mal!

Noah

Bis zum nächsten Mal, bleibt wachsam!