KI-Risiken im Unternehmen: Warum blindes Vertrauen in Vorschläge teuer werden kann

Er hat eine klare Meinung zu KI-Risiken im Unternehmen: Manchen wird das nicht gefallen. Ernst Dummer, Geschäftsführer von Stubai KSHB, hat in über 20 Jahren Führungserfahrung eine Konstante beobachtet, die durch KI nicht verschwindet, sondern verstärkt wird. Menschen entscheiden sich für den bequemen Weg, nicht für den besten. Genau darin sieht er das größte der KI-Risiken im Unternehmen, nicht in der Technologie selbst, sondern in der Art, wie Menschen mit ihren Vorschlägen umgehen. In diesem Artikel erfährst du, warum unreflektierte Zustimmung zu KI-Vorschlägen zum stillen Risikofaktor wird und wie Unternehmen dem gezielt gegensteuern können.

Das Ausgangsproblem: KI-Modelle liefern Vorschläge, keine Wahrheiten

Ein zentrales der KI-Risiken im Unternehmen liegt darin, dass KI-Modelle aus vorhandenen Daten lernen und daraus Vorschläge ableiten, aber keine Garantie für deren Richtigkeit liefern. Dummer bringt es so auf den Punkt: "KI, normale Modelle, das heißt, die saugen ja meine Denkmuster, meine Verhaltensmuster auf und verarbeiten die und treffen daraus Vorschläge." Der Unterschied zwischen einem Vorschlag und einer geprüften Entscheidung verschwimmt im Arbeitsalltag schnell, vor allem unter Zeitdruck.

Das Problem verschärft sich laut Dummer dadurch, dass Menschen von Natur aus den einfacheren Weg wählen: "Meine Sorge ist das, dass diese Vorschläge relativ rasch angenommen werden, weil es bequemer ist, den Vorschlag anzunehmen als nachzudenken, ob der Vorschlag gescheit oder blöd ist." Diese Beobachtung ist branchenübergreifend relevant, unabhängig davon, ob es um Fertigungsentscheidungen, Kundenkommunikation oder Verwaltungsprozesse geht.

Das Praxisbeispiel: Wenn niemand mehr die Rechnung prüft

Wie konkret dieses Risiko wird, zeigt ein Beispiel aus dem Gespräch, die automatisierte Verarbeitung eingehender Rechnungen und Belege. Dummer sieht diese Entwicklung grundsätzlich positiv und nennt sie einen "normalen Standardprozess". Er macht aber eine klare Einschränkung: "Irgendwo muss irgendjemand in einer Form geprüft haben. Ohne jede Prüfung wird es nicht gehen." Er beschreibt sein eigenes Sicherheitsbedürfnis so: "Ich fühle mich ganz wohl, wenn ich weiß, das ist auch eben geprüft worden."

Genau an diesem Punkt entstehen viele der KI-Risiken im Unternehmen in der Praxis. Wird die Prüfinstanz aus Kostengründen oder Zeitdruck schrittweise abgebaut, weil das System "ja bisher immer richtig lag", verschwindet die letzte Kontrollebene. Das Risiko zeigt sich nicht sofort, sondern erst in dem einen Fall, in dem der automatisierte Vorschlag falsch war und niemand es bemerkt hat, weil die Kontrolle längst wegrationalisiert wurde.

Die Einordnung: Warum Kompetenz wichtiger ist als Vertrauen

Aus Berater-Perspektive ist die Diskussion um KI-Risiken im Unternehmen oft fehlgeleitet, weil sie sich zu stark auf die Frage des Vertrauens konzentriert, während die eigentliche Frage die nach der Kompetenz ist. Dummer formuliert das so: "Ich glaube, es geht weniger um das Vertrauen, sondern mehr darum, welchen Mehrwert ich damit generiere." Ein Unternehmen, das KI-Vorschläge nicht mehr fachlich einordnen kann, hat unabhängig vom Vertrauen in das System ein strukturelles Problem.

Diese Kompetenz geht laut Dummer bei zu schneller, unreflektierter Einführung verloren: "Wir haben Aufgaben, uns damit auseinanderzusetzen. Nicht nur schimpfen, sondern auch versuchen, etwas zu verändern." Für Geschäftsführer bedeutet das konkret: KI-Einführung darf nicht delegiert und vergessen werden, sondern braucht klare Verantwortlichkeiten, wer welchen Vorschlag mit welcher fachlichen Tiefe prüft, bevor er umgesetzt wird.

Typische Fehler, die KI-Risiken im Unternehmen verstärken

• KI-Tools werden eingeführt, weil sie "hip" oder "modern" sind, nicht weil ein konkretes Problem gelöst wird
• Prüfinstanzen werden abgebaut, sobald ein System "meistens" richtig liegt
• Mitarbeitende erhalten keine Schulung darin, wann ein KI-Vorschlag kritisch zu hinterfragen ist
• Verantwortlichkeit für Fehlentscheidungen ist nicht klar geregelt, wenn ein automatisierter Vorschlag falsch war
• Geschwindigkeit wird über Sorgfalt gestellt, weil der Wettbewerbsdruck vermeintlich keine andere Wahl lässt

Fazit: Die wichtigsten Learnings für Unternehmen

• Das größte der KI-Risiken im Unternehmen ist nicht die Technologie, sondern die unreflektierte Übernahme ihrer Vorschläge aus Bequemlichkeit.
• Jeder automatisierte Prozess braucht weiterhin eine geregelte Prüfinstanz, auch wenn das System in den meisten Fällen korrekt arbeitet.
• Vertrauen in KI ist die falsche Kategorie. Entscheidend ist die fachliche Kompetenz, Vorschläge einordnen zu können.
• Verantwortlichkeiten für den Fehlerfall müssen vor der Einführung geklärt sein, nicht erst danach.
• Geschwindigkeit bei der KI-Einführung darf nie zulasten der Sorgfalt gehen, auch nicht unter Wettbewerbsdruck.

Jetzt handeln

Du willst wissen, wo in deinem Unternehmen KI-Risiken durch fehlende Prüfprozesse entstehen könnten? In einer KI-Engpass-Analyse mit digitalisiert.io schauen wir uns gemeinsam an, wo Kontrolle und Kompetenz mit dem Tempo eurer KI-Einführung mithalten müssen.