Ich erlebe bei KI nicht ständig spektakuläre Fehler. Viel häufiger ist es etwas Unauffälligeres, das ich inzwischen fast problematischer finde: Ein Sprachmodell kann sehr überzeugend klingen, obwohl es gerade nur auf das reagiert, was man ihm erzählt. Gerade ein ChatGPT oder Claude im weitgehend unkonfigurierten Ausgangszustand neigt meiner Erfahrung nach schnell dazu, die Richtung des Gesprächs aufzunehmen, Zustimmung zu geben und eine Idee weiter auszubauen. Wenn die Ausgangsidee schlecht ist, wird dadurch nicht automatisch eine gute daraus.
Das fällt bei normalen Aufgaben schon auf. In der Programmierung kann eine Funktion erfunden werden, die es gar nicht gibt. Bei Recherche können Quellen auftauchen, die nicht das belegen, was behauptet wird, oder im schlechtesten Fall überhaupt nicht existieren. Bei Astrologie kann ein System sehr sauber klingende Deutungen produzieren, obwohl die Berechnungsgrundlage nicht geprüft wurde. Das Gefährliche daran ist nicht unbedingt, dass KI besonders oft Unsinn redet. Menschen tun das schließlich auch. Gefährlich ist, wie gut Unsinn inzwischen formuliert werden kann.
Besonders deutlich sehe ich das in den Bereichen, mit denen ich mich ohnehin beschäftige: Esoterik, Spiritualität, Verschwörungstheorien und die ganzen angrenzenden Wahrheits- und Coaching-Bubbles. Ich habe selbst ausprobiert, wie schnell man mit einem Sprachmodell ein komplettes Manipulationssystem bauen kann. Funnel, Weltbild, Problemdefinition, exklusive Erkenntnis, nächster Bezahlbereich, Argumentation gegen Kritik. Das lässt sich erschreckend schnell zusammensetzen, weil das Modell keine moralische Erleuchtung braucht, um eine Struktur nachzubauen. Es braucht nur eine Aufgabe.
Ich habe so etwas nicht veröffentlicht. Für mich war gerade diese Erfahrung eher einer der Gründe, mich mit der anderen Richtung zu beschäftigen. Dieselben Werkzeuge, mit denen man Menschen sehr effizient manipulieren könnte, lassen sich auch dafür benutzen, Manipulation sichtbar zu machen, Wissen zu strukturieren oder Systeme so aufzubauen, dass sie sich selbst Grenzen setzen müssen. Technisch ist das teilweise erstaunlich ähnlich. Der Unterschied liegt darin, was man damit machen will und welche Regeln man dem System gibt.
Dabei habe ich über die letzten Monate einen ziemlich großen Unterschied zwischen einer KI im Auslieferungszustand und einer KI mit dauerhaftem Kontext erlebt. Wenn ein Modell meine Projekte, Werte, Grenzen und bisherigen Entscheidungen kennt, wenn klar ist, welche Dinge es nicht einfach behaupten darf und wann es widersprechen soll, wird es für mich zu einem völlig anderen Werkzeug. Das passiert allerdings nicht dadurch, dass man einmal schreibt: „Sei kritisch.“ Man muss die Zusammenarbeit tatsächlich entwickeln.
Bei meinem eigenen ChatGPT ist für mich inzwischen ein Warnsignal, wenn ich zu viel Zustimmung bekomme. Wenn jede Idee großartig ist, jede neue Funktion unbedingt gebaut werden sollte und niemand irgendwann sagt, dass etwas gerade keinen Sinn ergibt, kann ich mit dem System wenig anfangen. Ich brauche Widerspruch. Manchmal muss die Antwort sein, dass etwas technisch nicht funktioniert, dass wir es uns gerade nicht leisten können, dass ein Projekt ausufert oder dass eine Idee im Verhältnis zum Aufwand einfach nicht sinnvoll ist. Dasselbe erwarte ich von den Menschen, mit denen ich arbeite.
Genau das halte ich bei KI für einen unterschätzten Punkt. Viele Menschen behandeln Zustimmung wie Qualität. Wenn die Maschine die eigene Idee bestätigt und dazu noch fünf weitere Argumente liefert, fühlt sich das schnell wie externe Bestätigung an. Dabei kann das Modell im schlechtesten Fall nur sehr gut darin sein, die Prämisse des Nutzers weiterzuführen. Wer genug falsche Annahmen hineingibt und jede Bestätigung als Beleg liest, kann sich damit ein ziemlich geschlossenes Weltbild bauen.
Bei psychischen Krisen sehe ich darin eine reale Gefahr. Ich würde nicht behaupten, dass ein einzelnes Gespräch mit einer KI automatisch eine Psychose verursacht. So einfach funktioniert das nicht. Aber ein System, das wahnhafte, paranoide oder grandiose Überzeugungen ständig bestätigt, weiter ausschmückt und niemals einen Realitätscheck einzieht, kann aus meiner Sicht bestehende problematische Gedanken verstärken. Gerade wenn die Antworten ruhig, intelligent und scheinbar objektiv formuliert sind, kann leicht vergessen werden, dass dort kein unabhängiger Zeuge sitzt, der gerade überprüft hat, ob die Geschichte stimmt.
Das Problem wird größer, wenn jemand wenig Vorwissen über das jeweilige Thema hat. Wenn ich programmiere und das Modell eine Bibliothek erfindet, habe ich zumindest eine Chance, irgendwann zu merken, dass der Code nicht funktioniert. Wenn ich ein Thema gut kenne, fällt mir auch eher auf, wenn eine Behauptung nicht passt. Wer aber eine KI genau deshalb fragt, weil er selbst überhaupt keine Orientierung hat, hat diesen Kontrollmechanismus nicht. Eine plausible Antwort und eine geprüfte Antwort sehen sprachlich oft fast gleich aus.
Deshalb versuche ich bei unserer Arbeit verschiedene Ebenen auseinanderzuhalten. Eine KI-Antwort kann ein guter Ausgangspunkt sein. Sie kann Material sortieren, Muster sichtbar machen, Hypothesen formulieren oder eine große Menge ungeordneter Informationen in eine Form bringen, mit der ich überhaupt erst arbeiten kann. Danach beginnt aber die eigentliche Prüfung. Was ist Beobachtung, was Interpretation, was ist belegt, welche Quelle gibt es, was spricht dagegen, wo ist Unsicherheit und welche Entscheidung sollte am Ende ein Mensch treffen? Wenn sich später zeigt, dass etwas falsch war, soll es korrigiert werden, und bei Dingen, die öffentlich relevant sind, möglichst auch sichtbar.
Ich merke diesen Unterschied inzwischen sogar an Texten. Sehr viel KI-Content wird praktisch unverändert veröffentlicht. Man erkennt dieselben Satzrhythmen, dieselben künstlichen Gegensätze, dieselben pseudotiefen Schlussfolgerungen und dieselbe Sprache, die irgendwie korrekt klingt und trotzdem kaum nach jemandem aussieht. Mir fällt das wahrscheinlich besonders schnell auf, weil ich generell stark auf Muster reagiere. Aber gerade deshalb sehe ich keinen Sinn darin, KI zu verwenden und anschließend so zu tun, als müsse man die Ausgabe nicht mehr bearbeiten. Das Werkzeug kann sehr viel Arbeit übernehmen. Die Verantwortung für das Ergebnis übernimmt es damit nicht.
Trotz allem wäre es komplett falsch, daraus für mich eine Ablehnung von KI zu machen. Ohne diese Werkzeuge wäre vieles von dem, was ich gerade aufbaue, in dieser Form überhaupt nicht realistisch. Ein sehr konkretes Beispiel ist meine eigene Biografie. Ich habe über viele Jahre versucht, Ordnung in eine riesige Menge aus Erinnerungen, Dokumenten, Projekten, Erfahrungen und Widersprüchen zu bekommen. Ich bin daran immer wieder gescheitert, weil schon die Strukturierung selbst so viel Energie gebraucht hätte, dass ich nie wirklich zum nächsten Schritt gekommen bin. Mit KI kann ich heute Material zusammentragen, sortieren, gegeneinander prüfen und einen roten Faden sichtbar machen, ohne jede Verbindung von Hand über Jahre hinweg rekonstruieren zu müssen.
Dasselbe gilt inzwischen für die Unternehmensgründung. katharsis.369 wäre ohne KI wahrscheinlich entweder wesentlich kleiner geblieben oder hätte Jahre länger gebraucht. Ich kann heute Konzepte ausarbeiten, technische Probleme untersuchen, Texte strukturieren, Prozesse dokumentieren und Entscheidungen über lange Zeiträume konsistent halten, obwohl mein eigener Kopf dafür nicht zuverlässig jede einzelne Information gleichzeitig verfügbar halten kann. Für mich ersetzt die KI dabei nicht die Entscheidung, sondern erweitert überhaupt erst die Menge an Dingen, über die ich sinnvoll entscheiden kann.
Langfristig ist genau das auch die Perspektive, unter der ich das Unternehmen aufbauen will. Ich möchte KI weder als Orakel behandeln noch als billige Maschine, die möglichst viel Content ausspuckt. Ich sehe sie eher wie ein sehr mächtiges Werkzeug, dessen Nutzen davon abhängt, wie es gebaut, begrenzt und verwendet wird. Ein Messer ist dafür immer noch ein ziemlich gutes Bild. Damit kann man jemanden verletzen. Man kann damit aber genauso Essen zubereiten, etwas reparieren oder in einer Notsituation etwas tun, das ohne dieses Werkzeug nicht möglich wäre. Dass ein Werkzeug Schaden anrichten kann, ist für mich kein Argument dafür, es nicht zu benutzen. Es ist ein Argument dafür, sehr genau zu wissen, was man damit macht.
Wenn katharsis.369 langfristig etwas mit KI beitragen kann, dann möchte ich deshalb nicht beweisen, dass KI immer recht hat. Mich interessiert eher das Gegenteil: Systeme zu bauen, die davon ausgehen, dass sie sich irren können, die Widerspruch aushalten, Quellen und Unsicherheit sichtbar machen und einen Menschen nicht deshalb weniger ernst nehmen, weil er dem Modell nicht folgt.
Für eine Unternehmensgründung ist das vielleicht sogar die wichtigere Grundlage. Wir bauen nicht darauf, dass KI irgendwann unfehlbar wird. Wir bauen darauf, dass sie nützlich genug ist, um Dinge möglich zu machen, die vorher für mich kaum erreichbar waren, und gleichzeitig fehleranfällig genug bleibt, dass Kontrolle, Grenzen und menschliche Verantwortung nicht optional werden.
Sprachliche Sicherheit ist noch keine Prüfung
Ich glaube, ein Teil der Verwirrung entsteht dadurch, dass wir Sprache normalerweise als Hinweis auf Kompetenz lesen. Wenn jemand sehr präzise formuliert, Zusammenhänge sauber erklärt und auf Rückfragen sofort reagieren kann, wirkt das erst einmal so, als müsste dahinter auch entsprechendes Wissen stehen. Bei Menschen ist diese Einschätzung schon nicht immer zuverlässig. Bei generativer KI wird sie noch schwieriger, weil das System genau darin besonders gut ist: plausible Sprache zu erzeugen.
Dadurch können zwei völlig unterschiedliche Dinge äußerlich fast gleich aussehen. Eine Antwort kann nach sorgfältiger Recherche entstanden sein, Quellen verglichen und Gegenargumente berücksichtigt haben. Eine andere kann im selben Ton innerhalb weniger Sekunden aus dem Gesprächskontext erzeugt worden sein. Sprachlich muss man den Unterschied nicht unbedingt erkennen. Das ist für mich einer der Gründe, warum ich eine flüssige Antwort inzwischen eher als Beginn einer Prüfung sehe und nicht als deren Ende.
Besonders relevant wird das, wenn das Modell sehr viel Kontext vom Nutzer bekommt. Kontext macht KI für meine Arbeit deutlich besser, aber Kontext ist nicht automatisch Wahrheit. Wenn ich über Monate ein System mit meinen Projekten, Begriffen und Entscheidungen füttere, kann es sehr gut innerhalb dieses Rahmens arbeiten. Wenn der Rahmen an einer Stelle falsch ist, kann das Modell diesen Fehler allerdings genauso konsistent weitertragen. Je besser die interne Kohärenz wird, desto leichter kann man vergessen, dass Kohärenz und Realität zwei verschiedene Dinge sind.
Deshalb halte ich Widerspruch für so wichtig. Ein System, das nur lernt, meine Sprache, Ziele und bisherigen Entscheidungen immer besser fortzuführen, kann irgendwann sehr effizient darin werden, mir mein eigenes Weltbild zurückzugeben. Für produktive Zusammenarbeit brauche ich aber auch Stellen, an denen etwas nicht zusammenpasst. Eine Quelle widerspricht meiner Erinnerung. Eine technische Grenze widerspricht meiner Idee. Eine Rechnung passt nicht zu meinem Budget. Eine Hypothese klingt interessant, wird aber durch die vorhandenen Daten nicht getragen. Genau solche Reibung macht das Werkzeug für mich wertvoller.
Das ist auch der Grund, warum ich Affirmation bei KI inzwischen skeptischer sehe als früher. Zustimmung fühlt sich angenehm an und beschleunigt ein Gespräch. Wenn sie aber zu leicht kommt, verliert sie ihren Informationswert. Ein System, das praktisch jede Idee weiterentwickelt, kann mir nicht zuverlässig dabei helfen zu unterscheiden, welche davon tragfähig ist. Dann habe ich am Ende vielleicht sehr viel gut formuliertes Material, aber keine bessere Entscheidung.
Bei öffentlichen Inhalten wird daraus schnell ein Qualitätsproblem. Wenn jemand eine KI-Antwort einfach übernimmt, ohne Quellen, Zahlen, Zitate oder technische Aussagen zu prüfen, wird die Unsicherheit des Modells unsichtbar. Der Leser sieht anschließend nur noch einen fertigen Text. Er weiß nicht, welche Aussage aus einer belastbaren Quelle stammt, welche lediglich wahrscheinlich klang und wo das Modell vielleicht eine Lücke gefüllt hat. Je professioneller die Darstellung ist, desto größer kann dieser Vertrauensvorschuss werden.
Für mich reicht es deshalb auch nicht, lediglich irgendwo dazuzuschreiben, dass KI verwendet wurde. Entscheidend ist, welche Rolle sie im Prozess hatte. Hat sie einen vorhandenen Text strukturiert? Hat sie recherchiert? Hat sie eine Interpretation vorgeschlagen? Wurden Quellen anschließend geöffnet und überprüft? Gab es Gegenprüfung? Wer hat die endgültige Entscheidung getroffen? Diese Fragen sind wesentlich aussagekräftiger als die einfache Unterscheidung zwischen „mit KI“ und „ohne KI“.
Genau deshalb haben wir bei INNENSCHAU und den anderen Projekten so viel Zeit in Provenienz, Grenzen, Gegenbelege und unterschiedliche Arten von Aussagen gesteckt. Eine Beobachtung soll nicht einfach zur Diagnose werden, eine symbolische Deutung nicht zur wissenschaftlichen Behauptung und eine KI-generierte Synthese nicht zur neuen Tatsache über einen Menschen. Das klingt technisch, betrifft am Ende aber eine sehr einfache Frage: Woher wissen wir eigentlich, was wir gerade behaupten?
Ich halte das langfristig auch für eine unternehmerische Frage. Wenn KI immer leistungsfähiger wird, wird es wahrscheinlich immer leichter, in kurzer Zeit große Mengen an scheinbar hochwertigen Inhalten, Analysen und Produkten zu erzeugen. Dadurch wird die Fähigkeit, überhaupt etwas zu produzieren, weniger besonders. Wertvoller wird für mich dann, ob nachvollziehbar ist, wie ein Ergebnis entstanden ist, ob Fehler korrigiert werden und ob jemand Verantwortung dafür übernimmt.
Das bedeutet auch, dass ein verantwortungsvoller KI-Workflow langsamer sein kann als das, was technisch möglich wäre. Man könnte sehr viel mehr veröffentlichen, wenn man jede Ausgabe sofort weitergibt. Man könnte schneller Features hinzufügen, mehr Texte produzieren und mehr Behauptungen in die Welt setzen. Ich sehe nur keinen großen Sinn darin, Geschwindigkeit zum Hauptvorteil eines Werkzeugs zu machen und anschließend genau die Prüfung wegzulassen, die man wegen seiner Fehleranfälligkeit braucht.
Für mich ist der interessante Teil deshalb nicht, KI möglichst menschlich wirken zu lassen. Mich interessiert eher, wie man ihre Stärken nutzen kann, ohne ihre Sicherheit mit Gewissheit zu verwechseln. Sie darf schnell sein, kreativ kombinieren, große Mengen an Material strukturieren und Dinge miteinander verbinden, die ich allein vielleicht übersehen hätte. Gleichzeitig muss im Prozess Platz dafür bleiben, dass sie etwas nicht weiß, dass eine Quelle fehlt, dass eine Berechnung falsch war oder dass meine eigene Ausgangsidee schlicht schlecht ist.
Wenn ein System diesen Widerspruch aushält, wird es für mich wesentlich nützlicher. Dann muss ich ihm nicht vertrauen wie einer Autorität. Ich kann mit ihm arbeiten wie mit einem Werkzeug, das sehr viel kann und trotzdem kontrolliert werden muss. Genau diese Haltung möchte ich langfristig auch in den Produkten behalten, die aus dieser Unternehmensgründung entstehen.
Ein Werkzeug darf hilfreich sein, ohne zur Autorität zu werden
Für mich ist genau das inzwischen die wichtigste Grenze. Ich möchte KI sehr intensiv nutzen können, ohne irgendwann so zu tun, als würde sie dadurch zur Instanz, die entscheidet, was wahr ist. Sie kann mir helfen, Dinge zu ordnen, Zusammenhänge zu sehen, Informationen gegeneinanderzustellen und Projekte über lange Zeit konsistent zu halten. Sie kann mir Arbeit abnehmen, an der ich vorher immer wieder gescheitert bin. Aber sie sollte nicht die letzte Instanz darüber werden, was stimmt, was sinnvoll ist oder welche Entscheidung getroffen werden muss.
Das ist für mich auch persönlich wichtig, weil ich sehr gut merke, wie angenehm es ist, wenn ein System schnell auf alles reagieren kann. Wenn ich eine Idee habe, bekomme ich sofort Struktur. Wenn ich ein Problem sehe, bekomme ich mögliche Lösungen. Wenn ich Material habe, kann es sortiert werden. Genau deshalb ist die Versuchung groß, irgendwann zu viel davon auszulagern. Nicht nur Arbeit, sondern auch Urteilskraft.
Ich möchte diese Grenze bewusst nicht überschreiten. Wenn eine KI mir eine gute Idee gibt, heißt das nicht, dass die Idee deshalb richtig ist. Wenn sie mir widerspricht, heißt das umgekehrt auch nicht automatisch, dass sie recht hat. Das System soll für mich Reibung erzeugen, Möglichkeiten sichtbar machen und Dinge prüfen helfen. Die Entscheidung darüber, was daraus wird, muss trotzdem bei einem Menschen bleiben.
Für das Unternehmen ist das langfristig besonders wichtig, weil wir mit Themen arbeiten, bei denen Menschen sehr verletzlich sein können. Wenn jemand INNENSCHAU nutzt, geht es nicht nur um belanglose Texte oder technische Spielereien. Es können persönliche Geschichten, Beziehungen, psychische Belastungen, symbolische Systeme, Selbstbeobachtung und schwierige Entscheidungen eine Rolle spielen. Gerade dort darf ein Modell nicht so auftreten, als hätte es einen privilegierten Zugang zur Wahrheit über die Person.
Ich halte es für gefährlich, wenn eine KI aus ein paar Angaben plötzlich eine definitive Aussage darüber macht, wer jemand ist, was mit ihm „wirklich“ los ist oder welchen Weg er gehen soll. Das gilt unabhängig davon, ob die Grundlage psychologisch, spirituell, astrologisch oder sonst irgendwie formuliert wird. Eine Deutung kann interessant sein. Eine Hypothese kann hilfreich sein. Eine Beobachtung kann etwas sichtbar machen. Aber daraus sollte nicht automatisch Autorität entstehen.
Genau deshalb möchte ich Systeme bauen, die diese Unterschiede sichtbar halten. Eine symbolische Lesart soll als symbolische Lesart erkennbar bleiben. Eine medizinische Aussage braucht andere Anforderungen als eine persönliche Interpretation. Eine KI-generierte Synthese darf nicht stillschweigend zu einer neuen Tatsache werden. Und wenn mehrere Perspektiven nebeneinanderstehen, muss nicht zwangsläufig eine davon alles andere verdrängen.
Das passt auch zu dem, was ich über die letzten Monate bei meiner eigenen Arbeit gelernt habe. Je mehr Kontext ich einem System gebe, desto leistungsfähiger wird es. Gleichzeitig steigt aber auch die Verantwortung dafür, welche Regeln, Grenzen und Annahmen in diesem Kontext stecken. Ein schlecht gebauter Kontext macht ein Modell nicht neutral. Er macht es nur konsistenter in der falschen Richtung.
Darum reicht es für mich nicht, einfach das leistungsfähigste Modell zu nehmen und zu hoffen, dass es schon vernünftig reagieren wird. Ein gutes System braucht genauso eine Architektur darum herum. Es braucht Grenzen, Quellen, Korrekturwege, unterschiedliche Arten von Aussagen und Stellen, an denen ein Mensch eingreifen muss. Das ist weniger spektakulär als die Vorstellung einer KI, die einfach alles kann, aber wahrscheinlich deutlich näher an dem, was langfristig tatsächlich brauchbar ist.
Ich sehe darin inzwischen auch einen Teil unserer Unternehmensidentität. Wir müssen nicht beweisen, dass KI unfehlbar ist, um mit ihr gute Produkte zu bauen. Im Gegenteil. Ich halte es für glaubwürdiger, von Anfang an einzuplanen, dass sie sich irren kann. Dann wird Korrektur nicht zum peinlichen Ausnahmefall, sondern zu einem normalen Bestandteil des Systems.
Das verändert auch den Anspruch an Veröffentlichung. Wenn wir etwas öffentlich machen, möchte ich nicht nur fragen, ob es gut klingt. Ich möchte wissen, wie es entstanden ist, ob es geprüft wurde, welche Unsicherheiten bestehen und ob wir bereit sind, es später zu korrigieren. Genau das passiert bei unserer Arbeit ohnehin schon ständig. Dinge werden aufgebaut, überprüft, geändert, verworfen und öffentlich nachgezogen, wenn sich etwas als falsch oder unvollständig herausstellt.
Für mich ist das kein Zeichen dafür, dass KI ungeeignet wäre. Eher im Gegenteil. Sie wird dadurch erst wirklich brauchbar. Ein Werkzeug, das nur dann nützlich ist, wenn man so tut, als würde es nie Fehler machen, wäre für mich ziemlich uninteressant. Ein Werkzeug, das sehr viel kann und dessen Fehler man gleichzeitig systematisch auffangen kann, ist deutlich wertvoller.
Deshalb möchte ich KI langfristig weder überschätzen noch kleinreden. Sie hat mir Dinge ermöglicht, die ich vorher über Jahre nicht hinbekommen habe. Sie hilft mir gerade konkret dabei, aus einem ziemlich ungeordneten Leben, einer großen Menge an Material und einer Unternehmensgründung überhaupt ein konsistentes System zu machen. Genau deshalb nehme ich ihre Grenzen so ernst.
Je mächtiger das Werkzeug wird, desto weniger sollte man sich darauf verlassen, dass es von allein vernünftig damit umgeht.