Künstliche Intelligenz: Vielleicht denken wir das Ganze falsch.
Über 20 Watt Gehirnleistung, milliardenschwere Rechenzentren und die Frage, warum eine künstliche Intelligenz eigentlich nicht selbst dazulernen darf.
Es gibt Orte, an denen die Menschheit ihre besten Ideen entwickelt. Forschungslabore, Universitäten, Konferenzräume.
Und Toiletten.
Zumindest bei mir beginnen erstaunlich viele Überlegungen auf dem Porzellanthron, werden unter der Dusche weiterentwickelt und anschließend bei einer Gassirunde mit dem Hund auf ihre philosophische Belastbarkeit überprüft.
Diesmal ging es um künstliche Intelligenz.
Genauer gesagt um die Frage, ob wir mit unserem aktuellen Ansatz möglicherweise in die falsche Richtung marschieren.
Immer größer. Immer schneller. Immer mehr Strom.
Wenn heute jemand von künstlicher Intelligenz spricht, meint er meistens ChatGPT, Claude, Gemini oder eines der zahlreichen anderen großen Sprachmodelle.
Large Language Models. LLMs.
Beeindruckende Technik, keine Frage.
Diese Systeme können programmieren, Texte schreiben, komplexe Zusammenhänge erklären und Fragen beantworten, für die ich früher stundenlang im Internet recherchiert hätte.
Aber sie haben eine Eigenschaft, die mich zunehmend beschäftigt:
Sie lernen im normalen Betrieb nicht wirklich dazu.
Ein LLM wird mit gewaltigen Datenmengen trainiert. Dabei entstehen Milliarden von Parametern, in denen sprachliche Muster, Zusammenhänge und Wissen repräsentiert sind.
Anschließend wird das Modell eingesetzt.
Und bleibt im Wesentlichen so, wie es ist.
Natürlich kann man ihm Informationen in einem Gespräch geben. Man kann ein externes Gedächtnis anschließen. Man kann es später weitertrainieren.
Aber wenn ich einem LLM heute etwas beibringe, verändert sich dadurch nicht automatisch seine innere Struktur.
Morgen muss es wieder rechnen.
Und wenn uns die Antwort nicht schnell genug kommt?
Dann kaufen wir stärkere Grafikkarten, optimieren die Berechnungen oder bauen gleich ein größeres Rechenzentrum.
Das funktioniert.
Aber ist es wirklich der einzige Weg?
Der Mensch braucht ungefähr 20 Watt
Beim Kaffeemachen kam mir ein anderer Gedanke.
Wie viel elektrische beziehungsweise stoffwechselbedingte Leistung benötigt eigentlich das menschliche Gehirn?
Ungefähr 20 Watt.
Zwanzig!
Damit können wir sprechen, rechnen, Entscheidungen treffen, Erfahrungen sammeln, uns erinnern, neue Fähigkeiten entwickeln und gelegentlich sogar einen Einkaufszettel vergessen.
Moderne KI-Beschleuniger benötigen dagegen teilweise mehrere Hundert Watt bis über ein Kilowatt pro Gerät. Ganze KI-Server kommen auf mehrere Kilowatt, große Rechencluster entsprechend auf erheblich mehr.
Natürlich ist dieser Vergleich nicht wissenschaftlich sauber. Ein menschliches Gehirn und ein Rechenzentrum sind grundverschiedene Systeme mit unterschiedlichen Aufgaben.
Trotzdem finde ich den Unterschied bemerkenswert.
Die Natur zeigt uns seit langer Zeit, dass leistungsfähige Informationsverarbeitung und kontinuierliches Lernen mit vergleichsweise wenig Energie möglich sind.
Vielleicht sollten wir uns davon mehr abschauen.
Der Lehrling und der Meister
Stellen wir uns zwei Handwerker vor.
Ein Lehrling soll einen Siphon austauschen.
Er holt sein Werkzeug, liest vielleicht noch einmal nach, probiert verschiedene Handgriffe aus, macht Fehler und braucht am Ende einen ganzen Tag.
Der Meister kommt vorbei, schaut sich das Problem an und ist nach zehn Minuten fertig.
Warum?
Nicht weil sein Gehirn mit einer höheren Taktrate läuft.
Und auch nicht, weil er mehr über das Römische Reich weiß.
Sondern weil er über Jahre Erfahrungen gesammelt hat.
Er hat gelernt, welche Handgriffe funktionieren, welche Fehler häufig auftreten und worauf es ankommt.
Er muss nicht bei jeder Reparatur wieder von vorne anfangen.
Er hat nicht einfach mehr Wissen. Er hat Fähigkeiten entwickelt.
Und genau da liegt für mich ein grundlegender Unterschied zu den meisten heutigen LLM-Anwendungen.
Ein Sprachmodell kann mir erklären, wie man einen Siphon austauscht. Es kann mir einen Arbeitsplan erstellen und möglicherweise sogar eine Kameraaufnahme analysieren.
Aber wenn es dieselbe Aufgabe hundertmal bearbeitet, wird es dadurch nicht automatisch zum erfahrenen Handwerksmeister.
Seine trainierten Gewichte bleiben unverändert.
EVE und der Schlamm-Eimer™
Seit einiger Zeit entwickle ich eine lokale KI-Assistentin namens EVE.
Sie kann mit Home Assistant kommunizieren, Informationen recherchieren, Werkzeuge verwenden und sich Dinge über ein eigenes Memory merken.
Ihr bisheriges Gehirn ist ein lokal betriebenes Sprachmodell.
Das funktioniert inzwischen ziemlich ordentlich.
Aber es hat einen Nachteil: Selbst wenn EVE eine Aufgabe bereits hundertmal erfolgreich erledigt hat, muss das Sprachmodell weiterhin wesentliche Teile der Entscheidung neu berechnen.
Wir haben EVE beigebracht, sich zu erinnern.
Aber nicht wirklich, durch Übung besser zu werden.
Parallel dazu gibt es bei mir noch ein anderes Experiment: unseren liebevoll genannten Schlamm-Eimer™.
Darin beschäftigen wir uns mit einfachen künstlichen Organismen, einem Genom, Verbindungen und evolutionären Mechanismen.
Und irgendwann kam die Frage auf:
Warum übertragen wir nicht einige dieser Prinzipien auf EVE?
Nicht um künstliches Leben zu erschaffen.
Sondern um ein System zu entwickeln, das tatsächlich lernt.
Was wäre, wenn EVE ein eigenes Gehirn entwickeln könnte?
Die Idee ist zunächst relativ einfach.
Statt ein riesiges, fertig trainiertes Sprachmodell dauerhaft als zentrale Entscheidungsinstanz zu verwenden, könnte EVE aus einem dynamischen neuronalen Netzwerk bestehen.
Ein grundlegendes Genom würde festlegen, wie dieses Netzwerk lernen und sich verändern darf.
Nicht, was es denken soll.
Nicht, welche Bedeutung ein bestimmtes Wort besitzt.
Und auch nicht, welches Werkzeug bei welcher Anfrage zu verwenden ist.
Die Bedeutung entsteht durch das Lernen des Netzwerks selbst.
Verbindungen könnten entstehen, stärker oder schwächer werden, sich verändern oder irgendwann verschwinden.
Erfolgreiche Erfahrungen würden hilfreiche Verbindungen verstärken. Fehlschläge könnten sie abschwächen.
Natürlich nicht so, dass ein einziger Fehler gleich eine komplette Fähigkeit zerstört.
Das Netzwerk müsste lernen, Erfahrungen einzuordnen, statt blind jede Rückmeldung zu übernehmen.
Und besonders wichtig: Es müsste auch vergessen können.
Vergessen ist keine Schwäche
Wir neigen bei Computern dazu, immer mehr Informationen zu speichern.
Größere Datenbanken. Mehr Speicher. Mehr Modelle.
Aber ein intelligentes System muss nicht zwangsläufig immer größer werden.
Wenn EVE irgendwann eine Fähigkeit nicht mehr benötigt, sollte sie die dazugehörigen Strukturen abschwächen, auslagern oder gegebenenfalls abbauen können.
Dabei dürfen natürlich nicht versehentlich andere Fähigkeiten beschädigt werden, die dieselben Verbindungen nutzen.
Das ist technisch alles andere als trivial.
Aber die Grundidee gefällt mir:
Eine künstliche Intelligenz sollte nicht nur lernen können, was wichtig ist. Sie sollte auch lernen können, was nicht mehr wichtig ist.
Vielleicht wird sie dadurch nicht nur kompetenter, sondern auch effizienter.
Nicht jede EVE muss alles wissen
Eine EVE, die in einem Wohnhaus das Licht schaltet, mit den Bewohnern spricht und die Heizung steuert, muss nicht gleichzeitig C# programmieren können.
Und sie muss auch nicht wissen, wann Leonardo da Vinci geboren wurde.
Sie benötigt grundlegende Fähigkeiten zur Kommunikation und Informationsverarbeitung sowie die Kompetenzen, die sie für ihren Alltag braucht.
Andere Fähigkeiten könnte sie später erwerben.
Vielleicht sogar mithilfe eines großen Sprachmodells.
Denn LLMs wären für so ein System hervorragende Lehrer.
Stellen wir uns vor, EVE soll C# lernen.
Ein LLM vermittelt ihr Grundlagen, stellt Aufgaben, erklärt Fehler und hilft bei Problemen. Ein Compiler und automatisierte Tests überprüfen ihre Ergebnisse.
Irgendwann beherrscht EVE die Fähigkeit selbst.
Dann benötigt sie ihren Lehrer für diese Aufgaben nicht mehr.
Ein bisschen wie Neo in Matrix.
Nur vermutlich ohne den Zehn-Sekunden-Download und mit deutlich mehr Fehlermeldungen.
Und wenn wir das Gelernte kopieren könnten?
Ein menschlicher Handwerksmeister benötigt Jahre oder Jahrzehnte, um seine Fähigkeiten zu entwickeln.
Dieses Erfahrungswissen lässt sich nicht einfach auf einen anderen Menschen kopieren.
Bei einem künstlichen System könnte das anders sein.
Wenn EVE eine Fähigkeit tatsächlich in ihren eigenen neuronalen Strukturen gelernt hat, könnten diese Strukturen grundsätzlich gespeichert und möglicherweise übertragen werden.
Eine EVE lernt Programmierung.
Eine andere lernt die Bedienung komplexer Smart-Home-Systeme.
Eine dritte entwickelt Fähigkeiten zur technischen Fehlerdiagnose.
Nicht jede müsste wieder bei null anfangen.
Natürlich ist das Zusammenführen erlernter neuronaler Fähigkeiten ein schwieriges Forschungsproblem. Fähigkeiten lassen sich nicht immer sauber voneinander trennen.
Aber die Möglichkeit ist faszinierend.
Und wer entscheidet, was EVE gerade braucht?
Hier liegt einer der wichtigsten Punkte unserer Überlegungen.
Ich möchte keinen neuen zentralen Supervisor bauen, der entscheidet, welcher Teil des Netzwerks für eine Aufgabe zuständig ist.
Auch keine Sammlung fest programmierter Regeln, die bestimmte Wörter erkennen und daraufhin bestimmte Funktionen ausführen.
Das wäre nur unser bisheriger Agent in anderer Verpackung.
Das Netzwerk muss selbst lernen, welche seiner Strukturen und Fähigkeiten in einer bestimmten Situation relevant sind.
Einzelne Bereiche könnten Sprache erkennen, Informationen verarbeiten oder auf Werkzeuge zugreifen.
Aber die Bedeutung und die Entscheidung sollen aus dem Zusammenspiel des gesamten Netzwerks entstehen.
Wie man so etwas zuverlässig realisiert, ist noch offen.
Wird das tatsächlich funktionieren?
Keine Ahnung.
Und das meine ich ausdrücklich so.
Es gibt bereits Forschungsrichtungen, die sich mit kontinuierlichem Lernen, neuronaler Plastizität, selbstorganisierenden Netzwerken und energieeffizienter Informationsverarbeitung beschäftigen.
Wir erfinden diese Themen also keineswegs neu.
Was ich noch nicht weiß, ist, ob sich daraus ein System entwickeln lässt, das unsere Anforderungen tatsächlich erfüllt.
Vielleicht benötigen wir weiterhin ein kleines Sprachmodell.
Vielleicht wird unser neuronales Netzwerk bei komplexen Aufgaben langsamer als ein heutiges LLM.
Vielleicht stellen wir fest, dass bestimmte Fähigkeiten auf unserer vorhandenen Hardware überhaupt nicht sinnvoll erlernbar sind.
All das ist möglich.
Aber genau deshalb möchte ich es untersuchen.
Eine RTX 3060 gegen die Welt
Unsere Entwicklungsumgebung ist überschaubar.
Ein Ryzen 7 5700X, 64 GB Arbeitsspeicher und eine NVIDIA RTX 3060 mit 12 GB VRAM.
Kein Supercomputer.
Kein milliardenschweres Forschungsbudget.
Und vermutlich auch kein Nobelpreis in Sicht.
Aber wir haben eine funktionierende EVE, ein vorhandenes Memory, Werkzeuge, einen experimentellen Schlamm-Eimer™ und die Möglichkeit, bestehende KI-Modelle als Lehrer einzusetzen.
Vielleicht gelingt es uns, ein kleines neuronales System zu entwickeln, das eine neue Fähigkeit erwirbt, sie dauerhaft behält und durch wiederholte Anwendung schneller wird.
Vielleicht kann es irgendwann sogar unnötige Strukturen vergessen, ohne seine übrigen Fähigkeiten zu verlieren.
Das allein wäre für mich bereits ein bemerkenswerter Erfolg.
Denn dann hätten wir nicht einfach ein weiteres Sprachmodell ausgeführt.
Wir hätten ein System gebaut, das durch Erfahrungen seine eigenen Fähigkeiten verändert.
Vielleicht stellen wir einfach die falsche Frage
Der aktuelle KI-Wettbewerb dreht sich häufig darum, wer das leistungsfähigste Modell, die meisten Parameter oder die größte Recheninfrastruktur besitzt.
Und diese Entwicklung hat zweifellos beeindruckende Ergebnisse hervorgebracht.
Aber vielleicht sollten wir häufiger eine andere Frage stellen:
Wie bauen wir eine künstliche Intelligenz, die morgen mehr kann als heute, ohne dafür zwangsläufig mehr Rechenleistung zu benötigen?
Ein guter Handwerker wird nicht mit jedem Berufsjahr mit einem größeren Gehirn ausgestattet.
Er lernt.
Vielleicht sollten wir versuchen, unseren Maschinen genau das beizubringen.
Und wenn am Ende nur herauskommt, dass unsere Idee grandios scheitert?
Dann haben wir immerhin etwas gelernt.
Was uns dem Schlamm-Eimer™ bereits einen entscheidenden Schritt vorausbringt.
AgainstMainstream.de – Gedanken zwischen Kaffeemaschine, Porzellanthron und Grafikkarte.
Fortsetzung möglicherweise irgendwann. Sobald wieder Kaffee und Milch im Haus sind.