von
Die Fähigkeit, künftige Beobachtungen vorherzusagen, spielt etwa beim Maschinellen Lernen oder in der biologischen Forschung eine große Rolle. Ein KI-Agent, der Informationen sammelt und "passiv" verarbeitet, kann laut früheren Studien nur dann eine thermodynamisch optimale Leistung erzielen, wenn er sich stets auf Vorhersagen ausrichtet und sich die Informationen aus früheren Beobachtungen merkt, um zukünftige Beobachtungen zu antizipieren. Anders ist es bei aktiven KI-Systemen, also Agenten oder Chatbots, die mit ihrer Umgebung im Dialog stehen.
Das legt nun die Studie des Innsbrucker Teams, die die fundamentalen, thermodynamischen Grenzen der Informationsverarbeitung dieser aktiven Systeme auslotet, nahe: Wenn diese Systeme über alle für eine optimale Vorhersage erforderlichen Informationen verfügen, können sie eben nicht die bestmögliche Effizienz erzielen.
Für Energieeffizienz müssen sie Informationen aus früheren Aktionen vergessen. Mitunter auch jene Informationen, die ihre Vorhersagen treffsicherer machen würden. Das ist ein Dilemma: Thermodynamisch ist es gut, sich möglichst wenig von seinen eigenen Aktionen zu merken, und die optimale Vorhersage wäre wiederum in manchen Fällen nur möglich, wenn man sich auch seine Aktionen einprägt. Es geht also letztlich um ein gut austariertes Gleichgewicht von Vorhersage und Vergessen.
"Im Moment sind den KI-Systemen bei ihrer Leistung vor allem noch technologische Grenzen gesetzt. Aber wenn man die Technologie immer weiter auf Energieeffizienz optimiert, können diese fundamentalen Grenzen zunehmend relevant werden", sagte Erstautor Lukas Fiderer zur APA. Der Nachweis der thermodynamischen Grenzen gelang ihm und seinen Kollegen theoretisch, nämlich über ein von ihnen entwickeltes mathematisches Modell, das den Austausch von KI-Agenten und anderen autonomen KI-Systemen mit ihrer Umgebung und in ihren Wechselwirkungen erfasst.
Doch warum ist es nun thermodynamisch gut, sich möglichst wenig von seinen eigenen Aktionen zu merken? Information sei stets in einem physikalischen System gespeichert, so Fiderer. "Führt ein KI-Agent die Informationsverarbeitung durch, muss er dieses physikalische System verändern. Und je nachdem, wie diese Verarbeitung abläuft, kann er dabei auch Energie gewinnen."
Könne der Agent vorhersagen, welche Beobachtung er als nächstes mache, könne er die Informationsverarbeitung auf den erwarteten Ausgangszustand dieses physikalischen Systems abstimmen. Wenn der Agent das physikalische System anschließend "kontrolliert von einem bekannten in einen zufälligen Zustand überführt, kann es dabei Wärme aus der Umgebung aufnehmen und in nutzbare Energie umwandeln". Der Zustand des Systems sei anschließend weniger genau bekannt - die Energiegewinnung gehe hier also mit einer Form des Vergessens einher. Wird das System wieder in einen bestimmten, bekannten Zustand gebracht, sei das wieder mit Energieaufwand verbunden: "Das System arbeite wie eine kleine Maschine."
Über das Modell suchten die Forscher nach der thermodynamisch optimalen Strategie, wie Agenten ihren Input und ihren Output an Informationen bestmöglich managen könnten: "Wenn ein Agent mit seiner Umgebung interagiert, kann der energetische Nachteil des Erinnerns den Nutzen besserer Vorhersagen überwiegen. Dann ist Vergessen energetisch günstiger", so Fiderer.
"Die aktuelle Computerarchitektur ist noch ein paar Größenordnungen von einer Energieeffizienz entfernt, bei der Vergessen aus thermodynamischen Gründen wichtig werden kann. Diese sehr kleinen energetischen Änderungen, die wir ausrechnen, spielen hier noch keine entscheidende Rolle. Aber das könnte künftig einmal anders sein", so Fiderer, der einen experimentellen Nachweis des Effekts auch schon mit heutigen Methoden für möglich hält. Als nächstes stellt sich ihm die Forschungsfrage, "was ein Agent eigentlich vergessen soll und in welchen Fällen es eigentlich dieses Vergessen braucht".
Service: https://doi.org/10.1103/7nds-tjr8
