KI: Wie Sprachmodelle Logikprobleme lösen helfen – ohne sie zu verstehen

Große Sprachmodelle wie ChatGPT oder Copilot gelten als leistungsfähig bei Texten, nicht jedoch bei streng logischen Aufgaben. Eine aktuelle Forschungsarbeit der Technischen Universität Wien zeigt nun einen unerwarteten Zusammenhang: Large Language Models (LLMs) können andere Programme dabei unterstützen, komplexe Logikprobleme schneller und teils besser zu lösen – obwohl sie diese Probleme selbst nicht „verstehen“.

Die Studie, veröffentlicht im Journal of Artificial Intelligence Research, entstand im Rahmen des Doktoratskollegs iCAIML, das Methoden aus Artificial Intelligence und Machine Learning zusammenführt. Im Zentrum steht die Frage, wie unterschiedliche Ansätze der Künstlichen Intelligenz (KI) sinnvoll kombiniert werden können.

„Um zu sehen, wie überraschend unsere Entdeckung ist, lohnt sich ein Blick auf zwei völlig unterschiedliche Welten der Künstlichen Intelligenz“, sagt Florentina Voboril vom Institut für Logic and Computation der TU Wien, die im Team von Prof. Stefan Szeider an ihrer Dissertation arbeitet.

Bei sogenannten symbolischen KI-Systemen werden Probleme in formale, mathematische Sprachen übersetzt. Der Computer arbeitet anschließend strikt nach logischen Regeln, um aus vielen Möglichkeiten die beste Lösung zu finden – etwa bei Sudokus, Schichtplänen oder anderen Optimierungsaufgaben.

Demgegenüber stehen sub-symbolische Systeme wie LLMs. Sie folgen keinen explizit einprogrammierten Regeln, sondern leiten ihr Verhalten aus großen Datenmengen ab, mit denen sie trainiert wurden. Zwar können sie Sprache generieren, ihre Entscheidungen sind im Nachhinein jedoch nicht logisch nachvollziehbar. Für klassische Logikaufgaben galten sie daher lange als wenig geeignet.

An diesem Punkt setzt die Forschung der TU Wien an. In symbolischen KI-Systemen existieren oft extrem viele mögliche Lösungswege, die nicht vollständig durchprobiert werden können. Hilfreich sind daher Zusatzregeln, die bestimmte Varianten frühzeitig ausschließen. Diese sogenannten „Streamliner“ reduzieren den Suchraum und führen schneller zu besseren Ergebnissen.

„Stellen wir uns vor, wir müssen den kürzesten Weg durch ein Labyrinth finden“, erklärt Voboril. „Wenn wir wissen, dass bestimmte Bereiche gar nicht mit dem Ausgang verbunden sind, können wir sie von vornherein ausschließen.“

Die Forschenden nutzten LLMs, um genau solche Streamliner zu identifizieren. Dazu übergaben sie den Code, der normalerweise von symbolischer KI verarbeitet wird, an ein Sprachmodell. Dieses führt den Code nicht aus und kann das zugrunde liegende Problem nicht im eigentlichen Sinn nachvollziehen. Dennoch schlägt es Zusatzregeln vor, die in den Code integriert werden können.

Das Ergebnis: Bestimmte Logikprobleme ließen sich auf diese Weise deutlich schneller lösen als mit symbolischer KI allein. In einem Fall wurden sogar neue Bestlösungen erzielt, die besser waren als alle zuvor bekannten.

„Wir konnten auf diese Weise bestimmte Probleme deutlich schneller lösen als bisher“, sagt Voboril. Die Kombination zweier bislang weitgehend getrennt betrachteter KI-Ansätze eröffne ein neues Feld der Forschung.

Langfristig könnten solche hybriden Systeme nicht nur theoretische Probleme bearbeiten, sondern auch praktische Anwendungen beschleunigen – etwa in der Logistik, bei der Schichtplanung oder im Gesundheitswesen. Entscheidend ist dabei nicht, dass Sprachmodelle Probleme verstehen, sondern dass sie Muster erkennen, die anderen Systemen bislang verborgen geblieben sind.