KI-Algorithmen spielen eine immer wichtigere Rolle bei einer Vielzahl wissenschaftlicher Projekte auf der ganzen Welt. Auch am Institute of Science and Technology Austria (ISTA) werden in mehreren Projekten das maschinelles Lernen genutzt, um große Datensätze zu analysieren und wertvolle Erkenntnisse zu gewinnen. Durch den Einsatz von KI können Forscher:innen Aufgaben automatisieren, die andernfalls extrem zeitaufwändig wären, und können so fortschrittliche Fragen in ihren jeweiligen Fachgebieten stellen. Obwohl sich KI als äußerst nützlich erwiesen hat, betonen die Wissenschafter:innen des Instituts, dass angesichts des wachsenden Hypes um KI Vorsicht und Skepsis geboten sind. Sie betonen, dass KI ein Bereich ist, der sich ständig weiterentwickelt und noch in den Kinderschuhen steckt.

„KI/ML ist eine ergänzende Strategie, die es uns ermöglicht, Strukturen in unserem Datensatz zu identifizieren, die wir sonst übersehen würden“, sagt Professor Sandra Siegert. Obwohl sie dem Einsatz von KI bei ihrer Arbeit insgesamt positiv gegenübersteht, ist sie sich der Grenzen von KI bewusst, insbesondere ihrer Tendenz, Verzerrungen zu verstärken.

„Es ist uns bewusst, dass die Eingabe der Daten entscheidend ist. Wenn bestimmte Datenparameter miteinander verbunden sind, kann dies das Ergebnis der Daten verfälschen. Außerdem ist es von entscheidender Bedeutung, die Versuchsdaten mit so vielen Details wie möglich zu versehen. Eine Herausforderung besteht beispielsweise darin, dass in den Studien das ‚Geschlecht‘ des Tieres oft nicht beschrieben wird oder nur eine ungefähre Angabe des Gehirnbereichs gemacht wird, aus dem die Probe entnommen wurde. Es handelt sich dabei aber um biologisch kritische Parameter, die einen großen Einfluss auf die Datenauslesung haben werden,” stellt Siegert fest.

In einer ganz anderen Disziplin sind Assistenzprofessorin Caroline Muller und ihre Gruppe Dynamische Prozesse in Atmosphäre und Ozean weniger besorgt über die Einführung von Verzerrungen. Die Gruppe untersucht globale hochauflösende Klimasimulationen.

Sie setzen KI/ML-Tools ein, um diese riesigen Datensätze zu untersuchen und festzustellen, welche Aspekte der Umgebung eines Sturms diesen eher länglich oder eher kreisförmig werden lassen. „Ich denke, dass KI/ML in den Wissenschaften ein großes Potenzial hat, da wir oft mit großen Datenmengen zu tun haben. Ein Teil der Forschung in den Geowissenschaften stützt sich zum Beispiel auf große Datensätze aus Satellitenbeobachtungen. Diese Ansätze ermöglichen es uns, große Datenmengen sehr effizient zu verarbeiten“, sagt Muller.

„Wir nutzen KI/ML, um physikalische Prozesse zu verstehen, zum Beispiel die Entwicklung von Wolken und Stürmen. Wir verwenden KI/ML nicht für Vorhersagen, daher machen wir uns keine allzu großen Sorgen über Verzerrungen und Fehler. Unser Hauptaugenmerk liegt auf der Interpretation der KI/ML-Ergebnisse und der Sicherstellung, dass sie aus physikalischen Prinzipien heraus verstanden werden können“, fügt sie hinzu.

Wie bei allen Aspekten der KI ist es wichtig, auch ihren Hype zu verstehen. Allgemein wird angenommen, dass KI eine einzige Anlaufstelle ist, die einen Paradigmenwechsel in allem, was wir tun, herbeiführen kann. Dies entspricht bei weitem nicht der Wahrheit. Im besten Fall können die aktuellen KI-Modelle eine große Datenmenge lesen, eine Wahrscheinlichkeitsverteilung erstellen und etwas als wahrscheinlichste Erklärung für das vorschlagen, was diese Daten vermuten lassen. Im schlimmsten Fall sind die Ergebnisse fehlerhaft.

Neben dem maßvollen Einsatz von Deep Learning in mehreren Projekten arbeiten Mathematiker und Informatiker am ISTA-Campus auch an der Verbesserung der KI selbst.

Professor Christoph Lampert, dessen Arbeit sich auf maschinelles Lernen konzentriert, sagt, dass „KI das Potenzial hat, viele niedere Aufgaben zu unterstützen und zu übernehmen sowie als Werkzeug zur Steigerung von Motivation und Kreativität zu dienen“. Gleichzeitig warnt er davor, dass „es bei der KI nicht darum geht, Probleme zu lösen“. Ihre Rolle besteht vielmehr darin, Aufgaben zu automatisieren, und zwar idealerweise so, dass das Ergebnis nicht schlechter oder sogar besser ist, als wenn ein Mensch sie erledigen würde.

Er nennt zwei berühmte Beispiele: AlphaGo, das das Spiel Go besser spielt als jeder Mensch, und AlphaFold, das die dreidimensionale Struktur eines Proteins vorhersagt, sobald es die Informationen über die Aminosäuresequenz erhält, aus denen dieses Protein besteht.

AlphaFold ist ein anschauliches Beispiel dafür, wie KI die Wissenschaft unterstützen kann, aber auch eines, das zeigt, dass man mit einem einzigen Werkzeug im Schuppen nicht sehr weit kommen kann. AlphaFold bietet nur eine Hypothese für die Struktur der Proteinfaltung, die vorgeschlagene Struktur muss noch experimentell verifiziert werden.

Lampert zufolge ist ein Bereich, in dem mehr Forschung notwendig ist, die Tendenz der KI, als Multiplikator bestehender Vorurteile zu wirken. „Wir sehen dies vor allem bei den kürzlich entstandenen großen Sprachmodellen (LLMs) wie ChatGPT, die überwiegend auf (oft verzerrten und falschen) Internetdaten trainiert werden“, sagt er.

Dies ist auch einer der Bereiche, auf die ISTAs neuester Assistenzprofessor in diesem Bereich, Francesco Locatello, abzielt. Seine Forschung konzentriert sich auf die Weiterentwicklung von KI und maschinellem Lernen, um Ursache-Wirkungs-Zusammenhänge zu verstehen. Das ist der nächste große Schritt in der Entwicklung Künstlicher Intelligenz: Kausale KI.

Bislang haben KI-Technologien Schwierigkeiten, kausale Zusammenhänge zu verarbeiten, können nicht zwischen Koinzidenz und Korrelation unterscheiden und sind noch nicht sehr vertrauenswürdig. Locatello und seine Forschungsgruppe wollen das ändern.

Marco Mondelli, Assistenzprofessor und Leiter der Gruppe für Data Science, Machine Learning und Informationstheorie, stellte ebenfalls fest, dass vertrauenswürdige KI und die Robustheit von Modellen ein wichtiges Forschungsthema sind. Jüngste Arbeiten aus Mondellis Gruppe prognostizieren die Robustheit hochdimensionaler Modelle (mit über Millionen von Parametern).

Diese Arbeit hat das Potenzial, den Nutzer:innen bei der Vorhersage zu helfen, welches Modell theoretisch am besten geeignet ist. „Die nächste Generation von Fragen wird hochdimensionale Probleme mit sich bringen: Sowohl Modelle als auch Datensätze werden immer größer, und diese Größe schafft enorme praktische Probleme. Das Training großer Modelle (z. B. LLMs) ist heute etwas, das nur (sehr) wenige Technologieunternehmen leisten können. Ich glaube, dass eine Theorie in dieser Hinsicht hilfreich sein kann, indem sie präzise Garantien für Probleme in hohen Dimensionen bietet“, sagt Mondelli.

Auf der ISTA werden derzeit Anstrengungen unternommen, um die mit der Größe der Modelle verbundenen Probleme zu lösen. Die Alistarh-Gruppe stellte kürzlich ihre Arbeit vor, in der sie ihre SparseGPT-Beschneidungsmethode beschrieb, die die Größe großer Modelle ohne Genauigkeitsverluste reduziert. Während das Modell hinter ChatGPT Firmeneigentum bleibt, wurden andere große Sprachmodelle wie dieses offen verfügbar gemacht – und die Öffentlichkeit ist begierig, damit zu experimentieren.

Mit einem erst kürzlich erhaltenen ERC Proof of Concept Grant wollen Alistarh und sein Team ihre Ansätze nun möglichen Nutzer:innen noch näherbringen.

„Unsere Techniken reduzieren den Overhead beim verteilten Training von ML-Modellen, der bei sehr großen und genauen Modellen sehr hoch sein kann. Wir bringen diese Methoden nun den Praktiker:innen näher. Wir tun dies, indem wir eine Softwarebibliothek aufbauen, die es ihnen ermöglicht, große KI-Modelle effizient auf Standardcomputern zu trainieren.“ In diesem Zusammenhang unterstreicht Alistarh den Einfluss seiner Forschung auf die „Demokratisierung“ der KI.

Professor Herbert Edelsbrunner ist ein Mathematiker, dessen Arbeit im Bereich der topologischen Datenanalyse dazu dienen soll, die KI-Werkzeuge zu verbessern. Es handelt sich um ein Nischengebiet, denn die Mathematik, die Edelsbrunner und seine Gruppe verwenden, ist nicht typisch für die Gemeinschaft der KI-Forscher:innen.

Edelsbrunner ist der Ansicht, dass „die Lücken in der Theorie enorm sind. Kurz gesagt, wir wissen nicht, warum Deep Learning so gut funktioniert, wie es funktioniert“. „Die aktuelle Welle der KI basiert auf sehr erfolgreichen experimentellen Arbeiten, die auf einer Menge Theorie aufbauen“, sagt Edelsbrunner. „Aber die Theorie hinkt hinterher, und es ist dringend notwendig, sie weiterzuentwickeln.“ Laut Edelsbrunner gibt es derzeit viele experimentelle Arbeiten, die Anwendungen im täglichen Leben der Menschen finden, aber diese Arbeiten sind schlecht verstanden und unvorhersehbar.

Hier stimmt er mit Lampert überein, der ebenfalls der Meinung ist, dass die drängenden Fragen in der KI-Forschung derzeit darin bestehen, zu verstehen: wie und warum KI-Systeme tatsächlich funktionieren, anstatt sie nur zu bauen; wie man natürlichere KI-Systeme entwickelt; wie man effizientere KI-Systeme entwickelt; und wie man KI-Systeme für das Gute einsetzen kann.

ISTA-Forscher:innen schätzen das Potenzial der KI sehr, geben aber zu bedenken, dass die KI noch nicht genau definiert ist. Was als KI angesehen wird, hat sich in den letzten Jahrzehnten dramatisch verändert. Die Frage nach einer Definition wird normalerweise nicht gestellt, weder in der populären Vorstellung von KI noch in der KI-Forschung. Obwohl die zur Verfügung stehenden KI-Werkzeuge von Tag zu Tag reichhaltiger zu werden scheinen, ist ein vorsichtiger und zurückhaltender Umgang mit ihrer Zuverlässigkeit angesichts des aktuellen Szenarios das beste Rezept.