Vor einem Jahr haben wir die Möglichkeiten von ChatGPT & Co. für die Finanzberichterstattung aufgezeigt – und die Schwächen analysiert. Was geht heute, was vor einem Jahr noch nicht ging? Und was sind die nächsten Schritte?
Die KI als Co-Pilot neben dem Finanzentscheider? Künftig wird sie immer mehr Aufgaben übernehmen können – und dabei immer wertstiftender. Foto: adobe stock
700.000 Wörter je Prompt
Kann das Google-KI-Modell „Gemini 1.5 Pro 1M“ verarbeiten – mehr als 7-mal so viel wie GPT4 von OpenAI.
Mindestens 2,5 Millionen US-Dollar dürfte Bloomberg in die Entwicklung einer eigenen Finanz-KI gesteckt haben, schätzen Experten. Nicht einmal ein Jahr seit der Vorstellung Ende März 2023 hat es gedauert, bis klar wurde: ChatGPT und GPT-4 sind besser. Die „Generalisten-KI“ hat die Spezial-KI des Finanzdatenriesen Bloomberg ausgerechnet in ihrer Domäne, der Finanzberichtanalyse, geschlagen. Inzwischen gibt es sogar erste große Sprachmodelle, die auch den Platzhirsch GPT-4 in einigen Disziplinen übertreffen. Das Rennen um Intelligenz, Genauigkeit und Einsatzbreite von KI-Modellen ist in vollem Gange. Die Fortschritte sind bemerkenswert. Sind damit die Einschränkungen von KI, auf die wir vor einem Jahr in unserem Beitrag hingewiesen hatten, beseitigt?
Drei Schwächen waren besonders augenfällig bei den damaligen Sprachmodellen: Halluzinationen, eine begrenzte Datenmenge sowie eine Vermischung interner und externer Daten. Bereits mit GPT-4 sind Halluzinationen – herbeiphantasierte Aussagen, die meist plausibel klingen – im Vergleich zum Vorgänger GPT-3.5 deutlich zurückgegangen. Die Integration von Internetrecherche war ebenfalls hilfreich. Doch es geht noch besser: Das jüngste Modell von Anthropic, „Claude 3 Opus“, zeigt in ersten Tests noch weniger Halluzinationen, also herbeiphantasierte Aussagen der KI. Bald dürfte die Fehlerquote von Sprachmodellen niedriger sein als die des Durchschnittsmenschen (der allerdings in der Finanzabteilung selten sein dürfte). Anders als man es von Computern gewohnt ist, werden KI-Sprachmodelle aber wohl bis auf Weiteres nicht fehlerfrei sein. Die Grundschwierigkeit bleibt, dass sich Menschen bei weniger Halluzinationen noch häufiger auf die KI-Aussagen verlassen und auf eine Qualitätsprüfung verzichten werden.
Das Problem mit der Datenmenge – die KI kann nur relativ kleine „Kontextfenster“ bei der Verarbeitung von Befehlen, den Prompts, wirklich berücksichtigen – ist ebenfalls deutlich geschrumpft. Damit lässt sich die KI direkt mit mehr Vorwissen füttern. Das Google-KI-Modell „Gemini 1.5 Pro 1M“ kann angeblich bereits einen Prompt im Umfang von 700.000 Wörtern oder einer Stunde Video verarbeiten – mehr als 7-mal so viel wie das aktuell beste GPT-Modell von OpenAI. Bislang wird die Kontext-Einschränkung durch eine „Retrieval-augmented Generation“ (RAG) umgangen: Die KI greift auf umfangreiche hinterlegte Daten zurück. Doch Tests zeigen, dass die Künstliche Intelligenz die Daten zwar ähnlich einer Suchmaschine durchsuchen kann, aber Schwierigkeiten bei der Erfassung von Zusammenhängen hat. Konkret heißt das, dass eine Anfrage per RAG nach dem EBIT der Niederlassung in Spanien problemlos funktionieren sollte. Eine Antwort auf die Frage „In welchen Niederlassungen gibt es Auffälligkeiten?“ dürfte aber auch der KI Schwierigkeiten bereiten.
Da ist der größere Kontext, der aber erheblich mehr Rechenkapazität benötigt, im Vorteil. Allerdings wurden bislang bei längerem Kontext Informationen nicht gleichberechtigt berücksichtigt, sondern abhängig von ihrer Position im Kontext. So ist auch der dritte Schwachpunkt, die Vermischung von in- und externen Daten, nicht vollständig ausgeräumt: Es besteht die Gefahr, dass die KI korrekte Daten aus eingebundenen Dokumenten neben halluzinierte oder veraltete Daten aus dem ursprünglichen Trainingssatz des Modells stellt. Das passiert allerdings seltener als vor einem Jahr.
Haben 2023 viele Unternehmen damit verbracht, die Möglichkeiten – oft genug mit enttäuschten Erwartungen – zu testen, dürfte 2024 die Nutzung von Künstlicher Intelligenz immer mehr Teil des Arbeitsalltags werden. Dafür muss aber die Bedienung vereinfacht werden. Das geschieht zum einen durch die Einbindung in etablierte Software wie SAP oder MS Office. Microsoft rollt gerade den „Copilot for Finance“ aus, der KI in Excel (und andere bekannte Office-Anwendungen wie Outlook und Word) integriert. Aktuell sind die Funktionen sehr überschaubar – lediglich eine Zusammenführung von zwei Tabellen von geringer Komplexität ist bislang möglich. Schon bald sollen auch Varianzanalysen möglich werden. Die Zufriedenheit mit „Copilot“ hält sich bislang in sehr engen Grenzen. Aber „Copilot“ steht erst am Anfang.
Spannende Informationen und relevante Themen aus der Wirtschaft und Finanzwelt in kompakter Form für Ihren unternehmerischen Alltag und für Ihre strategischen Entscheidungen.
Wir machen Wirtschaftsthemen zu einem Erlebnis.
Der Finanzchef wird in Zukunft dank KI nicht nur drei Standard-Szenarien durchrechnen, sondern viele unterschiedlichste Ereignisse und deren Auswirkungen simulieren.
Zugleich arbeiten die Hersteller von KI-Modellen daran, die Intention von Anfragen besser zu verstehen. War vor einem Jahr der „Prompt Engineer“, der Experte für die richtige Formulierung von Eingaben an die KI, hoch gehandelt, sollen dessen Tage schon wieder gezählt sein. Ganz so schnell dürfte es jedoch noch nicht gehen, denn bislang benötigt ChatGPT beispielsweise noch eine „Chain of Thought Prompt“ (CoT), um bestimmte Aufgaben besser zu lösen. Dabei gibt der Nutzer der KI vor, in welchen Schritten sie das Problem angehen soll. Kommende Modelle könnten aber zum Beispiel CoT automatisiert ausführen oder aus der persönlichen Prompt-Historie die Nutzerintention besser verstehen.
Der Einsatz von Künstlicher Intelligenz in der Finanzberichterstattung zur Texterstellung oder bei der einfachen Analyse begrenzter Datenmengen wird 2024 selbstverständlicher werden. Doch ist das erst ein Bruchteil der Möglichkeiten. Besonders interessant wird die Möglichkeit, komplexe Szenarien zu erstellen und zu analysieren. Der Finanzchef kann dann dank KI nicht nur drei Standard-Szenarien durchrechnen, sondern unterschiedlichste Ereignisse und deren Auswirkungen simulieren. So lässt sich in ganz unterschiedlichen Bereichen – vom Geschäftsmodell über die Finanzierungsstruktur bis zur Cybersicherheit – das Risikomanagement verbessern. Damit dies möglich wird, braucht es aber noch deutlich mächtigere Sprachmodelle. Bessere KI benötigt in aller Regel mehr Daten und viel mehr Rechnerkapazität. Beides ist sehr teuer, Daten sind immer schwerer verfügbar. Das liegt zum einen an Datenschutz- und Copyright-Einschränkungen, zum anderen liegen in bestimmten Bereichen insgesamt nur wenige Daten vor. Mancher glaubt daher, dass die Weiterentwicklung von KI-Modellen dadurch langsamer werden wird. Schließlich habe es ein ganzes Jahr gedauert, bis neue Modelle die Qualität von GPT-4 erreichen konnten.
Doch das Datenproblem wird zunehmend mit synthetischen Daten gelöst werden. Schon heute gibt es eine Vielzahl von Unternehmen, die sich – nicht zuletzt mithilfe von KI selbst – auf die Datengenerierung spezialisiert haben. Das ist insbesondere im Finanzbereich mit seinen besonders vertraulichen Daten und entsprechend begrenzten Datensätzen wichtig, um seltene Fälle bei Modellen für Fraud Detection oder anderen Risikoberechnungen berücksichtigen zu können. Ein zweiter erfolgversprechender Ansatz ist die „Mixture of Experts“: Dabei werden mehrere kleine Spezialmodelle an ein Gate-Netzwerk angebunden. Eine Eingabe an das System wird vom Gate analysiert und dann bei Bedarf an einen oder mehrere Experten weitergegeben. Am Schluss werden die Antworten zu einer Gesamtantwort kombiniert. So kann vermieden werden, dass stets das gesamte Modell in seiner Komplexität aktiv werden muss. Der französische KI-Entwickler Mistral hat auf diese Weise mit relativ kleinem Aufwand sehr bemerkenswerte Ergebnisse erzielt.
Dennoch dürfte es für Unternehmen schwierig werden, eine KI zu entwickeln, die mit den großen Sprachmodellen mithält – insbesondere im Bereich generativer Sprachmodelle wie GPT-4 oder Claude 3 Die meisten Finanzabteilungen sind daher bis auf Weiteres gut beraten, sich mit den Möglichkeiten aktuell verfügbarer KI-Modelle zu befassen und nicht nur in wenigen Pilotprojekten, sondern auch in der Breite Erfahrungen zu sammeln. Auch wenn die Ergebnisse in vielen Bereichen noch zu wünschen übrig lassen, kann Künstliche Intelligenz die Mitarbeiter der Finanzabteilung insbesondere in den Bereichen unterstützen, in denen sie weniger versiert sind. Dadurch kann das Team entlastet werden und sich auf Kernaufgaben konzentrieren – in Zeiten des Fachkräftemangels und angesichts der außerordentlichen Belastungen der Finanzabteilung derzeit ein nicht zu verachtender Vorteil.
04/2024
Chefredaktion: Bastian Frien und Boris Karkowski (verantwortlich im Sinne des Presserechts). Der Inhalt gibt nicht in jedem Fall die Meinung des Herausgebers (Deutsche Bank AG) wieder.
