LLM oder Business as usual?

Kaum ein Tag vergeht ohne neue Schlagzeilen zu Künstlicher Intelligenz (KI). Viele unserer Kunden fragen sich derzeit: Können wir von Large Language Models (LLMs) profitieren? Diese sprachbasierten Modelle sind zwar nur ein Teilbereich von KI – derzeit aber der wohl sichtbarste.

Prozessbeschleunigung, Wissensmanagement, Automatisierung – das Potenzial scheint riesig. Die Versuchung, „irgendetwas mit KI“ zu machen, ist groß. Doch eine neue Technologie allein ist kein Fortschritt. Sie wird es erst, wenn sie auf ein konkretes Problem trifft – und dort besser löst, was vorher nicht oder nur umständlich ging.

LLMs sind keine Softwareprogramme im klassischen Sinn. Sie funktionieren nicht deterministisch. Es gibt keinen fest programmierten Ablauf, keine regelbasierte Kette von „Wenn A, dann B“. Stattdessen generieren sie Antworten auf Basis von Wahrscheinlichkeiten, die sie in Trainings aus Mustern riesiger Datenmengen erworben haben. Wie jemand, der tausende Bücher gelesen und ein sehr gutes Gefühl für Sprache erlangt hat – ohne je Grammatikregeln formal gelernt zu haben.

Ein LLM hat kein echt erfahrenes Weltwissen oder Meinungen. Es „weiß“ nicht, was richtig oder falsch ist, sondern antwortet basierend darauf, was wahrscheinlich gut in den Kontext passt. Deshalb passiert es auch, dass ein Modell auf eine Frage eine Antwort liefert, die grammatisch perfekt und plausibel erscheint, aber faktisch komplett daneben ist. Man spricht von „Halluzination“. Und nein: Das ist kein Bug – das ist ein Feature. Es liegt in der Natur der Technologie.

LLMs eignen sich dort am besten, wo es um Verständnis, Strukturierung oder kreative Kombination in natürlicher Sprache geht. Nicht um exakte Fakten.

Behandelt man LLMs also wie klassische Software, wird man zwangsläufig enttäuscht. Versteht man hingegen deren Spielräume und Eigenheiten, eröffnen sich wunderbare Möglichkeiten.

Ein typischer Wunsch in KI-Projekten: „Wir haben so viele interne Daten, die müsste das LLM doch einfach nutzbar machen.“ Klingt logisch. Funktioniert aber nicht ohne Weiteres. LLMs werden nicht automatisch bessere Helfer durch mehr Daten, sondern durch die Qualität und Struktur der Informationen. Entscheidend ist, wie die Daten aufbereitet, verknüpft und kontextgerecht bereitgestellt werden.

Wer Wissen intern durch LLMs nutzbar machen will, muss es so aufbereiten, dass es für ein Sprachmodell gut konsumierbar ist. Das ist oft der eigentliche Knackpunkt.

Richtig eingesetzt, können LLMs interne Prozesse massiv beschleunigen, z. B.:

• Sie helfen dabei, den Zugang zu internem Wissen aus Handbüchern, Wikis und anderen Quellen zu erleichtern.
• Sie entlasten Teams bei Standardaufgaben (z. B. im Support, Vertrieb oder Projektalltag)
• Sie dienen als interaktives Interface für komplexe Systeme.

Aber: LLMs sind keine verlässliche Wissensquelle. Sie generieren, sie fassen zusammen, sie formulieren. Sie urteilen nicht im menschlichen Sinne. Sie prüfen nicht faktenbasiert. Daher sollten sie keine finalen Entscheidungen treffen, die Compliance, Sicherheit, rechtliche oder finanzielle Verbindlichkeiten betreffen.

Auch sogenannte (Multi-)Agentensysteme – Architekturen, in denen LLMs selbstständig Aufgaben planen, Tools und Kontrolllogik nutzen – ändern daran nichts grundlegend. Sie erweitern die Einsatzmöglichkeiten, nicht zwangsläufig die Verlässlichkeit der Antworten. Ihre „Entscheidungen“ beruhen nicht auf echtem Verständnis. Das macht sie hilfreich bei klar abgegrenzten Aufgaben, aber nicht vertrauenswürdig im Sinne sicherheitskritischer oder rechtlicher Verantwortung.

LLMs sind auf Sprache trainiert. Andere Datenformen wie Bilder, Videos oder Sensorwerte erfordern mitunter andere Modelltypen. Nicht jede Fragestellung im Unternehmen ist also automatisch ein Fall für ein klassisches LLM.

Es gibt verschiedene Wege, ein Large Language Model intern zu betreiben oder in bestehende Systeme zu integrieren – und die technologische Entwicklung schreitet rasant voran. Zu den derzeit gängigen Optionen zählen:

• Self-Hosting: Maximale Kontrolle über Daten und Infrastruktur – ideal bei hohen Datenschutzanforderungen. Erfordert jedoch leistungsfähige Hardware, technisches Know-how und kontinuierlichen Wartungsaufwand.

• Cloudbasierte Lösungen: Schnell einsatzbereit, skalierbar und wartungsarm. Dafür ist die Datenkontrolle eingeschränkt, da Modell und Infrastruktur extern betrieben werden.

• Hybride Ansätze: Eigene Daten verbleiben intern, während die Modellverarbeitung über Cloud Services erfolgt – oft ein guter Kompromiss zwischen Kontrolle und Effizienz.

Welche Variante passt, hängt stark von Datenschutzanforderungen, technischer Infrastruktur und natürlich dem Use Case ab. Allgemein lässt sich sagen: Je sensibler die Daten, desto mehr Aufwand wird nötig – technisch wie organisatorisch.

Die Frage nach den Kosten ist vielschichtig: Infrastruktur, Nutzungsfrequenz, Datenpflege und Aktualisierungszyklen, Modellpflege und -training, aber auch organisatorische Veränderungen und interne Kompetenzentwicklung spielen eine Rolle. Ein realistisches Bild der Kosten enthält daher nicht nur primär finanzielle, sondern auch zeitliche und organisatorische Aspekte.