Open-Source-LLMs für Unternehmen: Datensouveränität ohne Cloud-Zwang

Open-Source-LLMs sind 2026 erstmals gut genug für den Geschäftseinsatz, und drastisch günstiger als die US-Flaggschiffe. Das beste offene Modell liegt nur noch rund vier Monate hinter der geschlossenen Spitze, und selbst Microsoft prüft DeepSeek für sein Copilot-Angebot, um Kosten zu senken. Ein Open-Source-LLM ist dabei ein Sprachmodell mit frei verfügbaren Gewichten, das ein Unternehmen auf eigener Infrastruktur betreiben kann. Für Schweizer KMU verschiebt das die Frage weg von reiner Leistung hin zu Kontrolle, Datensouveränität und planbaren Kosten. Mit GLM-5.2, DeepSeek V4, Mistral und dem Schweizer Apertus stehen reife Optionen bereit, dieser Beitrag zeigt, wann sich der Schritt lohnt, was er kostet und wo die Grenzen liegen.

→ zum Überblick KI im Marketing strategisch einordnen

>

Open Source oder Open Weights? Der entscheidende Unterschied

Ein Open-Source-LLM und ein Open-Weights-Modell sind nicht dasselbe. Offene Gewichte bedeuten, dass die trainierten Modellparameter frei heruntergeladen und selbst betrieben werden dürfen. Echtes Open Source verlangt zusätzlich offene Trainingsdaten, offenen Code und eine permissive Lizenz. Die meisten bekannten Modelle sind Open Weights, nicht vollständig Open Source. Dieser Unterschied entscheidet über Nachvollziehbarkeit und rechtliche Sicherheit. Der Begriff Open Source wird im KI-Markt grosszügig verwendet. Wer Datensouveränität ernst nimmt, sollte drei Ebenen trennen, weil jede eine andere Frage beantwortet: Kann ich das Modell selbst betreiben? Darf ich es kommerziell nutzen und anpassen? Und kann ich nachvollziehen, womit es trainiert wurde?

Die drei Offenheitsgrade

• Offene Gewichte: Die Parameter sind verfügbar, das Modell läuft auf eigener Hardware. Trainingsdaten und Code bleiben oft geschlossen.
• Offene Lizenz: Eine permissive Lizenz wie Apache 2.0 oder MIT erlaubt kommerzielle Nutzung, Anpassung und Weitergabe ohne Tantiemen.
• Volle Transparenz: Zusätzlich sind Trainingsdaten, Trainingscode und Zwischen-Checkpoints offengelegt. Das ist die Ausnahme, nicht die Regel.

Für ein Unternehmen ist die Lizenz die geschäftskritische Ebene. Eine MIT- oder Apache-2.0-Lizenz gibt Rechtssicherheit für den produktiven Einsatz. Modelle mit eigenen, eingeschränkten Lizenzen können Umsatzgrenzen oder Nutzungsklauseln enthalten, die vor dem Pilotbetrieb geprüft werden müssen.

Kurz zusammengefasst: Offene Gewichte geben Kontrolle über den Betrieb, eine offene Lizenz gibt Rechtssicherheit, volle Transparenz gibt Nachvollziehbarkeit. Für die meisten KMU sind die ersten beiden Ebenen ausreichend und entscheidend.

Stand Juni 2026: Die führenden offenen Modelle

Im Juni 2026 führt GLM-5.2 von Z.ai die offenen Modelle an. Es erreicht im Artificial-Analysis-Intelligence-Index einen Wert von 51 und liegt damit gesamthaft auf Rang 4, hinter den proprietären Spitzenmodellen Claude Fable 5, Claude Opus 4.8 und GPT-5.5. Der Abstand offener zu geschlossener Spitze ist klein geworden. Für viele Geschäfts-Use-Cases ist er nicht mehr ausschlaggebend. Die Dynamik ist hoch. Im Frühjahr und Sommer 2026 sind mehrere starke offene Modelle erschienen, die proprietäre Spitzenwerte bei einzelnen Aufgaben erreichen, etwa beim Programmieren. Die folgende Übersicht ordnet die wichtigsten Optionen nach dem für Unternehmen relevanten Kriterium: Lizenz und Betreibbarkeit, nicht nur Rohleistung.

*Stand: 20. Juni 2026. Quelle für Index-Einordnung: Artificial Analysis Intelligence Index v4.1. Open Source bewegt sich wöchentlich, die Live-Werte zeigt die Grafik unten. Architekturangaben gemäss Anbieter-Dokumentation.

Zweite Perspektive: echte Software-Aufgaben. Der DeepSWE-Benchmark von Datacurve misst, ob Modelle neu erstellte, kontaminationsfreie Programmieraufgaben lösen. Für mehrstufige Automations-Workflows ist das ein guter Zuverlässigkeits-Indikator. Die folgende Grafik zeigt offene und proprietäre Modelle nebeneinander und macht sichtbar, wie nah die offene Spitze inzwischen liegt.

Eine genaue Einordnung aller proprietären Anbieter, von GPT über Gemini bis Claude, liefert der separate Vergleich der ChatGPT-Alternativen. Wer Datensouveränität ins Zentrum stellt, liest hier weiter. Für die Einordnung der Leaderboard-Werte ist die unabhängige Messung von Artificial Analysis zum offenen Spitzenmodell GLM-5.2 eine verlässliche Quelle. Entscheidend bleibt: Der Indexwert sagt nichts über die Passung zu Ihrem Use Case.

Wie gross ist der Zeitvorsprung der Frontier-Modelle?

Der Vorsprung der proprietären Spitze ist real, aber klein geworden. Nach Daten von Epoch AI liegen die besten offenen Modelle seit Januar 2026 im Schnitt rund vier Monate bzw. rund 8 Punkte hinter den führenden geschlossenen Modellen, gemessen am Epoch Capabilities Index (ECI). Eine detaillierte Auswertung über 17 Benchmarks (H. T. Ihle) zeigt das Bild differenziert: Auf öffentlichen Benchmarks liegen offene Modelle rund vier bis sechs Monate zurück, auf privaten, schwerer zu optimierenden Tests eher acht bis zehn. Am kleinsten war der Abstand um DeepSeek R1 (Januar 2025), seither wächst er wieder leicht, bleibt für die Praxis aber überschaubar.

Für die Praxis heisst das: Wer nicht zwingend das absolut beste Modell braucht, arbeitet mit einem offenen Modell auf einem Stand, den die proprietäre Spitze vor wenigen Monaten hatte. Bei den meisten Geschäfts-Use-Cases ist dieser Abstand ohne Bedeutung, weil die Aufgabe nicht am letzten Fähigkeits-Prozent scheitert, sondern an Integration, Daten und Betrieb. Genau das stützt den hybriden Ansatz: das offene Modell für den Normalfall, die proprietäre Spitze nur dort, wo die vier Monate wirklich zählen.

Die führenden offenen Modelle im Profil

Hinter den Tabellenwerten stehen unterschiedliche Stärken. Die folgenden Profile ordnen jedes Modell nach dem ein, was für die Auswahl wirklich zählt: Lizenz, Betreibbarkeit und bester Einsatz.

GLM-5.2: das stärkste offene Modell

GLM-5.2 von Z.ai (Zhipu) ist im Juni 2026 das leistungsstärkste offene Modell. Es nutzt 744 Milliarden Parameter als Mixture-of-Experts, von denen rund 40 Milliarden pro Token aktiv sind, und erreicht damit ein Reasoning nahe der proprietären Spitze. Es steht unter MIT-Lizenz mit einem Kontextfenster von einer Million Token. Der Preis dafür ist ein hoher Token-Verbrauch pro Aufgabe und ein entsprechend grosser GPU-Bedarf im Self-Hosting. Die erste Wahl, wenn maximale offene Qualität gefragt ist und die Infrastruktur dafür bereitsteht.

DeepSeek V4: das Preis-Leistungs-Modell

DeepSeek V4 erscheint in zwei MIT-lizenzierten Varianten. V4-Pro nutzt 1,6 Billionen Parameter mit 49 Milliarden aktiv, V4-Flash 284 Milliarden mit 13 Milliarden aktiv, beide mit einer Million Token Kontext. Die Stärke ist das Kosten-Leistungs-Verhältnis, V4-Flash kostet einen Bruchteil proprietärer Spitzenmodelle. Die offizielle Cloud-API läuft über chinesische Server, weshalb für sensible Daten die selbst gehostete Variante zwingend ist. Wie heikel die Cloud-Frage ist, zeigt Microsoft: Der Konzern untersagt seinen Mitarbeitenden die DeepSeek-App aus Datenschutzgründen, bietet das Modell aber gleichzeitig auf der eigenen Azure-Infrastruktur an. Laut Handelsblatt erwägt Microsoft zudem, eine selbst gehostete DeepSeek-Variante im Unternehmensassistenten Copilot Cowork einzusetzen, gemäss Konzern „eines von mehreren Modellen, die in Betracht gezogen werden". Ein finaler Entscheid steht aus. Genau dieser Unterschied, riskante Fremd-App gegenüber kontrollierter eigener Infrastruktur, ist der Kern dieses Artikels.

MiniMax M3: multimodal und coding-stark

MiniMax M3 war das erste offene Modell, das Frontier-Coding, eine Million Token Kontext und native Multimodalität in einem Modell vereint. Im SWE-Bench Pro erreicht es rund 59 Prozent, auf dem Niveau von GPT-5.5. Es eignet sich für Aufgaben, die Text, Bild und Code zugleich verlangen. Die konkreten Lizenzbedingungen sollten vor dem produktiven Einsatz geprüft werden.

Kimi K2.7-Code: der Coding-Spezialist

Kimi K2.7-Code von Moonshot ist ein 1-Billion-Parameter-Modell als Mixture-of-Experts mit 32 Milliarden aktiven Parametern und 256k Kontext, veröffentlicht unter einer Modified-MIT-Lizenz. Es ist klar auf agentische Coding-Workflows ausgerichtet und legt Wert auf Token-Effizienz. Die Gewichte kommen mit nativer INT4-Quantisierung, was das Self-Hosting auf gängigen Serving-Stacks wie vLLM oder SGLang erleichtert. Die richtige Wahl für interne Entwicklungs- und Automationsaufgaben.

Mistral Medium 3.5: die europäische Option

Mistral Medium 3.5 stammt vom EU-Anbieter Mistral und ist ein dichtes 128-Milliarden-Parameter-Modell mit 256k Kontext unter Modified-MIT-Lizenz. Es konsolidiert die früheren Linien Magistral und Devstral 2 und erreicht im SWE-Bench Verified 77,6 Prozent. Für den Self-Host-Betrieb genügen vier H100-GPUs. Für Unternehmen mit Fokus auf EU-Datenhoheit ist es die naheliegende Wahl.

Gemma 4: Googles offene Familie für den Edge-Einsatz

Gemma 4 von Google DeepMind erschien im April 2026 und steht neu unter Apache-2.0-Lizenz, ein wichtiger Schritt weg von der früheren restriktiven Gemma-Lizenz. Die Familie reicht von sehr kleinen Edge-Modellen (E2B und E4B) über ein 26-Milliarden-Modell als Mixture-of-Experts mit nur rund 4 Milliarden aktiven Parametern bis zum dichten 31B-Modell, alle mit 256k Kontext, nativer Bild- und Audioverarbeitung und über 140 Sprachen. Die Stärke ist die Effizienz: Die kleinen Varianten laufen auf bescheidener oder sogar lokaler Hardware. Die naheliegende Wahl, wenn ein offenes, multimodales Modell nah am Edge auf eigener Infrastruktur laufen soll. Details nennt die offizielle Ankündigung von Google Cloud.

Qwen3.6 und Apertus: schlank und souverän

Qwen3.6-27B von Alibaba ist ein dichtes Modell unter Apache-2.0-Lizenz, das schon auf wenigen GPUs läuft und von einem grossen Ökosystem an Feinabstimmungen profitiert. Das Flaggschiff Qwen3.7-Max ist hingegen closed-weight und nur per API verfügbar. Apertus aus der Schweiz behandeln wir wegen seiner besonderen Bedeutung in einem eigenen Abschnitt weiter unten.

Self-Hosting oder gehostete API: Wann lohnt sich was?

Self-Hosting lohnt sich, wenn Daten das eigene Rechenzentrum nicht verlassen dürfen oder das Volumen so hoch ist, dass eigene GPU-Stunden günstiger werden als der Token-Preis. Eine gehostete Open-Weight-API lohnt sich für den Einstieg, für schwankende Last und wenn keine Betriebskompetenz für GPUs vorhanden ist. Beide nutzen dasselbe offene Modell, der Unterschied liegt im Betrieb. Offene Gewichte heissen nicht zwingend eigene Hardware. Es gibt einen dritten Weg zwischen US-Cloud und eigenem Serverraum, der oft übersehen wird.

Drei Betriebsmodelle im Vergleich

• Gehostete Open-Weight-API: Ein Anbieter betreibt das offene Modell, Sie zahlen pro Token. Schnellster Start, geringste Kontrolle über den Serverstandort.
• Managed Hosting in der Schweiz oder EU: Ein Schweizer Partner betreibt das Modell auf bekanntem Serverstandort. Guter Mittelweg aus Kontrolle und Aufwand.
• Eigenes Self-Hosting: Das Modell läuft auf eigener oder gemieteter GPU-Infrastruktur. Volle Kontrolle, höchster Betriebsaufwand.

Konkrete Werkzeuge lassen sich diesen drei Modellen zuordnen. Für den API-Einstieg bündelt ein Gateway wie OpenRouter den Zugang zu vielen offenen und geschlossenen Modellen über eine einzige, OpenAI-kompatible Schnittstelle. Im europäischen Raum betreiben Plattformen wie Langdock mehrere Modelle mit Hosting in der EU und DSGVO-Konformität, inklusive On-Premise-Option. Für den eigenen Betrieb sorgen Serving-Stacks wie vLLM, Ollama oder llama.cpp, die der nächste Abschnitt vertieft.

Die technische Hürde des Self-Hostings hängt stark von der Modellgrösse ab. Ein dichtes 27B-Modell wie Qwen3.6 läuft auf wenigen GPUs. Ein grosses MoE-Modell wie GLM-5.2 mit 744 Milliarden Parametern verlangt einen ernsthaften GPU-Cluster und entsprechendes Betriebs-Know-how. Latenz und Skalierung sind dabei keine Nebensache, sondern entscheiden über die Akzeptanz im Alltag.

Prüfen Sie: Welcher der drei Wege passt zu Ihrer Datenklasse und zu Ihrem internen Können? Für die meisten KMU ist der Start über eine gehostete API oder einen Schweizer Managed-Partner der pragmatische Weg, bevor eigene Hardware beschafft wird.

Sicher ohne Webzugriff: das offline betriebene Open-Source-LLM

Ein selbst gehostetes Open-Source-LLM kann vollständig ohne Internetzugang laufen. Das Modell wird einmalig heruntergeladen, danach erfolgt die gesamte Verarbeitung lokal im eigenen Netz. Weder Prompts noch Antworten verlassen das Unternehmen. Für Branchen mit Geschäftsgeheimnissen oder Personendaten ist dieser abgeschottete Betrieb die stärkste verfügbare Datenschutz-Architektur. Genau hier liegt der Unterschied zur Cloud-API, die per Definition Daten an einen externen Anbieter sendet. Ein offenes Modell gibt die Kontrolle zurück, sofern der Betrieb sauber abgeschottet ist.

Wie der Offline-Betrieb funktioniert

• Einmaliger Bezug: Die Modell-Gewichte werden einmal von einer Quelle wie Hugging Face geladen und im isolierten Netz abgelegt.
• Lokaler Inferenz-Server: Ein Serving-Stack wie vLLM, SGLang, Ollama oder llama.cpp betreibt das Modell auf eigener GPU oder sogar auf CPU, ohne Verbindung nach aussen.
• Kein Egress: Eine Firewall-Regel blockiert ausgehenden Datenverkehr. Es gibt keinen Anbieter-Dienst, der Telemetrie abrufen könnte.
• Interne Wissensanbindung: Über Retrieval-Augmented Generation greift das Modell ausschliesslich auf freigegebene interne Dokumente zu, nicht auf das Web.
• Lokales Audit-Logging: Jede Abfrage wird im eigenen System protokolliert und bleibt revisionsfähig.

Der Offline-Betrieb hat einen klaren Preis. Das Modell kennt nur seinen Trainingsstand und hat kein Live-Webwissen, und Aktualisierungen müssen manuell eingespielt werden. Die Betriebsverantwortung liegt vollständig im Haus. Für aktuelle Fakten lässt sich eine kontrollierte, freigegebene Quelle per Retrieval anbinden, ohne das Modell ans offene Internet zu hängen. So bleibt die Datenhoheit erhalten, und der Funktionsumfang stimmt trotzdem.

Datensouveränität und Recht: revDSG, EU AI Act, Serverstandort

Datensouveränität bedeutet, dass ein Unternehmen jederzeit kontrolliert, wo seine Daten verarbeitet werden und wer darauf zugreift. Ein selbst betriebenes Open-Source-LLM erfüllt diese Anforderung am direktesten, weil weder Prompts noch Daten an einen externen Anbieter fliessen. Für Schweizer KMU bilden das revidierte Datenschutzgesetz und der EU AI Act den Rahmen, der die Modellwahl mitbestimmt. Wer mit Personendaten oder Geschäftsgeheimnissen arbeitet, kann den Serverstandort nicht dem Zufall überlassen. Hier liegt der eigentliche Vorteil offener Modelle.

Was die beiden Regelwerke verlangen

• revDSG (Schweiz): Das revidierte Datenschutzgesetz ist seit dem 1. September 2023 in Kraft. Es verlangt Transparenz über die Datenbearbeitung, Bearbeitungsverzeichnisse und besondere Sorgfalt bei der Bekanntgabe ins Ausland.
• EU AI Act: Die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025, die volle Anwendbarkeit folgt am 2. August 2026. Hochrisiko-Pflichten sollen über den geplanten AI-Omnibus verschoben werden, für eigenständige Systeme voraussichtlich auf den 2. Dezember 2027, für produktintegrierte Systeme auf den 2. August 2028 (Stand der laufenden Gesetzgebung).
• Serverstandort: Ein Betrieb in der Schweiz oder EU vermeidet die rechtlich heikle Übermittlung in US-Cloud-Regionen und vereinfacht die Auftragsbearbeitung.

Der entscheidende Punkt: Ein selbst gehostetes oder in der Schweiz betriebenes offenes Modell verlagert die Datenverarbeitung an einen Ort, den Sie kontrollieren. Das ersetzt keine rechtliche Prüfung, reduziert aber die Angriffsfläche erheblich. Die offiziellen Vorgaben zum regulatorischen Rahmen des EU AI Act sind dabei die verbindliche Referenz für die Einordnung von KI-Systemen.

Hybrid: Daten anonymisieren, bevor sie ins Modell gehen

Ein wirkungsvoller Mittelweg ist die Anonymisierung vor dem Prompt. Eine lokale Schicht erkennt und maskiert Personendaten wie Namen, Adressen oder AHV-Nummern, bevor der Text an ein Modell geht. Nach der Antwort werden die Platzhalter lokal wieder zugeordnet. So lässt sich auch ein leistungsstarkes Cloud-Modell nutzen, ohne dass Klartext-Personendaten das Haus verlassen. Dieses Muster wird als PII-Proxy bezeichnet und unterstützt den Grundsatz Datenschutz durch Technikgestaltung (revDSG und EU-DSGVO Artikel 25).

Technisch gibt es zwei Wege. Die irreversible Anonymisierung durch Ersetzen, Schwärzen oder Hashen eignet sich, wenn die Originalwerte nie wieder gebraucht werden. Die reversible Pseudonymisierung ersetzt jeden Identifikator durch ein gleichbleibendes Token, etwa über einen Schlüssel-Hash, sodass die Rückübersetzung kontrolliert möglich bleibt. Offene Werkzeuge wie Microsoft Presidio oder LLM Guard übernehmen Erkennung und Maskierung. Wichtig bleibt die Ehrlichkeit: Anonymisierung ist nicht fehlerfrei, ein Restrisiko der Re-Identifikation bleibt, und für Aufgaben, die echte Personendaten brauchen, führt kein Weg an einem lokalen Modell vorbei.

Apertus: Was das Schweizer Modell heute leistet, und was nicht

Apertus ist das erste grosse Sprachmodell aus der Schweiz, entwickelt von der Swiss AI Initiative (ETH Zürich, EPFL Lausanne und Schweizerisches Supercomputer-Zentrum CSCS in Lugano). Es ist in zwei Grössen verfügbar (8B und 70B Parameter), steht unter Apache-2.0-Lizenz und wurde am 2. September 2025 veröffentlicht. Seither hat Apertus über eine Million Downloads erreicht - und gleichzeitig eine ernüchternde Debatte ausgelöst. Für Schweizer CEOs lohnt sich eine nüchterne Einordnung jenseits des nationalen Stolzes.

Was Apertus leistet

• Vollständig offen: Modellgewichte, Trainingsdaten, Architektur und Trainingsrezepte sind dokumentiert und reproduzierbar. Das ist weltweit einzigartig in dieser Grössenordnung.
• EU AI Act konform: Apertus ist das erste grosse Modell, das die Anforderungen des EU AI Act erfüllt - inklusive Respektierung von Opt-Out-Anfragen und Entfernung von Personendaten aus den Trainingsdaten.
• Schweizer Infrastruktur: Training und Betrieb auf dem Supercomputer in Lugano. Daten verlassen bei Self-Hosting die Schweiz nicht.
• Mehrsprachigkeit: Über 1'800 Sprachen inklusive Schweizerdeutsch und Rätoromanisch - ein Vorteil gegenüber allen grossen US-Modellen.
• Konform mit Schweizer Urheber- und Datenschutzrecht: Speziell darauf ausgelegt.
• Produktive Pilotanwendungen: Der Meditron-Pilot in der Notaufnahme des Universitätsspitals Lausanne (CHUV) zeigt, dass Apertus in regulierten Umgebungen produktiv läuft.

Wo Apertus heute klar an Grenzen stösst

• Deutlich schwächer bei Logik und Reasoning: Im Test zeigten sich auffällige Schwächen bei logischen Aufgaben. Zum Start lieferte Apertus auf die Frage nach Schweizer Bundesräten frei erfundene Namen. Projektleiter Martin Jaggi (EPFL) bestätigt: „Auch andere offene Modelle wie Llama oder Qwen liegen bei dieser Frage falsch."
• Probleme bei Übersetzungen: Gerade bei wenig verbreiteten Sprachen treten Fehler auf.
• Kein fertiges Produkt: Jaggi selbst bringt es auf den Punkt: „Apertus ist kein fertiges Auto, es ist nur der Motor davon." Es braucht Fine-Tuning für produktive Anwendungsfälle.
• Selbst Swisscom setzt es nicht produktiv ein: Der strategische Partner nutzt Apertus vorwiegend intern und zu Testzwecken, während der Swiss AI Assistant für KMU auf OpenAI und der KI-Assistent My AI auf Claude (Anthropic) läuft. Swisscom begründet dies damit, dass derzeit kein Schweizer Sprachmodell die Anforderungen eines Konsumentenprodukts dieser Grössenordnung vollumfänglich erfülle.
• Ressourcen-Asymmetrie: CHF 20 Mio. Bundesbudget bis 2028 gegenüber Milliarden bei US-Konkurrenten. Ein jährlich verbessertes Modell ist geplant, die langfristige Finanzierung unsicher.
• Kontextfenster begrenzt: 65k Tokens - deutlich weniger als die 1 bis 2 Millionen bei den Spitzenmodellen.

Strategische Einordnung für Schweizer CEOs

Apertus ist heute kein Ersatz für Claude, GPT-5.6 oder Gemini in produktiven Geschäftsanwendungen mit Kundenkontakt. Wer Apertus jetzt einsetzt, tut das aus einem von drei Gründen:

1. Souveränitätsbedarf, der «Sicherheitstresor»: Apertus ist das einzige Modell im Vergleich, bei dem die gesamte Wertschöpfungskette unter Schweizer Kontrolle steht. Für Branchen, in denen Daten die Landesgrenzen nicht verlassen dürfen (Private Banking, Medizinaltechnik, Behörden), ist es 2026 oft die einzige rechtssichere Wahl. Praxisbeleg: Der Kanton Tessin führte im März 2026 als erste Schweizer Behörde ein produktives Übersetzungstool auf Apertus-8B-Basis im eigenen Rechenzentrum ein.
2. Spezialisierung durch Fine-Tuning: Anwendungsfälle, bei denen auf Apertus als Basis ein branchenspezifisches Modell trainiert wird (Beispiel: Meditron für das Gesundheitswesen am CHUV Lausanne).
3. Einfache Aufgaben ohne Reasoning-Anspruch: Klassifikation, Schlagwort-Extraktion, kurze Zusammenfassungen in interner Nutzung.

Für den typischen B2B-Marketing- oder Sales-Ablauf eines Schweizer KMU ist Apertus heute noch nicht die richtige Wahl. Beobachten statt einsetzen, mit einer Neubewertung alle sechs bis zwölf Monate. Für regulierte Branchen gilt dagegen schon heute: Apertus ist kein Werkzeug für kreative Höchstleistungen, sondern der Sicherheitstresor der Schweizer KI-Landschaft. Wer maximale Transparenz und Schweizer Rechtssicherheit braucht, nimmt die geringere General-Intelligence bewusst in Kauf. Die Vertiefung zu Apertus, Lizenzmodellen, Fine-Tuning und Self-Hosting steht im Leitfaden zu Open-Source-LLMs.

Für welche Anwendungen sich ein Open-Source-LLM lohnt

Ein Open-Source-LLM lohnt sich überall dort, wo sensible Daten verarbeitet werden oder hohe Volumen anfallen. Typisch sind internes Dokumenten-Q&A, die Verarbeitung von Personendaten, Vertrags-

Giotto.ai: Schweizer Reasoning-System statt klassisches Open-Source-LLM

Neben Apertus gibt es mit Giotto.ai eine zweite Schweizer Entwicklung, die für Unternehmen relevant werden kann. Giotto ist aber anders einzuordnen: Es ist nicht primär ein klassisches Open-Source-LLM, sondern ein Schweizer KI-System mit Fokus auf Reasoning, kontrollierbares Deployment und europäisches Hosting.

Giotto.ai positioniert das System als KI, die Unternehmen nicht nur mieten, sondern kontrollierter betreiben können. Angeboten werden Cloud-Zugang («Hosted in Europe. Free. For everyone.»), private Bereitstellung und Infrastruktur-Optionen für Organisationen, die mehr Kontrolle über Daten, Betrieb und Integration benötigen.

Für Schweizer Unternehmen ist Giotto vor allem bei datensensiblen Reasoning-Aufgaben interessant: Dokumentenanalyse, strukturierte Entscheidungsunterstützung, Coding-nahe Aufgaben oder interne Wissensprozesse. Ob Giotto im Alltag mit Claude, ChatGPT oder Gemini mithalten kann, sollte je Use Case getestet werden. Einzelne Reasoning-Benchmarks sind ein Signal, aber kein Ersatz für eigene Tests mit echten Unternehmensaufgaben.

Kurz: Apertus steht stärker für Offenheit und Transparenz. Giotto steht stärker für kontrollierbare KI-Infrastruktur und produktnahe Anwendung.

EUROPA: Europas Versuch eines offenen Frontier-Modells

Mit EUROPA geht die europäische KI-Souveränität von der Strategie in die Umsetzung. Die EU-Kommission hat das EUROPA-Konsortium unter Führung des italienischen Unternehmens Domyn als Gewinner der Frontier AI Grand Challenge ausgewählt. Ziel ist ein quelloffenes KI-Modell, das alle 24 Amtssprachen der EU abdeckt und auf europäischer Supercomputing-Infrastruktur trainiert wird.

Die Dimension ist bewusst gross gewählt: Die Challenge verlangte ein Modell mit mehr als 400 Milliarden Parametern - eine Grössenordnung moderner Frontier-Systeme. Europa will damit nicht nur kleinere Spezialmodelle fördern, sondern ein Modell auf Augenhöhe mit den führenden proprietären Systemen.

Für Schweizer Unternehmen ist daran weniger die Parameterzahl entscheidend als die strategische Richtung. EUROPA zeigt, dass offene Modelle, europäische Infrastruktur und Mehrsprachigkeit gemeinsam gedacht werden. Gerade im DACH-Raum ist das relevant: Deutsch sollte bei leistungsfähigen KI-Systemen nicht nur eine nachträgliche Übersetzungsschicht sein, sondern als zentrale Arbeitssprache funktionieren.

Trotzdem ist EUROPA heute noch keine direkte Alternative zu ChatGPT, Claude oder Gemini. Das Modell muss erst entwickelt, veröffentlicht, getestet und in reale Unternehmensprozesse integriert werden. EUROPA ist aktuell vor allem ein strategisches Signal: Europa baut an eigener KI-Infrastruktur - der praktische Nutzen für KMU wird sich erst nach Veröffentlichung und unabhängigen Tests zeigen.

Vergleich: Offene und europäische KI-Modelle für Unternehmen

Die folgende Übersicht ordnet die wichtigsten offenen und europäischen Modelle für Schweizer Unternehmen ein. Proprietäre Systeme wie ChatGPT, Claude und Gemini sind zum Vergleich ergänzt. Entscheidend ist nicht, welches Modell technisch das stärkste ist - sondern welches Modell zu welchem Risikoprofil, welchen Datenklassen und welchem Betriebsmodell passt.

und Wissensdatenbanken sowie Code- und Prozessautomation. Für rein öffentliche Inhalte ohne Datenschutzbezug bleibt eine gehostete Lösung oft der pragmatischere Weg. Die Frage ist nicht, ob ein offenes Modell alles kann, sondern wo sein Kontroll-Vorteil den höheren Betriebsaufwand rechtfertigt.

Typische Einsatzfelder in Schweizer KMU

• Internes Wissens-Q&A: Das Modell beantwortet Fragen zu Verträgen, Richtlinien und Handbüchern über Retrieval-Augmented Generation, ohne dass diese Dokumente die Firma verlassen.
• Sensible Personendaten: HR-, Finanz- und Gesundheitsdaten werden lokal verarbeitet, statt an eine US-Cloud gesendet zu werden.
• Dokumentenanalyse: Offerten, technische Spezifikationen und Berichte werden zusammengefasst und durchsuchbar gemacht, etwa in Industrie und Engineering.
• Code- und Workflow-Automation: Modelle wie Kimi K2.7 oder DeepSeek V4 unterstützen interne Entwicklung und Automatisierung bei voller Datenkontrolle.
• Mehrsprachige Kommunikation: Übersetzung und Textproduktion mit Datenhoheit, ein Feld, in dem auch Apertus eine Rolle spielt.
• Hochvolumige Routine-Tasks: Klassifikation, Verschlagwortung und Standardantworten, bei denen Token-Kosten in der Cloud schnell skalieren.

Besonders wertvoll ist dieser Ansatz für Branchen mit Geschäftsgeheimnissen und ohne eigenes MarTech-Team: Treuhand, Industrie und Maschinenbau-Zulieferer, Engineering und B2B-Grosshandel. Dort, wo Daten das Haus nicht verlassen dürfen und der Sales-Cycle beratungsintensiv ist, wird die Datenkontrolle zum echten Wettbewerbsvorteil. In unserer Projektpraxis zeigt sich: Der grösste Nutzen entsteht, wenn ein klar abgegrenzter Use Case zuerst sauber gelöst wird, bevor breit ausgerollt wird.

Zehn heikle Anwendungen, bei denen lokale Modelle empfohlen sind

Besonders heikel wird es, sobald Personen-, Finanz- oder Geschäftsdaten im Spiel sind. Bei diesen zehn Aufgaben empfiehlt sich der Betrieb auf einem lokalen oder selbst gehosteten Modell:

1. Belege auslesen für die Buchhaltung: Rechnungen und Quittungen enthalten Finanz- und Personendaten.
2. Spesen analysieren zur Kostenkontrolle: Mitarbeiter- und Transaktionsdaten bleiben im Haus.
3. Berichte automatisiert erstellen: interne Kennzahlen und Geschäftsdaten ohne Cloud-Umweg.
4. Personalisierte E-Mail-Texte: auf Basis von Empfänger- und Kontaktdaten.
5. Kunden in Cluster segmentieren: CRM-Daten für die gezielte Ansprache.
6. Interne Wissensanalysen: Auswertung von Verträgen, Strategie- und Projektdokumenten.
7. Stimmungen erkennen (Sentiment-Analyse): Kundenfeedback und interne Kommunikation.
8. Content kategorisieren: Dokumentenbestände strukturieren und auffindbar machen.
9. Arbeitsabläufe automatisieren: Weiterleitungen oder Aufgabenstarts mit Prozessdaten.
10. Interne Chatbots: firmeninterne Fragen aus Mitarbeiter- und Wissensdaten beantworten.

Was kostet ein Open-Source-LLM wirklich? Kosten in CHF

Ein Open-Source-LLM ist beim Download gratis, im Betrieb aber nicht. Die realen Kosten entstehen aus GPU-Stunden, Betrieb und Personalzeit. Eine kompetitive H100-GPU kostet in der Cloud rund CHF 1.40 bis 2.70 pro Stunde, bei Hyperscalern eher CHF 5 bis 11. Hinzu kommt interne Arbeitszeit, die bei einem Richtsatz von CHF 90 pro Stunde schnell den grössten Posten bildet. Wer nur den Listenpreis von null betrachtet, verrechnet sich. Die ehrliche Frage lautet nicht, was das Modell kostet, sondern was der Betrieb über zwölf Monate kostet. Die folgenden Werte sind Richtwerte, keine Garantie, und hängen stark von Modellgrösse und Auslastung ab.

Vier Kostenblöcke, die zählen

• GPU-Stunden: Für ein kleineres Modell im Dauerbetrieb auf einer kompetitiven H100 ergeben sich Richtwerte um CHF 1'000 bis 2'000 pro Monat. Grosse MoE-Modelle vervielfachen das.
• Betrieb und Wartung: Updates, Monitoring, Skalierung und Sicherheit. Dieser Posten wird regelmässig unterschätzt.
• Personalzeit: Einrichtung, Integration und laufende Pflege. Beim Richtsatz von CHF 90 pro Stunde ist das oft der grösste Block.
• Opportunität: Die Zeit bis zur Produktivität. Eine gehostete API liefert in Tagen, eigenes Self-Hosting in Wochen.

Über die Anwendungsfälle hinweg zeigt sich ein klares Muster: Self-Hosting rechnet sich erst ab einem stabilen, hohen Volumen oder bei zwingenden Compliance-Gründen. Darunter ist die gehostete Open-Weight-API meist günstiger, weil sie Betriebs- und Personalkosten beim Anbieter bündelt. Die Modellwahl ist also zuerst eine Betriebsentscheidung, dann eine Leistungsfrage.

Entscheidungs-Framework für die Geschäftsleitung

Die Entscheidung für ein Open-Source-LLM folgt fünf Fragen: Wann lohnt es sich, was bringt es, was kostet es, wie startet man, und wann passt es nicht. Wer diese fünf Fragen ehrlich beant

Wann lohnt sich ein Open-Source-LLM für Schweizer KMU?

Ein Open-Source-LLM lohnt sich nicht automatisch. Es lohnt sich vor allem dann, wenn Kontrolle wichtiger ist als Komfort.

wortet, trifft eine robuste Entscheidung, statt dem nächsten Benchmark-Sieger zu folgen. Das Framework ersetzt Bauchgefühl durch eine nachvollziehbare Logik. Ein gutes Framework macht die Entscheidung nicht einfacher, aber sauberer. Es zwingt dazu, die richtigen Fragen vor der Tool-Auswahl zu stellen.

Die fünf Entscheidungsfragen

• Wann es sich lohnt: Sobald sensible Daten die Cloud nicht verlassen dürfen oder das Volumen die eigenen GPU-Kosten unter den Token-Preis drückt.
• Was es bringt: Datensouveränität, kein Vendor-Lock-in und Kostenkontrolle, die unabhängig von der Preispolitik eines Anbieters ist.
• Was es kostet: Nicht das Modell, sondern Betrieb, GPU-Stunden und Personalzeit in CHF über zwölf Monate.
• Erster Schritt: Ein abgegrenzter Pilot über eine gehostete Open-Weight-API oder einen Schweizer Managed-Partner, mit klarem Abbruchkriterium.
• Wann es nicht passt: Ohne sensible Daten, ohne hohes Volumen und ohne internen Betriebswillen ist eine gehostete Cloud-Lösung meist wirtschaftlicher.

Verbinden Sie diese fünf Fragen mit Ihren priorisierten Use Cases. Für interne Daten-Q&A und automatisierte Workflows mit sensiblen Inhalten spricht vieles für offene Modelle auf kontrolliertem Standort. Für allgemeine Content-Aufgaben ohne Datenschutzbezug bleibt die gehostete Lösung oft der pragmatischere Weg. Die Antwort ist selten dasselbe Modell für alles.

Praktische Empfehlung für Schweizer Unternehmen

Für die meisten Schweizer KMU ist nicht entweder ChatGPT oder Open Source die richtige Antwort. Sinnvoller ist ein Modellmix.

ChatGPT, Claude oder Gemini eignen sich kurzfristig oft am besten für produktive Wissensarbeit, Content, Analyse und Coding. Ein vollständiger Vergleich von Claude, Gemini, Perplexity und ChatGPT hilft bei der Auswahl des richtigen Modells.

Mistral ist eine wichtige europäische Option für produktive Unternehmensszenarien. Apertus ist vor allem für Transparenz, Forschung und Schweizer Souveränitätsprojekte relevant. Giotto.ai sollte dort geprüft werden, wo kontrollierbares Reasoning und datensensible Deployment-Szenarien wichtig sind. EUROPA sollte als strategische europäische Entwicklung beobachtet werden.

Die wichtigste Frage lautet nicht: Welches Modell ist am besten? Die bessere Frage lautet: Welches Modell ist für welchen Prozess, welche Datenklasse und welches Risiko angemessen?

Fazit: Open Source allein reicht nicht

Open-Source-LLMs sind für Unternehmen nicht deshalb interessant, weil sie kostenlos wirken. Relevant werden sie erst, wenn sie mehr Kontrolle über Daten, Betrieb, Anpassung und Kosten ermöglichen.

Für Schweizer KMU ist deshalb nicht die Frage entscheidend, ob ein Modell offen ist. Entscheidender ist, ob es sicher betrieben, sinnvoll integriert und wirtschaftlich genutzt werden kann. Ein Open-Source-Modell ohne internes Know-how, sauberes Hosting und klare Governance bringt wenig. Ein gut betriebener Modellmix aus kommerziellen, europäischen und offenen Modellen kann dagegen ein echter Vorteil sein.

Die pragmatische Empfehlung lautet: Für produktive Wissensarbeit bleiben ChatGPT, Claude, Gemini und Perplexity kurzfristig oft die einfachste Wahl. Für sensible Daten, regulatorische Anforderungen oder langfristige Unabhängigkeit sollten Unternehmen zusätzlich europäische und offene Modelle prüfen.

Häufige Fragen zu Open-Source-LLMs