Die Aufgabe kommt vor der Hardware
„Wir brauchen unsere eigene KI“ klingt nach einer klaren Entscheidung. Tatsächlich ist damit noch nicht beantwortet, was sie erledigen soll. Einen kurzen Text umzuformulieren stellt andere Anforderungen als umfangreiche Unterlagen zu durchsuchen oder große Softwareprojekte zu bearbeiten.
Ich würde deshalb vor jeder Hardwareliste eine Aufgabenliste erstellen. Erst dann lässt sich sinnvoll vergleichen, welcher Betrieb wirklich passt.
Ein aktuelles Beispiel für lokale Modelle
Microsoft beschreibt im Foundry-Rückblick vom 15. Oktober 2026 Foundry Local 2.1, veröffentlicht am 30. September. Dazu gehört die Einbindung geeigneter eigener Modelle; die Veröffentlichung betont die erforderliche Format- und Laufzeitkompatibilität. [1]
Die Produktdokumentation nennt Verarbeitung auf dem Gerät und Offlinebetrieb als Einsatzzwecke. Modelle müssen jedoch zunächst verfügbar sein beziehungsweise heruntergeladen werden. [2] Daraus folgt keine allgemeine Zusage, dass jede beliebige KI-Anwendung ohne Netz und ohne weitere Dienste auskommt.
Zuerst mit echten Aufgaben vergleichen
Ich würde wenige repräsentative Beispiele festlegen: einen eigenen Text überarbeiten, eine freigegebene Unterlage beantworten oder einen überschaubaren Codeausschnitt erklären. Beurteilt werden Ergebnisqualität, Antwortdauer und die benötigte Nacharbeit.
Für diesen Vergleich würde ich nicht sofort die schwierigste Ausnahme zum Standard erklären. Vielleicht reicht ein kleineres Modell für häufige Tätigkeiten aus. Vielleicht zeigt der Test aber auch, dass die gewünschte Aufgabe lokal auf der vorhandenen Ausstattung nicht sinnvoll läuft. Beides ist ein nützliches Ergebnis.
Der Betrieb kostet mehr als den Kaufpreis
In meine Abwägung würden Speicherbedarf, Stromverbrauch, Wartungszeit und Aktualisierungen eingehen. Auch Modelllizenzen und zulässige Nutzung müssen zur Aufgabe passen. „Keine Rechnung pro Anfrage“ bedeutet nicht, dass der Gesamtbetrieb kostenlos ist.
Vor einem Kauf würde ich vorhandene Geräte prüfen und einen geeigneten Testlauf organisieren. Ohne diesen Nachweis wäre eine teure Hardwareempfehlung für mich verfrüht. Dieser Beitrag enthält deshalb bewusst keine universelle Einkaufsliste.
Lokal bleibt eine Frage des gesamten Aufbaus
Ich würde den Datenweg der konkreten Anwendung untersuchen. Werden zusätzliche Websuchen ausgelöst? Gibt es Cloudfunktionen, Synchronisierung oder Diagnoseübertragungen? Welche Dateien werden gespeichert, und wer kann darauf zugreifen?
Ein lokal laufendes Modell beantwortet diese Fragen nicht für alle anderen Komponenten. Eine Kombination aus lokalen und externen Diensten kann sinnvoll sein, sollte aber bewusst getrennt und verständlich erklärt werden. Sensible Unterlagen sind kein geeignetes unkontrolliertes Probematerial.
Mein Fazit
Lokale KI ist besonders interessant, wenn Aufgabe, Datenkontrolle und Betrieb zusammenpassen. Die richtige Lösung kann lokal, in der Cloud oder kombiniert arbeiten. Ich würde diese Entscheidung an überprüften Ergebnissen treffen – nicht am Etikett „eigene KI“. Herstellerangaben ersetzen keine Prüfung des konkreten Systems.
Quellen und Einordnung
Recherchestand: 24. Oktober 2026. Die verlinkten Hersteller- und Projektangaben sind keine eigenen Produktprüfungen. Beispiele und Empfehlungen sind als solche eingeordnet.
[1] Microsoft: Foundry-Rückblick September, veröffentlicht 15.10.2026
Quelle lesen ↗
[2] Microsoft Learn: Foundry Local und Offlinebetrieb
Quelle lesen ↗