KNUT Deine KI, deine Daten, ohne Cloud

Die Herausforderung

Kommerzielle Sprachmodelle laufen in fremden Rechenzentren. Jede Eingabe und jedes verarbeitete Dokument verlässt dafür das eigene Netzwerk. Für Betriebe mit strengen Datenschutz- und Compliance-Anforderungen, sensiblen Daten oder dem Wunsch nach planbaren Kosten ist das oft ein Ausschlusskriterium.

Gleichzeitig scheitert der Einstieg in lokale KI oft an der Hardware. Ein einzelner Rechner mit Kraft für große Modelle ist teuer und im Alltag schnell überlastet. KNUT löst dieses Problem durch verteilte Inferenz: Bereits vorhandene Hardware wird kombiniert und bildet gemeinsam dein eigenes KI-System mit einer OpenAI-kompatiblen API.

BYOGPU – Bring your own GPU

Der Kern von KNUT ist ein Cluster, basierend auf einem verteilten llama.cpp-RPC-Backend, das heterogene Hardware zu einer gemeinsamen Inferenz-Engine zusammenschließt. Welche Modelle auf dem Cluster laufen, richtet sich flexibel nach den Aufgaben und der Hardware vor Ort.

Ein Test- und Benchmark-Setup mit einer Kombination aus drei Grafikkarten-Generationen zeigt die Bandbreite dessen, was mit KNUT lokal möglich ist. Getestet wurden moderne Architekturen wie Qwen 3.8 mit Multi-Token-Prediction, Googles Gemma 4 sowie Mamba-2-Hybride wie Nemotron 3.5 Lightning und Cascade 2 für Kontexte bis 256.000 Tokens ohne Durchsatzeinbruch. Ergänzt wurde das Testfeld durch Muse-Glimmer für kreative Aufgaben, offene MoEs wie gpt-oss-20B und spezialisierte Coding-Modelle wie Ornith oder North-Mini.

Die API Schnittstelle von KNUT ist vollständig OpenAI- und Anthropic kompatibel.

Ob n8n-Automatisierungen, Entwicklungsumgebungen, LangChain-Pipelines oder eigene Agenten: Bestehende Werkzeuge laufen ohne Änderungen weiter. Sie greifen auf denselben Endpunkt zu wie bei bekannten Cloud-Diensten, nur dass dieser Endpunkt auf den eigenen Servern läuft und kein einziges Token das Haus verlässt.

Performance und Kosten im Realbetrieb

Messungen im realen Cluster-Betrieb belegen das Potenzial lokaler Inferenz. In unserem Referenz-Setup stehen über drei GPUs verteilt insgesamt bis zu 44 GB VRAM zur Verfügung. Moderne Mixture-of-Experts-Modelle erreichen mit spekulativem Decoding (MTP) Übertragungsraten bis über 160 Tokens pro Sekunde bei 200 bis 300 Watt Gesamtleistung. Dense Modelle für anspruchsvolle Programmieraufgaben liefern verlässlich 40 bis 50 Tokens pro Sekunde bei voller Ausgabequalität.

Rechnet man den Strombedarf auf den Durchsatz um, kostet eine Million Tokens im lokalen Cluster zwischen 0,11 € und 0,35 €. Bei führenden Cloud-APIs liegt derselbe Umfang schnell bei 15 € bis 30 €.

Übersicht und centgenaue Telemetrie

Ein verteilter Cluster braucht transparente Kontrolle. Das KNUT-Dashboard zeigt auf dem Desktop alle Knoten nebeneinander mit Speicherauslastung, Rechenlast, Temperatur und Status, auf dem Smartphone kompakt untereinander.

Die integrierte Telemetrie erfasst den Stromverbrauch in Echtzeit inklusive des Host-Overheads und ermittelt die exakten Kosten pro Anfrage. Da der Leerlauf mehrerer Rechner über den Tag hinweg ein relevanter Faktor ist, fließen auch Standby-Zeiten direkt in die Auswertung ein. Die Chat-Oberfläche ist separat gehalten, damit Nutzer direkt mit den Modellen arbeiten können, ohne in die Verwaltung eingreifen zu müssen.

Stabilität im Dauerbetrieb

In verteilten Netzwerken müssen Ausfälle ohne manuelles Eingreifen abgefangen werden. KNUT setzt je nach Modell auf einen symmetrischen 8-Bit-KV-Cache und abgestimmte dynamische Quantisierungen, um Speicherengpässe und Übertragungsfehler im LAN zu vermeiden.

Ein Watcher-Dienst überwacht alle Knoten kontinuierlich und startet fehlerhafte Prozesse automatisch neu. Die Absicherung im internen Netzwerk übernimmt Caddy mit automatischer HTTPS-Verschlüsselung, sodass der Cluster im Produktivbetrieb wartungsarm und stabil bleibt.

Für wen KNUT gebaut ist

Für Unternehmen, die KI produktiv nutzen wollen, ohne Kundendaten oder Betriebsgeheimnisse Dritten anzuvertrauen. Dazu zählen Kanzleien, Praxen, Finanzdienstleister und Entwicklerteams, die eigene Agenten und Automatisierungen betreiben. Ebenso für alle, die vorhandene Grafikkarten im Betrieb endlich sinnvoll für moderne KI-Infrastruktur einsetzen möchten.

Sprich uns gerne an, wenn du wissen möchtest, wie KNUT in deinem Unternehmen aussehen kann: zum Kontakt.

Das Ergebnis

KNUT macht datenschutzkonforme KI-Inferenz greifbar. Unternehmen gewinnen die volle Kontrolle über ihre Daten und Modelle zurück, sparen dauerhaft Cloud-Gebühren und nutzen modernste Sprachmodelle auf eigener Hardware.

Wann KNUT für dich interessant ist:

Wenn dein Unternehmen täglich mit sensiblen Daten, Verträgen oder Quellcode arbeitet und Cloud-Dienste aus Compliance-, Haftungs- oder Kostengründen keine tragfähige Option sind. Mit KNUT investierst du in die eigene Infrastruktur statt in laufende Token-Gebühren – bei vollständiger Datenhoheit, planbaren Betriebskosten und maximaler Ausfallsicherheit.