Fragen Sie einen Anbieter, was On-Premise AI kostet, und Sie bekommen ein Hardware-Angebot. Fragen Sie jemanden, der so ein System betreibt, bekommen Sie eine längere Antwort, und der größte Teil davon handelt nicht von Hardware.
Wir setzen solche Systeme auf Kundenhardware auf und betreiben sie. Das Angebot ist der Teil, den alle richtig hinbekommen.
Die GPU ist die Hälfte, die man sieht
Ein ernstzunehmender Inferenz-Server, also einer, der ein leistungsfähiges offenes Modell in einem Tempo bedient, das Menschen tatsächlich akzeptieren, ist eine echte Investition, und es gibt keinen cleveren Weg daran vorbei. Er ist außerdem nur ungefähr die Hälfte dessen, was das System im Betrieb kostet.
Strom und Kühlung sind die erste Überraschung. Eine Maschine, die unter Dauerlast über ein Kilowatt zieht, ist ein Heizlüfter mit eigener Meinung, und die Abstellkammer, die jemand dafür vorgesehen hat, verträgt meist weder die Wärme noch den Stromkreis. Das ist ein Gespräch mit der Haustechnik, und es lässt sich deutlich besser führen, bevor die Palette geliefert wird.
Redundanz ist die zweite. Eine einzelne Maschine bedeutet, dass jedes Treiber-Update eine geplante Ausfallzeit ist. Ob das ins Gewicht fällt, hängt vollständig von der Workload ab, und die Entscheidung ist sehr viel günstiger, solange noch Kästchen gezeichnet werden, als wenn jemand fragt, warum der Assistent an einem Dienstagmorgen nicht erreichbar ist.
Die dritte sind Menschen. Irgendjemand muss Treiber aktualisieren, Modelle nachziehen und bemerken, wenn sich der Durchsatz still und leise halbiert, weil ein Kernel-Update eine Standardeinstellung geändert hat. Das ist entweder die Zeit Ihres Teams oder ein Support-Vertrag mit uns. Null ist es nie, und es ist die Zeile, die in der Tabelle am häufigsten fehlt.
Bei der Quantisierung liegt das eigentliche Geld
Gewichte in voller Präzision sind das, womit die Benchmarks werben. Quantisierte Gewichte sind das, was fast jede On-Premise-Installation tatsächlich betreibt, denn eine geringere Präzision senkt den Speicherbedarf deutlich, zu Qualitätskosten, die bei den meisten echten Aufgaben niemand findet.
Das ist der größte einzelne Hebel bei den Einstiegskosten. Dasselbe Budget kauft bei vier oder acht Bit ein deutlich leistungsfähigeres Modell als bei sechzehn, und für Extraktion, Klassifizierung und interne Assistenten ist die Variante mit geringerer Präzision im Alltag meist nicht zu unterscheiden.
Testen Sie das an Ihren eigenen Dokumenten. Leaderboard-Werte werden an Aufgaben gemessen, die nicht Ihre sind, und der Abstand zwischen einem Modell, das in Benchmarks gut abschneidet, und einem Modell, das Ihre Rechnungen gut liest, ist groß genug, um die Entscheidung für Sie zu treffen.
Kaufen Sie bewusst weniger, als Sie denken
Das Fehlermuster, das wir sehen, ist nicht zu wenig eingekauft. Es ist zu viel eingekauft.
Ein Cluster wird genehmigt, ins Rack gebaut und eingefahren, und dann braucht die Workload nur einen Bruchteil davon. Das Geld ist ausgegeben, die Auslastungskurve ist peinlich, und wer das Projekt vorangetrieben hat, hat jetzt einen politischen Grund, es mit Arbeit auszulasten, die nie eine GPU gebraucht hätte.
Deshalb beweisen wir die Workload zuerst auf einem einzelnen Node. Eine einzelne Maschine, die sich als falsche Antwort herausstellt, wird zum Build-Server, zum Render-Node oder zur sehr guten Workstation von jemandem. Ein Cluster, der sich als falsche Antwort herausstellt, bleibt ein Cluster. Skaliert wird, wenn die Warteschlange es verlangt, nicht wenn die Roadmap-Folie es sagt.
Wann eigene Hardware gewinnt
Cloud-APIs gewinnen bei der Bequemlichkeit. Sie verlieren auf zwei Achsen, und nur auf zweien.
Die erste ist das Volumen. Schicken Sie täglich genug Tokens durch ein gehostetes Modell, und die Rechnung pro Token übersteigt irgendwann die Kosten der Maschine, die dieselbe Arbeit im eigenen Haus erledigt hätte. Dieser Schnittpunkt ist Arithmetik und keine Ideologie, und bei vielen Unternehmen wird er nie erreicht. Wenn das so ist, sagen wir es.
Die zweite ist die Datengrenze, und die ist überhaupt keine Kostenfrage. Ein Auftragsverarbeitungsvertrag ist ein Versprechen darüber, was jemand anderes mit Ihren Daten tut. Eine Maschine in Ihrem eigenen Rack ist eine Aussage darüber, wo Ihre Daten sind. Das sind zwei verschiedene Dinge, und Organisationen, die mit Sicherheitsbefunden, unveröffentlichter Forschung oder Patientenakten arbeiten, kennen den Unterschied in der Regel bereits. Für sie war die Tabelle nie das entscheidende Dokument.
Wenn Sie zwischen beidem abwägen: Wir führen die Analyse als abgegrenzten Auftrag durch, mit Ihrer Workload, Ihren Rahmenbedingungen und einer schriftlichen Empfehlung samt Zahlen. Details finden Sie auf der Seite zu On-Premise AI, oder erzählen Sie uns einfach, was bei Ihnen läuft.