Dedicated Capacity
Dedicated Capacity Übersicht
Für Sie reservierte Inferenzkapazität in München: GLM-5.3, MiniMax M3.1 Flash und mehr auf einem eigenen OpenAI-kompatiblen Endpunkt. So starten Sie.
Was Dedicated Capacity ist
Abschnitt betitelt „Was Dedicated Capacity ist“Dedicated Capacity ist Inferenzkapazität, die für einen Kunden reserviert ist. Sie läuft auf KI-Chips, die speziell für Inferenz gebaut sind: den Reconfigurable Dataflow Units (RDUs) von SambaNova, in unserem Rechenzentrum in München. Wir betreiben sie gemeinsam mit unserem Betriebspartner SambaNova, der den Software-Stack mit uns betreibt. Sie rufen sie über dieselbe OpenAI-kompatible API auf wie die Inference API, auf einem eigenen Endpunkt.
Modelle
Abschnitt betitelt „Modelle“- GLM-5.3 und MiniMax M3.1 Flash
- gpt-oss-120b, Gemma 4 und weitere. Siehe Unterstützte Modelle.
- Checkpoints aus Ihrem eigenen Fine-Tuning. Siehe Eigene Checkpoints.
Modell-Bundles
Abschnitt betitelt „Modell-Bundles“Sie entscheiden, welche Modelle auf Ihrer Kapazität laufen. Ihre Kapazität besteht aus einem oder mehreren Racks. Ein Rack kann ein Modell betreiben oder mehrere Modelle zusammen in einem Bundle.
- Mehrere Modelle auf einem Rack. Die Modelle eines Bundles bleiben zusammen geladen. Das Rack berechnet jeweils ein Modell und wechselt pro Anfrage in Millisekunden zwischen ihnen. Die Modelle teilen sich den Durchsatz des Racks. Deshalb dimensionieren wir ein Bundle für den gemeinsamen Traffic seiner Modelle. Jede Anfrage wählt ihr Modell über die Modell-ID, über denselben Endpunkt. Ein Rack kann zum Beispiel ein Textmodell, ein Embedding-Modell und ein Speech-to-Text-Modell für eine vollständige Pipeline bedienen.
- Mehrere Konfigurationen eines Modells. Ein Bundle lässt sich auf Ihren Workload einrichten, zum Beispiel für längere Kontextlängen, für mehr gleichzeitige Anfragen oder mit Prompt-Caching.
- Ihre Aufteilung auf Racks. Mit mehreren Racks entscheiden Sie, wie diese auf Ihre Modelle und Bundles verteilt werden. Die Aufteilung können wir später ändern.
Welche Modelle und Konfigurationen zusammenpassen, hängt von den Modellen ab. Die konkreten Bundles legen wir mit Ihnen im Rahmen des Projekts fest.
Inference API oder Dedicated Capacity
Abschnitt betitelt „Inference API oder Dedicated Capacity“| Inference API | Dedicated Capacity | |
|---|---|---|
| Infrastruktur | Geteilte Infrastruktur | Für Sie reserviert |
| Modellauswahl | Von Infercom festgelegt | Von Ihnen gewählt |
| Modelle | Der Katalog der Inference API | GLM-5.3, MiniMax M3.1 Flash und die vollständige Liste, dazu Ihre Checkpoints. Mehrere Modelle in einem Bundle, je nach Modell |
| Zugang | api.infercom.ai, API-Schlüssel per Self-Service über cloud.infercom.ai | Ein eigener Endpunkt, mit Ihnen eingerichtet |
| Abrechnung | Pro Token | Monatlich, nach Vereinbarung |
| Ratenbegrenzungen | Nach Tier | Mit Ihnen vereinbart |
| Durchsatz | Unter Last mit anderen Kunden geteilt | Für Ihren Traffic reserviert |
| Start | In Minuten | Vorlaufzeit auf Anfrage |
Wann Dedicated Capacity passt
Abschnitt betitelt „Wann Dedicated Capacity passt“- Dauerhaftes Produktionsvolumen.
- Modelle, die nicht im Katalog der Inference API stehen.
- Checkpoints aus Ihrem eigenen Fine-Tuning.
- Traffic, der keine Kapazität mit anderen Kunden teilen darf.
Für schwankende oder explorative Workloads ist die Inference API meist der bessere Start. Sie können später zu Dedicated Capacity wechseln. Die API bleibt dieselbe.
So starten Sie
Abschnitt betitelt „So starten Sie“Sprechen Sie mit uns. Wir dimensionieren die Kapazität nach Ihrem Workload. Siehe was Sie uns senden.
Die Vorlaufzeit nennen wir Ihnen auf Anfrage. Nach dem Onboarding lesen Sie Mit Ihrem Endpunkt verbinden.
Dieselben Modelle laufen auch auf Hardware in Ihrem eigenen Rechenzentrum. Siehe On-Premises.