Dedicated Capacity

Eigene Checkpoints auf Dedicated Capacity

Wir betreiben Checkpoints aus Ihrem eigenen Fine-Tuning auf Dedicated Capacity in München. Welche Architekturen möglich sind, wie Sie die Gewichte übergeben.

Wir können ein Modell, das Sie per Fine-Tuning angepasst haben, auf Dedicated Capacity betreiben. Voraussetzung ist eine unterstützte Architektur.

So funktioniert es

Sie führen das Fine-Tuning auf GPUs durch, mit Ihren eigenen Werkzeugen.
Sie übergeben uns die Gewichte im Hugging-Face-Format.
Wir betreiben den Checkpoint auf Ihrer Bereitstellung.

Wir führen kein Fine-Tuning durch.

Anforderungen an Ihren Checkpoint

Ihr Checkpoint muss ein Fine-Tuning eines unterstützten Modells sein. Sie können die Gewichte ändern, aber nicht die Architektur.

Änderbar: die Gewichte. Auch Tokenizer und Vokabular können sich ändern, solange die Größe des Vokabulars genau gleich bleibt. Das hilft bei mehrsprachigen Modellen.
Unverändert bleiben müssen: die Anzahl der Attention-Heads, die RoPE-Einstellungen, die Größe des Vokabulars und die übrigen Architekturwerte in config.json.
Format: Hugging-Face-Format, mit den Gewichten als Safetensors-Dateien und denselben Konfigurations- und Tokenizer-Dateien wie beim Basismodell.

Zum Beispiel sind DeepSeek-R1-Distill-Llama-70B und Llama-3.3-Swallow-70B-Instruct-v0.4 Fine-Tunings von Meta-Llama-3.3-70B-Instruct. Sie behalten dessen Architektur und können deshalb auf Dedicated Capacity laufen.

Welche Modelle eigene Checkpoints unterstützen

Die Spalte Eigene Checkpoints unter Unterstützte Modelle zeigt, welche Modelle sie unterstützen.

Diese Modelle unterstützen keine eigenen Checkpoints:

Multimodale Modelle, zum Beispiel Gemma 4 und MiniMax M3.
Modelle, für die es noch kein Konvertierungspaket gibt, zum Beispiel GLM-5.3.
Modelle, die keinen Text generieren, zum Beispiel Sprach- und Embedding-Modelle.

Ihren Checkpoint aufrufen

Ihr Checkpoint erhält eine eigene Modell-ID. Sie rufen ihn über dieselbe API auf wie jedes andere Modell. Siehe Mit Ihrem Endpunkt verbinden.
Er kann in einem Bundle neben anderen Modellen laufen, zum Beispiel neben seinem Basismodell. Siehe Modell-Bundles.
Wenn Ihr Checkpoint ein anderes Chat-Template oder Tool-Call-Format als sein Basismodell verwendet, behandeln Sie das Prompt-Format und das Parsen der Ausgabe in Ihrem Client.

Hintergrund

SambaNova beschreibt, wie Hugging-Face-Checkpoints für seine Chips konvertiert werden: Checkpoint-Konvertierungstool (Englisch).

Die Unterstützung einer neuen Architektur ist ein kommerzielles Gespräch. Sprechen Sie mit uns.