Dedicated Capacity
Fragen zu Dedicated Capacity
Antworten auf häufige Fragen zu Dedicated Capacity: Modellgröße, Bundles, Dimensionierung, Zugang, Daten, Modelllaufzeit, Tests, Abrechnung und eigene Kunden.
Was ist ein Rack?
Abschnitt betitelt „Was ist ein Rack?“Ein Rack ist ein SambaRack: 16 KI-Chips (RDUs), die speziell für Inferenz gebaut sind, in 8 Servern. Es ist eine Kapazitätseinheit. Wir dimensionieren Ihre Kapazität in Racks.
Wie groß darf ein Modell auf einem Rack sein?
Abschnitt betitelt „Wie groß darf ein Modell auf einem Rack sein?“Jedes Modell in der Liste der unterstützten Modelle läuft auf einem Rack. Was auf ein Rack passt, hängt von der Architektur und der Präzision des Modells ab, nicht nur von der Zahl seiner Parameter. Für ein Modell, das nicht in der Liste steht, prüfen wir mit Ihnen, ob es passt.
Laufen mehrere Modelle auf einem Rack gleichzeitig?
Abschnitt betitelt „Laufen mehrere Modelle auf einem Rack gleichzeitig?“Die Modelle eines Bundles bleiben zusammen geladen. Das Rack berechnet jeweils ein Modell und wechselt pro Anfrage in Millisekunden zwischen ihnen. Die Modelle teilen sich den Durchsatz des Racks. Deshalb dimensionieren wir ein Bundle für den gemeinsamen Traffic seiner Modelle. Siehe Modell-Bundles.
Wie viele Racks brauche ich?
Abschnitt betitelt „Wie viele Racks brauche ich?“Wir dimensionieren Ihre Kapazität nach Ihrem Workload. Senden Sie uns:
- die Modelle
- die Tokens pro Tag
- das Verhältnis von Input- zu Output-Tokens
- die typische und die maximale Kontextlänge
- die maximale Anzahl gleichzeitiger Anfragen
- Ihre Ziele für Latenz oder Durchsatz
- wie sich der Traffic über den Tag verteilt
Sprechen Sie mit uns, mit diesen Werten.
Bekommen wir tieferen Zugang als die Modell-Endpunkte?
Abschnitt betitelt „Bekommen wir tieferen Zugang als die Modell-Endpunkte?“Nein. Dedicated Capacity stellt Ihnen Modell-Endpunkte über die OpenAI-kompatible API bereit. Sie erhalten keinen Zugang zur Hardware, zum Betriebssystem oder zum Serving-Stack. Siehe Mit Ihrem Endpunkt verbinden.
Wer hat Zugriff auf das System, und verlassen Daten die EU?
Abschnitt betitelt „Wer hat Zugriff auf das System, und verlassen Daten die EU?“Die Racks stehen in unserem Rechenzentrum in München. SambaNova betreibt den Software-Stack mit uns, mit Fernzugriff, wie in unserem Auftragsverarbeitungsvertrag (AVV) festgelegt. Wir speichern Prompts und Ausgaben nicht dauerhaft. Siehe das Trust Center.
Wie erreichen wir den Endpunkt?
Abschnitt betitelt „Wie erreichen wir den Endpunkt?“Sie erreichen Ihren Endpunkt über HTTPS im Internet. Sprechen Sie mit uns, wenn Sie eine private Netzwerkverbindung brauchen.
Wie lange bleiben die Modelle? Können wir ein Modell behalten?
Abschnitt betitelt „Wie lange bleiben die Modelle? Können wir ein Modell behalten?“Sie wählen die Modelle auf Ihrer Kapazität. Jede Modelländerung stimmen wir mit Ihnen ab.
Können wir testen, bevor wir uns festlegen?
Abschnitt betitelt „Können wir testen, bevor wir uns festlegen?“Ja. Wir können vor der Unterschrift einen zeitlich begrenzten Test mit dem Modell vereinbaren, das Sie brauchen. Wenn das Modell im Katalog der Inference API steht, können Sie auch dort starten. Sprechen Sie mit uns.
Können wir darauf unsere eigenen Kunden bedienen?
Abschnitt betitelt „Können wir darauf unsere eigenen Kunden bedienen?“Ja. Es ist Ihre reservierte Kapazität. Sie können darauf Ihren eigenen Dienst aufbauen, auch für Ihre eigenen Kunden. Systemintegratoren und Agenturen tun genau das.
Wie wird abgerechnet?
Abschnitt betitelt „Wie wird abgerechnet?“Sie zahlen eine monatliche Gebühr für die reservierte Kapazität, nach Vereinbarung. Längere Laufzeiten bringen bessere Konditionen. Kürzere Laufzeiten sind möglich. Es gibt keine einmalige Hardwaregebühr. Preise legen wir pro Projekt fest und veröffentlichen sie nicht.
Können Sie ein Modell betreiben, das nicht in der Liste steht?
Abschnitt betitelt „Können Sie ein Modell betreiben, das nicht in der Liste steht?“Ein Open-Weight-Modell mit einer unterstützten Architektur: ja, nach einer Inbetriebnahme. Die Unterstützung einer neuen Architektur ist ein kommerzielles Gespräch. Ein proprietäres Modell: nein, denn wir haben keinen Zugriff auf seine Gewichte. Siehe Eigene Checkpoints.