Verfügbare KI-Modelle und Rate Limits

Der Infercom Inference Service bietet Zugang zu einer breiten Auswahl an KI-Modellen über den Global Model Catalog. Modelle sind in zwei Kategorien verfügbar: EU-gehostete Modelle, die auf Infercoms souveräner Infrastruktur in Deutschland laufen, sowie zusätzliche Modelle über globale Infrastruktur.

EU-gehostete Modelle

Die folgenden Modelle laufen auf Infercoms EU-Infrastruktur in Deutschland. Für diese Modelle findet die gesamte Datenverarbeitung innerhalb der EU statt — keine Daten verlassen die EU-Gerichtsbarkeit, mit vollständiger DSGVO-Konformität und ohne Zugriff nach US CLOUD Act.

Textgenerierungsmodelle

Entwickler	Modell-ID	Kontextlänge	Fähigkeiten	Region	HF Link
MiniMax	`MiniMax-M2.7`	192k Tokens	Text, Reasoning	EU	Modellkarte
OpenAI	`gpt-oss-120b`	128k Tokens	Text, Reasoning	EU	Modellkarte
Google	`gemma-4-31B-it`	128k Tokens	Text, Vision	EU	Modellkarte

Embedding-Modell

Entwickler	Modell-ID	Kontextlänge	Fähigkeiten	Region	HF Link
Mistral	`E5-Mistral-7B-Instruct`	4k Tokens	Embeddings	EU	Modellkarte

Audio-Modell

Entwickler	Modell-ID	Max. Audiolänge	Fähigkeiten	Region	HF Link
OpenAI	`Whisper-Large-v3`	25 MB	Transkription, Übersetzung	EU	Modellkarte

Global Model Catalog

Zusätzlich zu den EU-gehosteten Modellen bietet der Infercom Inference Service über den Global Model Catalog Zugang zu einer breiteren Auswahl an Modellen. Modelle, die nicht in unseren EU-Rechenzentren gehostet sind, werden über globale Infrastruktur bereitgestellt. Die Hosting-Region jedes Modells können Sie jederzeit über die API oder den Playground prüfen.

Jedes Modell ist eindeutig mit seiner Hosting-Region gekennzeichnet — sowohl in der API-Antwort als auch im Playground. Sie wissen immer, wo Ihre Daten verarbeitet werden.

Entwickler	Modell-ID	Kontextlänge	Region	Fähigkeiten	HF Link
DeepSeek	`DeepSeek-V3.1`	128k Tokens	US oder JP	Text, Reasoning	Modellkarte
DeepSeek	`DeepSeek-V3.2`	32k Tokens	US oder JP	Text, Reasoning	Modellkarte
Meta	`Meta-Llama-3.3-70B-Instruct`	128k Tokens	US oder JP	Text	Modellkarte

Siehe Modellregionen identifizieren unten, um zu prüfen, wo jedes Modell läuft.

Empfohlene Sampling-Parameter

Sampling-Parameter sind modellspezifisch. Verwenden Sie die Werte, die der jeweilige Modellanbieter empfiehlt, statt einer einheitlichen Einstellung für alle Modelle. Die folgende Tabelle gibt die Empfehlung des jeweiligen Anbieters wieder, mit Link zur Quelle.

Modell-ID	temperature	top_p	top_k	Empfehlung des Anbieters
`MiniMax-M2.7`	1.0	0.95	40	MiniMax-AI/MiniMax-M2.7
`gpt-oss-120b`	1.0	1.0	-	openai/gpt-oss
`gemma-4-31B-it`	1.0	0.95	64	Modellkarte
`DeepSeek-V3.2`	1.0	0.95	-	Modellkarte
`DeepSeek-V3.1`	-	-	-	Keine veröffentlicht
`Meta-Llama-3.3-70B-Instruct`	-	-	-	Keine veröffentlicht

Ein Strich bedeutet, dass der Anbieter für diesen Parameter keinen Wert veröffentlicht. Wo keine Empfehlung vorliegt, gehen Sie von den API-Standardwerten aus und optimieren Sie für Ihren eigenen Anwendungsfall. DeepSeek-V3.1 veröffentlicht keine Empfehlung im Fließtext, die mitgelieferte Generation-Config verwendet jedoch standardmäßig temperature 0.6 und top_p 0.95. Die Infercom API akzeptiert eine temperature zwischen 0 und 2. temperature=1.0 bedeutet nicht “maximale Zufälligkeit” - es bedeutet, dass die Wahrscheinlichkeitsverteilung des Modells exakt so verwendet wird, wie sie trainiert wurde. Werte unter 1.0 schärfen sie, Werte über 1.0 flachen sie ab. Passen Sie temperature, top_p oder top_k an, in der Regel jedoch nicht mehr als einen davon gleichzeitig.

Sehr niedrige Temperaturen können zu nicht endendem Reasoning führen. Reasoning-Modelle können in eine Wiederholungsschleife geraten und denselben Punkt wiederholen, bis max_tokens aufgebraucht ist. Sie erhalten dann finish_reason: "length" und keine brauchbare Antwort. Ein höheres max_tokens hilft nicht. Eine niedrige Temperatur bleibt eine legitime Wahl für reproduzierbare oder strukturierte Ausgaben - bewegen Sie sie jedoch zurück in Richtung des empfohlenen Werts, wenn Sie abgeschnittene Antworten sehen. Siehe Reasoning.

Standard-System-Prompt für MiniMax-M2.7

MiniMax veröffentlicht einen Standard-System-Prompt für MiniMax-M2.7. Verwenden Sie ihn unverändert, sofern Sie keinen Grund haben, ihn zu ersetzen (der Prompt bleibt auf Englisch, wie vom Anbieter veröffentlicht):

You are a helpful assistant. Your name is MiniMax-M2.7 and is built by MiniMax.

Modellregionen identifizieren

Sie können über die API oder den Playground feststellen, wo ein Modell gehostet wird.

Über die API

Der /v1/models-Endpunkt enthält ein sn_metadata-Objekt für jedes Modell. Verwenden Sie das region-Feld, um festzustellen, wo ein Modell gehostet wird: "EU" für souveräne Modelle auf Infercoms EU-Infrastruktur, oder eine Nicht-EU-Region (z.B. "US", "JP") für Modelle auf globaler Infrastruktur. Verwenden Sie den ?verbose=true-Abfrageparameter, um detaillierte Modell-Metadaten einschließlich Souveränitätsinformationen abzurufen:

curl -s "https://api.infercom.ai/v1/models?verbose=true" \
  -H "Authorization: Bearer $INFERCOM_API_KEY" | \
  jq '.data[] | {id, region: .sn_metadata.region}'

from openai import OpenAI
import requests

# Verwendung von requests für Metadaten-Inspektion
headers = {"Authorization": f"Bearer {api_key}"}
response = requests.get(
    "https://api.infercom.ai/v1/models?verbose=true",
    headers=headers
)

for model in response.json()["data"]:
    region = model.get("sn_metadata", {}).get("region", "Global")
    print(f"{model['id']}: {region}")

Beispielantwort für ein EU-gehostetes Modell:

{
  "id": "MiniMax-M2.7",
  "object": "model",
  "sn_metadata": {
    "is_external": false,
    "region": "EU"
  }
}

Beispielantwort für ein global geroutetes Modell:

{
  "id": "DeepSeek-V3.1",
  "object": "model",
  "sn_metadata": {
    "is_external": true,
    "region": "JP"
  }
}

Über den Playground

Im Infercom Playground werden Regionsflaggen neben jedem Modellnamen angezeigt, sodass Sie auf einen Blick sehen können, wo jedes Modell läuft.

Datensouveränität

EU-Souveränität gilt nur für EU-gehostete Modelle. Bei der Nutzung von Modellen aus dem Global Model Catalog, die nicht auf EU-Infrastruktur gehostet sind, werden Anfragen auf globaler Infrastruktur außerhalb der EU verarbeitet. Prüfen Sie immer die Region des Modells, bevor Sie sensible oder regulierte Daten verarbeiten.

Für EU-gehostete Modelle bietet Infercom:

EU-Datenresidenz — Inferenz läuft in unseren EU-Rechenzentren
DSGVO-Konformität — vollständige Einhaltung der EU-Datenschutzverordnung
Kein US CLOUD Act-Zugriff — Ihre Inferenzdaten unterliegen nicht der US-Gerichtsbarkeit
AI Act-Bereitschaft — konzipiert für die Einhaltung des EU AI Act

Erste Schritte

Modelle

Funktionen

Agentic Coding

Entwickeln

Ressourcen

Infercom Inference Service Modelle Übersicht und Spezifikationen

EU-gehostete Modelle

Textgenerierungsmodelle

Embedding-Modell

Audio-Modell

Global Model Catalog

Empfohlene Sampling-Parameter

Standard-System-Prompt für MiniMax-M2.7

Modellregionen identifizieren

Über die API

Über den Playground

Datensouveränität

​EU-gehostete Modelle

​Textgenerierungsmodelle

​Embedding-Modell

​Audio-Modell

​Global Model Catalog

​Empfohlene Sampling-Parameter

​Standard-System-Prompt für MiniMax-M2.7

​Modellregionen identifizieren

​Über die API

​Über den Playground

​Datensouveränität

EU-gehostete Modelle

Textgenerierungsmodelle

Embedding-Modell

Audio-Modell

Global Model Catalog

Empfohlene Sampling-Parameter

Standard-System-Prompt für MiniMax-M2.7

Modellregionen identifizieren

Über die API

Über den Playground

Datensouveränität