Infercom Inference Service Modelle Übersicht und Spezifikationen

Der Infercom Inference Service bietet Zugang zu einer breiten Auswahl an KI-Modellen über den Global Model Catalog. Modelle sind in zwei Kategorien verfügbar: EU-gehostete Modelle, die auf Infercoms souveräner Infrastruktur in Deutschland laufen, sowie zusätzliche Modelle über globale Infrastruktur.

EU-gehostete Modelle

Die folgenden Modelle laufen auf Infercoms EU-Infrastruktur in Deutschland. Für diese Modelle findet die gesamte Datenverarbeitung innerhalb der EU statt — keine Daten verlassen die EU-Gerichtsbarkeit, mit vollständiger DSGVO-Konformität und ohne Zugriff nach US CLOUD Act.

Textgenerierungsmodelle

Entwickler	Modell-ID	Kontextlänge	Fähigkeiten	Region	HF Link
OpenAI	gpt-oss-120b	128k Tokens	Text, Reasoning	EU	Modellkarte
Google	gemma-4-31B-it	128k Tokens	Text, Vision	EU	Modellkarte

Embedding-Modell

Entwickler	Modell-ID	Kontextlänge	Fähigkeiten	Region	HF Link
Mistral	E5-Mistral-7B-Instruct	4k Tokens	Embeddings	EU	Modellkarte

Audio-Modell

Entwickler	Modell-ID	Max. Audiolänge	Fähigkeiten	Region	HF Link
OpenAI	Whisper-Large-v3	25 MB	Transkription, Übersetzung	EU	Modellkarte

Global Model Catalog

Zusätzlich zu den EU-gehosteten Modellen bietet der Infercom Inference Service über den Global Model Catalog Zugang zu einer breiteren Auswahl an Modellen. Modelle, die nicht in unseren EU-Rechenzentren gehostet sind, werden über globale Infrastruktur bereitgestellt. Die Hosting-Region jedes Modells können Sie jederzeit über die API oder den Playground prüfen.

Hinweis

Jedes Modell ist eindeutig mit seiner Hosting-Region gekennzeichnet — sowohl in der API-Antwort als auch im Playground. Sie wissen immer, wo Ihre Daten verarbeitet werden.

Entwickler	Modell-ID	Kontextlänge	Region	Fähigkeiten	HF Link
DeepSeek	DeepSeek-V3.1	128k Tokens	Nicht-EU	Text, Reasoning	Modellkarte
DeepSeek	DeepSeek-V3.2	32k Tokens	Nicht-EU	Text, Reasoning	Modellkarte
Meta	Meta-Llama-3.3-70B-Instruct	128k Tokens	Nicht-EU	Text	Modellkarte
MiniMax	MiniMax-M3	1M Tokens	Nicht-EU	Text, Reasoning	Modellkarte

Unser Anbieter führt MiniMax-M3 als Preview-Modell: Es hat begrenzte Kapazität und kann kurzfristig entfernt werden. Bauen Sie keine Produktions-Workloads darauf auf. Es akzeptiert nur Text. Anfragen mit Bild- oder Videoeingabe liefern einen Fehler.

Siehe Modellregionen identifizieren unten, um zu prüfen, wo jedes Modell läuft.

Empfohlene Sampling-Parameter

Sampling-Parameter sind modellspezifisch. Verwenden Sie die Werte, die der jeweilige Modellanbieter empfiehlt, statt einer einheitlichen Einstellung für alle Modelle. Die folgende Tabelle gibt die Empfehlung des jeweiligen Anbieters wieder, mit Link zur Quelle.

Modell-ID	temperature	top_p	top_k	Empfehlung des Anbieters
gpt-oss-120b	1.0	1.0	-	openai/gpt-oss
gemma-4-31B-it	1.0	0.95	64	Modellkarte
MiniMax-M3	1.0	0.95	-	Modellkarte
DeepSeek-V3.2	1.0	0.95	-	Modellkarte
DeepSeek-V3.1	-	-	-	Keine veröffentlicht
Meta-Llama-3.3-70B-Instruct	-	-	-	Keine veröffentlicht

Ein Strich bedeutet, dass der Anbieter für diesen Parameter keinen Wert veröffentlicht. Wo keine Empfehlung vorliegt, beginnen Sie bei temperature 1.0 und optimieren Sie für Ihren eigenen Anwendungsfall. DeepSeek-V3.1 veröffentlicht keine Empfehlung im Fließtext, die mitgelieferte Generation-Config verwendet jedoch standardmäßig temperature 0.6 und top_p 0.95.

Die Infercom API akzeptiert eine temperature zwischen 0 und 2. temperature=1.0 bedeutet nicht “maximale Zufälligkeit” - es bedeutet, dass die Wahrscheinlichkeitsverteilung des Modells exakt so verwendet wird, wie sie trainiert wurde. Werte unter 1.0 schärfen sie, Werte über 1.0 flachen sie ab. Passen Sie temperature, top_p oder top_k an, in der Regel jedoch nicht mehr als einen davon gleichzeitig.

Wenn Sie temperature weglassen

Die Infercom API wendet keinen dienstweiten Standardwert an. Das Ergebnis hängt vom Modell ab.

Modell-ID	Verhalten ohne temperature
gemma-4-31B-it	Greedy-Decoding. Identisch zu temperature 0.
gpt-oss-120b	Greedy-Decoding. Identisch zu temperature 0.
DeepSeek-V3.2	Greedy-Decoding.
Meta-Llama-3.3-70B-Instruct	Greedy-Decoding.
MiniMax-M3	Greedy-Decoding.

Greedy-Decoding bedeutet, dass das Modell immer das Token mit der höchsten Wahrscheinlichkeit wählt. Für reproduzierbare Ausgaben ist das eine sinnvolle Wahl. Es ist zugleich die Einstellung, die die unten beschriebene Wiederholungsschleife am ehesten auslöst.

/v1/responses und /v1/messages verhalten sich genauso. Setzen Sie temperature bei jeder Anfrage.

Achtung

/v1/messages weicht hier von der Anthropic API ab. Die Anthropic API dokumentiert für temperature einen Standardwert von 1.0. Infercom wendet keinen Standardwert an. Code, den Sie aus dem Anthropic SDK übernehmen, wechselt zu Greedy-Decoding, sofern Sie temperature nicht selbst setzen.

Achtung

Sehr niedrige Temperaturen können zu nicht endendem Reasoning führen. Reasoning-Modelle können in eine Wiederholungsschleife geraten und denselben Punkt wiederholen, bis max_tokens aufgebraucht ist. Sie erhalten dann finish_reason: "length" und keine brauchbare Antwort. Ein höheres max_tokens hilft nicht. Ein weggelassenes temperature zählt bei den meisten Modellen als sehr niedrige Temperatur. Dieser Fehler kann also auch bei Anfragen auftreten, die gar keine Sampling-Parameter setzen. Eine niedrige Temperatur bleibt eine legitime Wahl für reproduzierbare oder strukturierte Ausgaben - bewegen Sie sie jedoch zurück in Richtung des empfohlenen Werts, wenn Sie abgeschnittene Antworten sehen. Siehe Reasoning.

Standardwerte der übrigen Sampling-Parameter

Wenn Sie einen Sampling-Parameter weglassen, wendet die Plattform den unten genannten Wert an. Diese Werte gelten für jedes Modell.

Parameter	Wert ohne Angabe	Wirkung
temperature	0.0	Jeder effektive Wert unter 0.001 wird gekappt, was Greedy-Decoding erzwingt
top_p	1.0	Keine Einschränkung
top_k	1048576	Praktisch keine Einschränkung. Dies ist ein Platzhalterwert, keine Vokabulargröße - gemma-4-31B-it meldet ein Vokabular von 262.144
repetition_penalty	1.0	Keine Strafe

Hinweis

repetition_penalty ist die einzige Wiederholungskontrolle, die diese API anwendet. frequency_penalty und presence_penalty werden aus Gründen der OpenAI-Kompatibilität akzeptiert und bei jedem Modell ignoriert. Siehe Akzeptiert und ignoriert. Erhöhen Sie repetition_penalty erst, nachdem Sie ein passendes temperature gesetzt haben, und halten Sie den Wert bei höchstens 1.2. Der zulässige Bereich ist 1 bis 2, Werte ab 1.8 können jedoch dazu führen, dass ein Reasoning-Modell überhaupt keinen Inhalt mehr liefert. Der Parameter wird auf gpt-oss-120b und gemma-4-31B-it angewendet und auf DeepSeek-V3.1, DeepSeek-V3.2 sowie Meta-Llama-3.3-70B-Instruct ignoriert. Bei MiniMax-M3 liefert jeder Wert außer 1.0 HTTP 500. Er wirkt nur auf /v1/chat/completions und bestraft Token in Ihrem Prompt ebenso wie generierte Token.

Hinweis

Die byte-identische Ausgabe, die Sie ohne temperature erhalten, ist kein fest gesetzter Seed. Sie entsteht durch das unten beschriebene erzwungene top_k von 1. Verlassen Sie sich nicht darauf, dass sie über Releases hinweg reproduzierbar bleibt.

Wie top_k mit temperature zusammenwirkt

Achtung

top_k hat keine Wirkung, solange temperature nicht mindestens 0.001 beträgt. Unterhalb dieser Schwelle, auch wenn Sie temperature ganz weglassen, wird top_k auf 1 gesetzt und die Dekodierung ist greedy. Nichts in der Antwort weist darauf hin, dass Ihr Wert ignoriert wurde.

Setzen Sie temperature explizit, wenn Sie Sampling wünschen.

Die folgende Anfrage fordert Sampling über 40 Kandidaten-Tokens an. Sie erhält stattdessen Argmax, weil temperature fehlt:

{
  "model": "gemma-4-31B-it",
  "messages": [{"role": "user", "content": "Write one sentence about the sea."}],
  "top_k": 40
}

Bei gemma-4-31B-it mit identischem Prompt:

Anfrage	Ergebnis
top_k: 40, ohne temperature	Greedy. Bei jeder Anfrage derselbe Text, top_k ignoriert
top_k: 40, temperature: 1.0	Sampling. Die Antwort variiert bei jeder Anfrage
Ohne top_k, ohne temperature	Greedy. Byte-identisch zur ersten Zeile

Zulässiger Wertebereich für top_k

Senden Sie top_k mit einem Wert von 1 oder größer. Anders als bei manchen anderen Anbietern werden -1 und 0 nicht akzeptiert, um den Parameter abzuschalten.

Gesendeter Wert	/v1/chat/completions und /v1/messages	/v1/responses
-1	HTTP 400 Invalid value for 'top_k': -1 is less than the minimum of 1.	HTTP 200. Keine Prüfung
0	HTTP 400 Invalid value for 'top_k': 0 is less than the minimum of 1.	HTTP 200. Keine Prüfung
1	HTTP 200	HTTP 200
1048576	HTTP 200	HTTP 200
2000000	HTTP 200. Es wird keine Obergrenze durchgesetzt	HTTP 200

Achtung

/v1/responses akzeptiert -1 und 0 ohne Fehler, behandelt sie aber nicht als “keine Einschränkung”. Verlassen Sie sich nicht darauf. Verwenden Sie auf jedem Endpunkt einen Wert von 1 oder größer.

Um top_k nicht einzuschränken, lassen Sie den Parameter weg oder senden Sie einen Wert, der größer ist als das Vokabular des Modells.

Modellregionen identifizieren

Sie können über die API oder den Playground feststellen, wo ein Modell gehostet wird.

Über die API

Der /v1/models-Endpunkt enthält ein sn_metadata-Objekt für jedes Modell. Verwenden Sie das region-Feld, um festzustellen, wo ein Modell gehostet wird: "EU" für souveräne Modelle auf Infercoms EU-Infrastruktur, oder eine Nicht-EU-Region (z.B. "US", "JP") für Modelle auf globaler Infrastruktur.

Verwenden Sie den ?verbose=true-Abfrageparameter, um detaillierte Modell-Metadaten einschließlich Souveränitätsinformationen abzurufen:

cURL

curl -s "https://api.infercom.ai/v1/models?verbose=true" \
  -H "Authorization: Bearer $INFERCOM_API_KEY" | \
  jq '.data[] | {id, region: .sn_metadata.region}'

Python

from openai import OpenAI
import requests

# Verwendung von requests für Metadaten-Inspektion
headers = {"Authorization": f"Bearer {api_key}"}
response = requests.get(
    "https://api.infercom.ai/v1/models?verbose=true",
    headers=headers
)

for model in response.json()["data"]:
    region = model.get("sn_metadata", {}).get("region", "Global")
    print(f"{model['id']}: {region}")

Beispielantwort für ein EU-gehostetes Modell:

{
  "id": "gpt-oss-120b",
  "object": "model",
  "sn_metadata": {
    "is_external": false,
    "region": "EU"
  }
}

Beispielantwort für ein global geroutetes Modell:

{
  "id": "DeepSeek-V3.1",
  "object": "model",
  "sn_metadata": {
    "is_external": true,
    "region": "JP"
  }
}

Über den Playground

Im Infercom Playground werden Regionsflaggen neben jedem Modellnamen angezeigt, sodass Sie auf einen Blick sehen können, wo jedes Modell läuft.

Datensouveränität

Achtung

EU-Souveränität gilt nur für EU-gehostete Modelle. Bei der Nutzung von Modellen aus dem Global Model Catalog, die nicht auf EU-Infrastruktur gehostet sind, werden Anfragen auf globaler Infrastruktur außerhalb der EU verarbeitet. Prüfen Sie immer die Region des Modells, bevor Sie sensible oder regulierte Daten verarbeiten.

Für EU-gehostete Modelle bietet Infercom:

• EU-Datenresidenz — Inferenz läuft in unseren EU-Rechenzentren
• DSGVO-Konformität — vollständige Einhaltung der EU-Datenschutzverordnung
• Kein US CLOUD Act-Zugriff — Ihre Inferenzdaten unterliegen nicht der US-Gerichtsbarkeit
• AI Act-Bereitschaft — konzipiert für die Einhaltung des EU AI Act