Infercom Versionshinweise und Produktaktualisierungen

18. September 2026

Korrektur: logit_bias funktioniert nur bei gpt-oss-120b

• Am 11. September haben wir logit_bias als wirksam bei DeepSeek-V3.2 und Meta-Llama-3.3-70B-Instruct geführt. Das war falsch. Unser Test hat fehlgeschlagene Anfragen als geänderte Ausgabe gewertet
• logit_bias liefert HTTP 500 bei DeepSeek-V3.1, DeepSeek-V3.2 und Meta-Llama-3.3-70B-Instruct sowie bei einem Teil der Anfragen an MiniMax-M2.7. Bei gemma-4-31B-it und bei den übrigen Anfragen an MiniMax-M2.7 wird der Parameter ignoriert
• Maßnahme: Senden Sie logit_bias nur an gpt-oss-120b. Die OpenAI-SDKs wiederholen einen 500 zweimal

Klarstellung: So verhalten sich repetition_penalty und seed

• repetition_penalty wirkt nur auf /v1/chat/completions. /v1/responses und /v1/messages akzeptieren den Parameter und ignorieren ihn
• Er bestraft auch Token in Ihrem Prompt. Ein langer System-Prompt, etwa der eines Voice Agents, kann dadurch Wörter verlieren, auf die er angewiesen ist. Er ist kein direkter Ersatz für frequency_penalty
• Höhere Werte verlängern das Reasoning, statt die Antwort immer zu kürzen. Bei gpt-oss-120b brauchte eine Antwort aus einem Satz 104 Completion-Token bei 1.0 und 244 bei 1.3. Mit einem knappen max_tokens kann die Antwort dadurch abbrechen. 1.8 liefert weiterhin keinen Inhalt. Bleiben Sie bei höchstens 1.2
• seed legt MiniMax-M2.7 je Deployment fest. Das Modell läuft auf zwei Deployments, derselbe Seed liefert daher einen von zwei Texten
• DeepSeek-V3.1 in die Parametertabelle aufgenommen: n, logprobs und seed funktionieren, repetition_penalty hat keine Wirkung
• /v1/responses gibt frequency_penalty und presence_penalty in der Antwort zurück. Angewendet werden sie weiterhin nicht

Vorankündigung: strengere Prüfung der Penalty-Parameter

• Ein kommendes Plattform-Release gibt einen Fehler zurück, wenn frequency_penalty oder presence_penalty einen anderen Wert als 0 haben. Heute werden diese Werte akzeptiert und haben keine Wirkung. Das Datum ergänzen wir hier, sobald es feststeht
• Dasselbe Release gibt einen Fehler für repetition_penalty auf /v1/responses und /v1/messages zurück, wo der Parameter heute ignoriert wird
• Maßnahme jetzt: Entfernen Sie frequency_penalty und presence_penalty aus Ihren Anfragen oder setzen Sie sie auf 0, und senden Sie repetition_penalty nur an /v1/chat/completions. Für Anfragen, die das bereits tun, ändert sich nichts

11. September 2026

Korrektur: Fünf Funktionen, die wir als nicht unterstützt geführt haben, funktionieren

• n, logprobs und top_logprobs funktionieren bei jedem Modell. n: 2 liefert zwei Choices. logprobs: true mit top_logprobs: 3 liefert befüllte Token-Logprobs samt Alternativen
• seed und logit_bias funktionieren bei gpt-oss-120b, DeepSeek-V3.2 und Meta-Llama-3.3-70B-Instruct. Bei temperature 1.0 legt ein Seed dort die Antwort fest: derselbe Seed liefert jedes Mal denselben Text, ein anderer Seed einen anderen. Ohne Seed variiert derselbe Prompt bei nahezu jeder Anfrage
• seed grenzt die Ausgabe bei MiniMax-M2.7 ein, legt sie aber nicht fest. Es bleiben zwei Varianten statt einer, während derselbe Prompt ohne Seed bei jeder Anfrage variiert. Bei gemma-4-31B-it hat der Parameter überhaupt keine Wirkung
• Diese Funktionen kamen mit einem Plattform-Release im Mai 2026, unsere Dokumentation wurde nicht nachgezogen. Die Liste der nicht unterstützten Funktionen enthält jetzt nur noch die beiden Parameter, die tatsächlich nicht unterstützt werden
• Ein Parameter ohne Wirkung auf ein Modell wird dennoch akzeptiert. Nichts in der Antwort weist darauf hin, dass er verworfen wurde. Siehe Unterstützt, aber nicht bei jedem Modell

Dokumentationskorrektur: frequency_penalty bewirkt nichts, repetition_penalty ist der wirksame Parameter

• frequency_penalty und presence_penalty werden bei jedem Modell akzeptiert und ignoriert. Bei allen fünf Modellen und temperature 0 liefern beide eine Ausgabe, die byte-identisch zu einer Anfrage ohne diese Parameter ist. frequency_penalty: 99 liegt außerhalb des dokumentierten Bereichs, wird nicht abgelehnt und ebenfalls ignoriert. presence_penalty: 99 gibt dagegen einen 400 zurück
• Die API-Referenz beschrieb beide mit der vollständigen OpenAI-Semantik und ohne Hinweis. Sie stellt jetzt klar, dass sie aus Kompatibilitätsgründen akzeptiert und ignoriert werden
• repetition_penalty ist der Parameter, der wirkt. Er fehlte in der API-Referenz und ist jetzt dort sowie auf der Seite zur OpenAI-Kompatibilität neben top_k dokumentiert. Der zulässige Bereich ist 1 bis 2, Werte außerhalb geben einen 400 zurück
• Er wird auf gpt-oss-120b, MiniMax-M2.7 und gemma-4-31B-it angewendet und auf DeepSeek-V3.2 sowie Meta-Llama-3.3-70B-Instruct ignoriert
• Hohe Werte kürzen die Antwort. Bei gpt-oss-120b und temperature 0 kürzt 1.3 die Antwort mit finish_reason: "length", und 1.8 liefert überhaupt keinen Inhalt mehr, weil das gesamte Budget in das Reasoning fließt. Beginnen Sie bei 1.05 und bleiben Sie bei höchstens 1.2
• Maßnahme: Wenn Sie frequency_penalty setzen, um eine Wiederholungsschleife zu stoppen, bewirkt das nichts. Korrigieren Sie zuerst temperature und verwenden Sie dann repetition_penalty

10. September 2026

Dokumentationskorrektur: Ein abgeschaltetes Modell liefert eine 410 im Klartext

• Eine Anfrage an ein veraltetes Modell auf /v1/chat/completions gibt HTTP 410 mit content-type: text/plain; charset=utf-8 zurück. Der Body ist kein JSON. Es gibt weder ein error-Objekt noch eine request_id, sodass das Parsen einen Decode-Fehler auslöst
• Offizielle SDKs verkraften dies. Das OpenAI Python SDK löst openai.APIStatusError mit status_code 410 aus und legt den Satz in .body ab. Clients, die .json() selbst auf der rohen Antwort aufrufen, tun das nicht
• Derselbe Fall liefert auf /v1/responses JSON (Hülle, type und code jeweils internal_error) und auf /v1/messages ebenfalls JSON (Anthropic-Struktur, not_found_error)
• Die Seite zu den Fehlercodes nannte zwei Antworten ohne Fehlerhülle. Es sind drei. Die Seite, die Hilfsfunktion zum defensiven Parsen und die OpenAPI-Referenz decken jetzt alle drei ab
• model_deprecated ist als Code für die 410 dokumentiert, wird derzeit aber von keinem Endpunkt zurückgegeben. Die Tabellenzeile weist nun darauf hin. Eine Korrektur ist bei unserem Plattformanbieter in Arbeit
• Wiederholen Sie eine 410 nicht. Der Zustand ist dauerhaft. Ändern Sie die Modell-ID. Siehe API-Fehlercodes

9. September 2026

Dokumentationskorrektur: top_k wird bei niedriger temperature stillschweigend abgeschaltet

• top_k hat keine Wirkung, solange temperature nicht mindestens 0.001 beträgt. Unterhalb dieser Schwelle, auch wenn Sie temperature ganz weglassen, wird top_k auf 1 gesetzt und die Dekodierung ist greedy. Eine Anfrage mit top_k: 40 und ohne temperature liefert Argmax, ohne dass die Antwort auf den ignorierten Wert hinweist
• Bei gemma-4-31B-it liefert top_k: 40 ohne temperature bei jeder Anfrage denselben Text. Dieselbe Anfrage mit temperature: 1.0 variiert bei jeder Anfrage
• Die Standardwerte bei weggelassenen Sampling-Parametern sind jetzt dokumentiert: temperature 0.0, top_p 1.0, top_k 1048576, repetition_penalty 1.0
• top_k muss 1 oder größer sein. -1 und 0 werden auf /v1/chat/completions und /v1/messages mit einem 400 abgelehnt. Auf /v1/responses werden sie akzeptiert, da dieser Endpunkt die Untergrenze nicht prüft, bedeuten dort aber ebenfalls nicht “keine Einschränkung”. Die API-Referenz nannte für top_k ein Maximum von 100; es wird keine Obergrenze durchgesetzt
• Die byte-identische Ausgabe ohne temperature ist kein fest gesetzter Seed. Sie entsteht durch das erzwungene top_k von 1. Verlassen Sie sich nicht über Releases hinweg darauf
• Dokumentiert ist jetzt auch, warum MiniMax-M2.7 Sampling verwendet, während die übrigen Modelle greedy dekodieren: nur auf den MiniMax-Bundles werden nicht gesetzte Sampling-Parameter aus der generation_config.json des Checkpoints ergänzt
• Maßnahme: Setzen Sie temperature explizit, bevor Sie top_k anpassen. Siehe Wie top_k mit temperature zusammenwirkt

Plattform-Wartungsrelease: Vision-Tool-Aufrufe, Reasoning-Token-Zählung, Fehlerhülle

• Vision-Anfragen unterstützen jetzt Tools und strukturierte Ausgabe. gemma-4-31B-it hält tools, tool_choice und response_format auch bei Anfragen mit Bild ein. Die Einschränkung wird während der Generierung angewendet. Siehe Vision
• Reasoning-Token werden bei jedem EU-Modell gemeldet. Lesen Sie usage.completion_tokens_details.reasoning_tokens, um Reasoning getrennt von der sichtbaren Antwort zu budgetieren und abzurechnen. Bei gemma-4-31B-it war der Wert zuvor null. Siehe Reasoning-Tokens auslesen
• Fehlerhafte Bilddaten geben HTTP 400 zurück, nicht 500. Dies ist ein permanenter Fehler. Wiederholen Sie die Anfrage nicht
• Fehler verwenden eine einheitliche JSON-Hülle, mit zwei Ausnahmen. Die Antwort enthält eine request_id, die Sie in jeder Support-Meldung angeben sollten. Ein fehlerhaftes Bild und ein nicht eingehaltenes erzwungenes tool_choice geben weiterhin eine flache Struktur zurück, in der error ein String ist. Siehe API-Fehlercodes
• Streaming von Tool-Aufrufen bei gpt-oss-120b ist sauber. In delta.content gelangt kein Reasoning-Gerüst mehr. Beachten Sie, dass dasselbe Modell bei Streams ohne Tools ein Feld channel im Delta ergänzt - ignorieren Sie Delta-Felder, die Sie nicht kennen. Siehe Tool-Aufrufe streamen
• Dokumentationskorrekturen: Die Audio-Seite führte stream_options als akzeptierten Parameter. Der Endpunkt lehnt ihn mit HTTP 400 ab. response_format setzt nur json und text um; verbose_json, srt und vtt werden akzeptiert, liefern aber reinen Text. Siehe Audio

18. August 2026

Dokumentationskorrektur: temperature hat keinen Standardwert

• Die API-Referenz nannte einen Standardwert von 0.7 für temperature auf /v1/chat/completions und /v1/responses. Diesen Standardwert gibt es nicht. Die Angabe wurde aus der OpenAPI-Spezifikation und aus allen Seiten entfernt, die sie wiederholt haben
• Ohne temperature dekodieren gemma-4-31B-it, gpt-oss-120b, DeepSeek-V3.2 und Meta-Llama-3.3-70B-Instruct greedy. MiniMax-M2.7 nutzt Sampling. Das gilt gleichermaßen für /v1/chat/completions, /v1/responses und /v1/messages
• Greedy-Decoding ist die Einstellung, die ein Reasoning-Modell am ehesten in eine nicht endende Wiederholungsschleife führt. Anfragen ohne Sampling-Parameter waren damit genau dem Fehler ausgesetzt, vor dem die Dokumentation warnt
• /v1/messages weicht von der Anthropic API ab, die für temperature einen Standardwert von 1.0 dokumentiert. Code aus dem Anthropic SDK wechselt zu Greedy-Decoding, sofern Sie den Parameter nicht setzen
• Maßnahme: Setzen Sie temperature bei jeder Anfrage explizit. Siehe Wenn Sie temperature weglassen

16. Juli 2026

Veraltung: MiniMax-M2.5 abgeschaltet

• MiniMax-M2.5 wird zum 16. Juli 2026, 21:00 Uhr MESZ abgeschaltet. Nach diesem Wechsel geben Anfragen an MiniMax-M2.5 einen Fehler zurück
• Migrieren Sie zu MiniMax-M2.7 (192k Kontext) oder gemma-4-31B-it (kosteneffizient, vision-fähig)
• Modellübersicht, Ratenbegrenzungen und Veraltungen aktualisiert

3. Juli 2026

Bevorstehende Veraltung: MiniMax-M2.5

• MiniMax-M2.5 wird am 16. Juli 2026 um 21:00 Uhr MESZ abgeschaltet
• Empfohlene Nachfolger: MiniMax-M2.7 (komplexes Reasoning, 192k Kontext) oder gemma-4-31B-it (kosteneffizient, vision-fähig)
• Beide Nachfolgemodelle sind bereits verfügbar - migrieren Sie vor dem 16. Juli, um Serviceunterbrechungen zu vermeiden
• Hinweise zur Migration finden Sie unter Veraltungen

20. Juni 2026

Modell-Update: Gemma 4 ersetzt Gemma 3

• gemma-3-12b-it wurde entfernt und in einem einzigen Wechsel durch gemma-4-31B-it ersetzt. Anfragen an gemma-3-12b-it werden nicht mehr bedient - aktualisieren Sie Ihre Integrationen auf die Modell-ID gemma-4-31B-it
• Gemma 4 ist EU-gehostet auf Infercoms souveräner Infrastruktur mit vollständiger Datensouveränität, bietet ein 128k-Kontextfenster und verbesserte Leistung bei gleichzeitiger Beibehaltung der Vision-Unterstützung
• Vision-Leitfaden mit gemma-4-31B-it-Beispielen aktualisiert
• Ratenbegrenzungen und Veraltungen aktualisiert

5. Juni 2026

Neue Modelle: Whisper-Large-v3 und E5-Mistral-7B-Instruct

• Whisper-Large-v3 ist jetzt für Audio-Transkription und -Übersetzung verfügbar - OpenAIs hochmodernes ASR-Modell, EU-gehostet mit vollständiger Datensouveränität
• E5-Mistral-7B-Instruct ist jetzt für die Generierung von Embeddings verfügbar - hochwertige Vektordarstellungen für RAG-, Such- und Klassifizierungs-Workflows
• Beide Modelle laufen auf EU-souveräner Infrastruktur, keine Daten verlassen die EU-Gerichtsbarkeit
• Ratenbegrenzungen für beide Modelle aktualisiert
• Modellübersicht mit neuen Embedding- und Audio-Modell-Abschnitten aktualisiert

24. Mai 2026

Anthropic SDK-Kompatibilität

• Neuer /v1/messages-Endpunkt für Anthropic SDK-Kompatibilität
• Verwenden Sie das Anthropic Python SDK mit Infercom-Modellen - ändern Sie nur die Base-URL
• Unterstützt Streaming, System-Prompts, mehrteilige Konversationen und Tool-Verwendung
• Dokumentation

22. Mai 2026

Neues Modell: MiniMax-M2.7

• MiniMax-M2.7 ist jetzt als EU-gehostetes Modell mit einem Kontextfenster von 192K verfügbar
• Empfohlen für agentenbasierte Coding-Workflows - ersetzt M2.5 als Standardempfehlung
• MiniMax-M2.5 (160K Kontext) bleibt verfügbar, wird aber in einem künftigen Release abgeschaltet
• Ratenbegrenzungen für MiniMax-M2.7 aktualisiert

15. Mai 2026

Responses API

• Neuer POST /v1/responses Endpunkt für agentenbasierte Workflows - unterstützt Function Tools, Streaming und Reasoning-Effort-Steuerung
• Kompatibel mit OpenAI Responses API Standard
• Unterstützte Modelle: MiniMax-M2.5, gpt-oss-120b
• Dokumentation

Modell-Update

• gemma-3-12b-it auf EU-souveräne Infrastruktur verschoben - erstes vision-fähiges Modell mit vollständiger EU-Datensouveränität
• Vision-Leitfaden

Neue Integration

• Codex CLI jetzt über Responses API unterstützt
• Cline und OpenCode Anleitungen mit Plan/Execute-Konfigurationsmuster aktualisiert

24. April 2026

Modellkatalog-Updates

• DeepSeek-V3.1 in Global Model Catalog verschoben: Wird jetzt via Proxy (US-Region) statt EU-gehosteter Infrastruktur bereitgestellt
• gemma-3-12b-it hinzugefügt: Googles Gemma 3 12B-Modell jetzt über den Global Model Catalog verfügbar (Japan). Dies ist das erste vision-fähige Modell auf Infercom — siehe Vision-Leitfaden
• DeepSeek-V3.2 Kontextlänge korrigiert: Von 8k auf 32k Tokens aktualisiert
• EU-gehostete Modelle: MiniMax-M2.5 und gpt-oss-120b bleiben als souveräne EU-Optionen

Dokumentations-Updates

• Vision-Leitfaden mit gemma-3-12b-it-Beispielen und Souveränitätshinweis aktualisiert
• Fähigkeiten-Spalte zu Modellübersicht-Tabellen hinzugefügt

6. April 2026

Neue Dokumentation: Agentic Coding

• Agentic Coding-Bereich mit Anleitungen für 9 KI-Coding-Tools hinzugefügt
• Terminal-Tools: Aider, OpenCode, Goose, Warp
• IDE-Tools: Cursor, Cline, Continue, Windsurf
• Fortgeschritten: Claude Code via ccproxy
• Tool-Vergleichsanleitung - Empfehlungen zur Tool-Auswahl

3. April 2026

Global Model Catalog optimiert

• Global Model Catalog auf 2 Modelle reduziert: Meta-Llama-3.3-70B-Instruct (128k) und DeepSeek-V3.2 (8k)
• 8 Modelle eingestellt: Qwen3-32B, Qwen3-235B, DeepSeek-R1-0528, DeepSeek-R1-Distill-Llama-70B, DeepSeek-V3-0324, DeepSeek-V3.1-Terminus, Llama-4-Maverick-17B-128E-Instruct, Meta-Llama-3.1-8B-Instruct
• Siehe Veraltungen für Migrationsinformationen
• MiniMax-M2.5 Kontextlänge auf 160k korrigiert (war fälschlicherweise als 164k gelistet)

12. März 2026

Modellaktualisierung: MiniMax M2.5 ersetzt Meta-Llama-3.3-70B-Instruct

• MiniMax M2.5 ist jetzt als EU-gehostetes Modell auf Infercoms souveräner Infrastruktur in Deutschland verfügbar
• Meta-Llama-3.3-70B-Instruct wurde eingestellt und von der Plattform entfernt. Siehe Veraltungen für Migrationsinformationen
• Ratenbegrenzungen für MiniMax M2.5 aktualisiert

27. Februar 2026

Global Model Catalog Launch

• 9 neue Modelle über den Global Model Catalog verfügbar, darunter DeepSeek-R1-0528, Qwen3-235B, Llama-4-Maverick und weitere
• EU-gehostete und global geroutete Modelle sind jetzt klar getrennt in der Modellübersicht
• Ratenbegrenzungen für alle 12 Modelle über Free und Developer Tier aktualisiert
• API sn_metadata gibt jetzt is_external- und region-Felder für alle Modelle zurück

14. Februar 2026

Neue Dokumentation

• Performance & Latenz-Leitfaden hinzugefügt mit Themen zu Connection Pooling, Performance-Metadaten in der API-Antwort, Streaming-Optimierung und Best Practices zur Latenzreduzierung

5. Februar 2026

Dokumentation für Global Model Catalog

• Dokumentation für den Global Model Catalog hinzugefügt, mit EU-gehosteten und global gerouteten Modellen
• Dokumentiert wie man Modellregionen identifiziert über die API (sn_metadata.region) und den Playground
• API-Referenz mit sn_metadata-Schema und ?verbose=true-Abfrageparameter aktualisiert
• Souveränitätsaussagen in der Dokumentation überprüft und für den Global Model Catalog präzisiert

23. Januar 2026

Modell-Update

• DeepSeek-Modell von DeepSeek-V3-0324-cb auf DeepSeek-V3.1 mit erweitertem 128k-Kontextfenster aktualisiert
• Das vorherige Modell wurde als veraltet markiert und ist auf der Veraltungsseite aufgeführt
• Ratenbegrenzungen für alle Modelle aktualisiert

13. Januar 2026

Neu

• Hugging Face Spaces Chat-Demo - Interaktiver Chat mit Modellauswahl und Echtzeit-Performance-Metriken

Verbesserungen

• Dokumentationsbereinigung und Link-Korrekturen

30. Dezember 2025

Aktualisierung des Modellkatalogs mit den aktuell verfügbaren Modellen auf Infercom Inference Service. Die Modellliste und die Ratenbegrenzungen wurden entsprechend aktualisiert.

17. November 2025

Wir freuen uns, die Einführung des Infercom-Dokumentationsportals bekannt zu geben. Diese umfassende Dokumentation wurde auf Basis der SambaNova-Dokumentation (Stand: 7. Oktober 2025) erstellt und für die EU-souveräne AI-Inferenz-Plattform von Infercom angepasst.

Wichtigste Funktionen

• Vollständige API-Referenzdokumentation mit OpenAI-kompatiblen Endpunkten.
• Entwicklerhandbücher für die Integration mit der Infercom-Inferenz-Plattform.
• Modellkatalog- und Konfigurationsdokumentation für alle unterstützten Modelle.
• Plattformarchitektur- und Bereitstellungsanleitungen.
• Anwendungsbeispiele in Python und TypeScript, unterstützt durch OpenAI-kompatible SDKs.

Die gesamte Dokumentation wird kontinuierlich aktualisiert, um Infercom-spezifische Funktionen, europäische Datensouveränitätsfähigkeiten und Plattformverbesserungen widerzuspiegeln, sobald diese verfügbar werden.