Zum Hauptinhalt springen
Die Infercom KI-Inferenz-APIs sind für die Kompatibilität mit OpenAI-Client-Bibliotheken konzipiert, um die Einführung unserer Inferenz-Technologien zur Verbesserung Ihrer KI-Anwendungen zu vereinfachen.

​
Bibliothek herunterladen

Führen Sie den folgenden Befehl aus, um die Bibliothek herunterzuladen. 
pip install openai

​
Infercom APIs mit OpenAI-Client-Bibliotheken verwenden

Die Konfiguration Ihrer OpenAI-Client-Bibliotheken für die Verwendung der Infercom KI-Inferenz-APIs ist so einfach wie das Festlegen von zwei Werten: der base_url und Ihres api_key, wie unten dargestellt.
Sie haben noch keinen Infercom API-Schlüssel? Holen Sie sich Ihren von der Seite API-Schlüssel und URLs.
from openai import OpenAI

client = OpenAI(
    base_url="ihre-infercom-basis-url", 
    api_key="ihr-infercom-api-schluessel"
)
Jetzt können Sie eine API-Anfrage an ein Modell stellen und wählen, wie Sie Ihre Ausgabe erhalten möchten.

​
Beispiel ohne Streaming

Der folgende Code demonstriert die Verwendung des OpenAI Python-Clients für Vervollständigungen ohne Streaming. 
completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Beantworte die Frage in ein paar Sätzen."},
      {"role": "user", "content": "Erzähle mir eine fröhliche Geschichte"}
    ]
)

print(completion.choices[0].message)

​
Beispiel mit Streaming

Der folgende Code demonstriert die Verwendung des OpenAI Python-Clients für Vervollständigungen mit Streaming. 
completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Beantworte die Frage in ein paar Sätzen."},
      {"role": "user", "content": "Erzähle mir eine fröhliche Geschichte"}
    ],
  stream= True
)

for chunk in completion:
  print(chunk.choices[0].delta.content)
Im Streaming-Modus gibt die API Chunks zurück, die mehrere Tokens enthalten. Bei der Berechnung von Metriken wie Tokens pro Sekunde oder Zeit pro Ausgabe-Token stellen Sie sicher, dass Sie alle Tokens in jedem Chunk berücksichtigen.

​
Derzeit nicht unterstützte OpenAI-Funktionen

Die folgenden Funktionen werden noch nicht unterstützt und werden ignoriert:
  • logprobs
  • top_logprobs
  • n
  • presence_penalty
  • frequency_penalty
  • logit_bias
  • seed

​
Funktionsunterschiede

temperature: Die Infercom API unterstützt einen Wert zwischen 0 und 1, während OpenAI Werte zwischen 0 und 2 unterstützt.

​
Infercom API-Funktionen, die von OpenAI-Clients nicht unterstützt werden

Die Infercom API unterstützt den Parameter top_k, der von den OpenAI-Client-Bibliotheken nicht unterstützt wird.