> ## Documentation Index
> Fetch the complete documentation index at: https://docs.infercom.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# OpenAI-kompatible Funktionen implementieren - Entwicklerhandbuch

> OpenAI-Clientbibliotheken mit der Infercom API nutzen. Drop-in-kompatibel — nur Basis-URL und API-Schlüssel ändern für EU-souveräne Inferenz.

Die Infercom KI-Inferenz-APIs sind für die Kompatibilität mit OpenAI-Client-Bibliotheken konzipiert, um die Einführung unserer Inferenz-Technologien zur Verbesserung Ihrer KI-Anwendungen zu vereinfachen.

## Bibliothek herunterladen

Führen Sie den folgenden Befehl aus, um die Bibliothek herunterzuladen.

```python theme={null}
pip install openai
```

## Infercom APIs mit OpenAI-Client-Bibliotheken verwenden

Die Konfiguration Ihrer OpenAI-Client-Bibliotheken für die Verwendung der Infercom KI-Inferenz-APIs ist so einfach wie das Festlegen von zwei Werten: der `base_url` und Ihres `api_key`, wie unten dargestellt.

<Note>
  Sie haben noch keinen Infercom API-Schlüssel? Holen Sie sich Ihren von der Seite [API-Schlüssel und URLs](/de/get-started/api-keys-urls).
</Note>

```python theme={null}
from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="ihr-infercom-api-schluessel"
)
```

Jetzt können Sie eine API-Anfrage an ein Modell stellen und wählen, wie Sie Ihre Ausgabe erhalten möchten.

### Beispiel ohne Streaming

Der folgende Code demonstriert die Verwendung des OpenAI Python-Clients für Vervollständigungen ohne Streaming.

```python theme={null}
completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Beantworte die Frage in ein paar Sätzen."},
      {"role": "user", "content": "Erzähle mir eine fröhliche Geschichte"}
    ]
)

print(completion.choices[0].message)
```

### Beispiel mit Streaming

Der folgende Code demonstriert die Verwendung des OpenAI Python-Clients für Vervollständigungen mit Streaming.

```python theme={null}
completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Beantworte die Frage in ein paar Sätzen."},
      {"role": "user", "content": "Erzähle mir eine fröhliche Geschichte"}
    ],
  stream= True
)

for chunk in completion:
  print(chunk.choices[0].delta.content)
```

<Note>
  Im Streaming-Modus gibt die API Chunks zurück, die mehrere Tokens enthalten. Bei der Berechnung von Metriken wie Tokens pro Sekunde oder Zeit pro Ausgabe-Token stellen Sie sicher, dass Sie alle Tokens in jedem Chunk berücksichtigen.
</Note>

## Derzeit nicht unterstützte OpenAI-Funktionen

Die folgenden Funktionen werden noch nicht unterstützt und werden ignoriert:

* `logprobs`
* `top_logprobs`
* `n`
* `presence_penalty`
* `frequency_penalty`
* `logit_bias`
* `seed`

## Funktionsunterschiede

`temperature`: Die Infercom API akzeptiert Werte zwischen 0 und 2, denselben Bereich wie OpenAI. Werte über 2 werden mit einem `400` abgelehnt.

## Infercom API-Funktionen, die von OpenAI-Clients nicht unterstützt werden

Die Infercom API unterstützt den Parameter `top_k`, der von den OpenAI-Client-Bibliotheken nicht unterstützt wird.