OpenAI-kompatible Funktionen implementieren - Entwicklerhandbuch

pip install openai

from openai import OpenAI

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="ihr-infercom-api-schluessel"
)

completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Beantworte die Frage in ein paar Sätzen."},
      {"role": "user", "content": "Erzähle mir eine fröhliche Geschichte"}
    ]
)

print(completion.choices[0].message)

completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Beantworte die Frage in ein paar Sätzen."},
      {"role": "user", "content": "Erzähle mir eine fröhliche Geschichte"}
    ],
  stream= True
)

for chunk in completion:
  print(chunk.choices[0].delta.content)