Audio-Eingabefunktionen implementieren - Entwicklerhandbuch

Für Entwickler, die Audio-Unterstützung benötigen, bietet Infercom das Whisper large-v3 Modell von OpenAI, das Echtzeit-Transkriptionen und Übersetzungen ermöglicht.

Whisper-Large-v3

• Modell: Whisper-Large-v3
• Beschreibung: Hochmodernes automatisches Spracherkennungs- (ASR) und Übersetzungsmodell. Entwickelt von OpenAI und trainiert auf über 5 Millionen Stunden gelabeltem Audio. Hervorragend geeignet für mehrsprachige und Zero-Shot-Sprachaufgaben in verschiedenen Bereichen.
• Modell-ID: Whisper-Large-v3
• Unterstützte Sprachen: Mehrsprachig

Kernfähigkeiten

• Transkribiert und übersetzt erweiterte Audio-Eingaben (bis zu 25 MB).
• Zeigt hohe Genauigkeit bei Spracherkennungs- und Übersetzungsaufgaben.
• Bietet OpenAI-kompatible Endpunkte für Transkriptionen und Übersetzungen.

Anfrageparameter

Parameter	Typ	Beschreibung	Standard	Endpunkte
model	String	Die ID des zu verwendenden Modells.	Erforderlich	transcriptions, translations
file	File	Audiodatei im Format FLAC, MP3, MP4, MPEG, MPGA, M4A, Ogg, WAV oder WebM. Dateigrößenlimit: 25 MB.	Erforderlich	transcriptions, translations
prompt	String	Prompt zur Beeinflussung des Transkriptionsstils oder Vokabulars. Beispiel: “Bitte transkribieren Sie sorgfältig, einschließlich Pausen und Zögern.”	Optional	transcriptions, translations
response_format	String	Ausgabeformat: json, text, verbose_json, srt oder vtt. Siehe Ausgabeformate unten.	json	transcriptions, translations
timestamp_granularities[]	Array	Detailgrad der Zeitstempel. Nur segment wird unterstützt. Verwenden Sie es mit verbose_json. word gibt HTTP 400 zurück.	Optional	transcriptions
language	String	Die Sprache der Audio-Eingabe. Die Verwendung des ISO-639-1-Formats (z.B. en) verbessert Genauigkeit und Latenz.	Optional	transcriptions, translations
stream	Boolean	Aktiviert Streaming-Antworten.	false	transcriptions, translations
stream_options	Object	Nicht unterstützt. Der Endpunkt lehnt diesen Parameter mit HTTP 400 unknown_parameter ab.	-	Wird nicht akzeptiert

Ausgabeformate

response_format akzeptiert fünf Werte.

Wert	Ergebnis
json	Ein JSON-Objekt mit text und einem usage-Objekt: {"text": "...", "usage": {"type": "duration", "seconds": 5.58}}
text	Der reine Transkript-String
verbose_json	Ein JSON-Objekt mit duration, language, task, text und segments. Jedes Segment hat eine id, eine Start- (start) und eine Endzeit (end) in Sekunden sowie seinen text. Es gibt kein usage-Objekt
srt	SRT-Untertitel mit nummerierten Cues und Zeitstempeln
vtt	WebVTT-Untertitel. Der Body beginnt mit WEBVTT

Für Segment-Zeitstempel in JSON senden Sie response_format=verbose_json mit timestamp_granularities[]=segment. Zeitstempel auf Wortebene werden nicht unterstützt: timestamp_granularities[]=word gibt HTTP 400 zurück.

Nutzungsdaten

Mit response_format=json liefern Transkriptionen und Übersetzungen ein usage-Objekt. usage.seconds ist die Dauer des verarbeiteten Audios in Sekunden. Die übrigen Formate liefern kein usage-Objekt.

Hinweis

stream_options: {"include_usage": true} wird nicht unterstützt. Der Endpunkt lehnt den Parameter mit HTTP 400 ab.

Beispielverwendung

Python (SambaNova)

from sambanova import SambaNova
import base64

client = SambaNova(
    base_url="https://api.infercom.ai/v1",
    api_key="ihr-infercom-api-schluessel",
)

audio_path="audio_path"
with open(audio_path, "rb") as audio_file:
   bin_audio = audio_file.read()

response = client.audio.transcriptions.create(
    model="Whisper-Large-v3",
    file=(audio_path,bin_audio),
)
print(str(response))

Python (OpenAI)

from openai import OpenAI
import base64

client = OpenAI(
    base_url="https://api.infercom.ai/v1",
    api_key="ihr-infercom-api-schluessel",
)

audio_path="audio_path"
with open(audio_path, "rb") as audio_file:
   bin_audio = audio_file.read()

response = client.audio.transcriptions.create(
    model="Whisper-Large-v3",
    file=(audio_path,bin_audio),
)
print(str(response))

Javascript (SambaNova)

import SambaNova from "sambanova";

const client = new SambaNova({
  baseURL: 'https://api.infercom.ai/v1',
  apiKey: 'ihr-infercom-api-schluessel'
});

async function run() {
  const audioPath = 'audio_path';
  const binAudio = fs.createReadStream(audioPath);

  const response = await client.audio.transcriptions.create({
    model: 'Whisper-Large-v3',
    file: binAudio,
  });

  console.log('Full Response:');
  console.dir(response, { depth: null });
}

run().catch(console.error);