Dokumentation

Chat-API

OpenAI-kompatibel. Funktioniert mit dem offiziellen OpenAI-SDK (Python, JS, Go, etc.) und mit jedem HTTP-Client.

Python

from openai import OpenAI

client = OpenAI(
    api_key="«redacted:sk-…»",
    base_url="https://llm4a.com/v1"
)

response = client.chat.completions.create(
    model="qwen3.6-35b-a3b-uncensored-hauhaucs-aggressive",
    messages=[{"role": "user", "content": "Erkläre Quantencomputing"}]
)

print(response.choices[0].message.content)

JavaScript

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "«reda...…»",
  baseURL: "https://llm4a.com/v1"
});

const response = await client.chat.completions.create({
  model: "qwen3.6-35b-a3b-uncensored-hauhaucs-aggressive",
  messages: [{ role: "user", content: "Erkläre Quantencomputing" }],
});

console.log(response.choices[0].message.content);

Streaming (SSE)

stream = client.chat.completions.create(
    model="qwen3.6-35b-a3b-uncensored-hauhaucs-aggressive",
    messages=[{"role": "user", "content": "Schreibe ein Gedicht"}],
    stream=True
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

Abrechnung

Die Plattform zählt Tokens mit tiktoken (GPT-4-Encoding) und nutzt diese Zahl als Abrechnungsbasis. Was der Provider zurückmeldet, ist nur Audit-Info. So kann kein Provider zu niedrige Token-Counts zurückschicken und damit den Preis drücken.

Preis pro 1M Tokens variiert pro Provider. Beispiel: $0.50/Mio für einen Cloud-Provider, $1.00/Mio für einen Homelab-Server. Der Marktplatz zeigt den aktuellen Preis pro Modell.

System-Prompts

Wenn deine Anfrage kein role: "system"-Message enthält, injiziert die Plattform automatisch einen Denk-Prompt, der das Modell anweist, Überlegungen in <think>...</think>-Tags zu schreiben, bevor es antwortet. Wenn du einen eigenen System-Prompt setzt, wird deiner verwendet.

Marktplatz

Der Modell-Browser listet alle verfügbaren Modelle. Pro Modell siehst du:

• Anzahl Provider (z.B.
• Preisbereich (min bis max pro 1M Tokens)
• Bester Preis (günstigster Provider)
• Filter: nur gesunde Provider, unter X USD, Multi-Provider-Modelle
• Sortierung: Beste Verfügbarkeit, Name A–Z, Günstigster Preis, Meiste Anbieter

Klick auf ein Modell um die Provider-Liste zu sehen. Pro Provider:

• Name, Modell-Identifier, URL
• Preis pro 1M Tokens
• Uptime-Prozent (aus den letzten ~20 Health-Checks)
• Tokens/Sekunde (gemittelt aus echten Chat-Anfragen der letzten 24h)
• Latenz des letzten Health-Checks in Millisekunden
• Status (Online / Offline)

Provider-Hosting

Als Host kannst du einen eigenen LLM-Server anbieten. Du brauchst:

• Einen Account mit Rolle Host (oder Rolle Admin für plattformweite Provider).
• Einen LLM-Server, der OpenAI-kompatibel antwortet. Entweder lokal (llama.cpp, Ollama, vLLM, etc.) oder ein Cloud-API-Zugang (OpenAI, Anthropic via OpenAI-kompatibler Bridge, MiniMax, Groq, etc.).
• Optional: einen /health-Endpoint, der bei laufendem Server 200 OK zurückgibt.

Provider registrieren

Im Host-Dashboard auf

• Name — wird im Marktplatz angezeigt (z.B.
• Modell — der Modell-Identifier, den der Server erwartet (z.B. qwen3.6-35b-a3b-q4_k_m oder MiniMax-M3)
• Endpoint URL — Basis-URL ohne trailing slash (z.B. http://192.168.1.50:8080 oder https://api.openai.com/v1)
• Preis pro 1M Tokens — in USD. Die Plattform berechnet daraus deinen Erlös abzüglich Kommission.
• API-Key — optional. Wird als Authorization: Bearer *** an den Provider mitgesendet.

Preis:        $1.00 / 1M Tokens
|Verbrauch:    2.5M Tokens (Input + Output)
|Brutto:       $2.50
|Kommission:   -$0.375 (15%)
|Auszahlung:   $2.125 an dich