So testen wir
Diese Seite erklärt, wie George die Dienste testet, die wir vergleichen: wie die Testkonten eröffnet werden, was wir festhalten und wo die Grenzen jedes Ergebnisses liegen.
Zuletzt aktualisiert:
Was wir testen
Wir testen, was Sie selbst nach dem Mieten eines Dienstes tun würden: ihn einrichten, echte Arbeit darauf laufen lassen, ihn messen und notieren, was schiefgeht. Jedes Ergebnis nennt das Datum, den Anbieter, den Tarif und die Versionen, mit denen gemessen wurde.
Wir beschreiben nie einen Test, der nicht stattgefunden hat. Nennt eine Seite eine Tatsache, die wir nicht gemessen haben, gibt sie die Quelle an, etwa die Preisseite des Anbieters selbst, und das Datum, an dem wir sie gelesen haben.
Wie wir Testkonten eröffnen
George eröffnet jedes Testkonto selbst, wie ein normaler Kunde, direkt auf der Website des Anbieters. Er meldet sich nie über die Besuchen-Buttons oder einen anderen Link auf unserer Website an.
Was wir festhalten
Zu jedem Test führen wir ein Protokoll mit:
- Datum und Uhrzeit jedes Durchlaufs
- dem Anbieter, dem Tarif und der Rechenzentrumsregion
- dem Betriebssystem und der Version jeder App und jedes Modells
- den Einstellungen, die wir geändert haben
- den Befehlen, die wir ausgeführt haben, und ihrer Rohausgabe
Ein Artikel zeigt einen Kasten „So haben wir getestet“ nur, wenn ein solches Protokoll existiert.
Bis eine Testumgebung gelaufen ist, beruht ein Artikel auf veröffentlichten Daten und nennt jede Quelle mit ihrem Datum.
Wie wir Geschwindigkeit und Speicher messen
Ein einzelner Durchlauf kann Glück oder Pech haben, daher ist jede Geschwindigkeit, die wir veröffentlichen, der Median aus mindestens 3 Durchläufen: der mittlere Wert, wenn die Ergebnisse geordnet sind. Speicher- und Prozessorauslastung protokollieren wir während des ganzen Tests, statt sie einmal abzulesen.
Die Grenzen jedes Ergebnisses
Jedes Ergebnis nennt seine Grenzen, meist eine Region, eine Woche und eine Version jeder App oder jedes Modells. Ein Anbieter kann nach unserem Test seine Hardware, Preise oder Software ändern, daher trägt jedes Ergebnis sein Datum.
Wir wiederholen jede Testumgebung einmal im Jahr, und früher, wenn eine neue Version oder ein geänderter Tarif das Ergebnis beeinflussen könnte.
Screenshots
Unsere Screenshots stammen nur aus Georges eigenen Konten. Bevor wir einen veröffentlichen, schneiden wir ihn auf das Wesentliche zu und entfernen persönliche Angaben, IP-Adressen, Schlüssel und E-Mail-Adressen.
Wer die Tests durchführt
George führt jeden Test durch. Er eröffnet die Konten, startet und stoppt die Server, führt die Testskripte aus und bewahrt die Rohausgabe auf. Mehr über ihn erfahren Sie unter Über uns.
Wie wir KI-Werkzeuge nutzen
KI-Werkzeuge helfen uns bei Recherche, Entwürfen und Faktenprüfung. George führt jeden Test durch und gibt jeden Artikel frei, bevor er erscheint.
Unsere Testumgebungen
Eine Testumgebung ist eine Gruppe gemieteter Server oder Dienste und die Tests, die wir darauf ausführen. Mehrere Artikel teilen sich jede Testumgebung, und jeder Kasten „So haben wir getestet“ verlinkt auf die verwendete Umgebung.
T1 Agenten-Testumgebung
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Wir mieten Server und verwaltete Tarife für KI-Agenten, jeweils für einen Monat. Jeder Server betreibt n8n, OpenClaw und Hermes Agent mit denselben fünf Workflows und drei Agenten-Aufgaben.
Wir protokollieren 7 Tage lang alle 5 Minuten die Speicher- und Prozessorauslastung und prüfen, ob Webhooks ankommen. Außerdem scannen wir unsere eigenen Server von außen auf offene Ports und testen dann ein Update, ein Zurücksetzen und eine Wiederherstellung aus einem Backup.
T2 CPU-Modell-Testumgebung
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Wir betreiben kleine offene Modelle auf dem Prozessor, ohne GPU. Server mit 8, 16 und 32 GB Arbeitsspeicher betreiben Ollama mit vier kleinen Modellen, jeweils in zwei Quantisierungsstufen. Wir messen Tokens pro Sekunde und Speichernutzung.
T3 GPU-Testumgebung
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Wir mieten GPUs mit 24, 48 und 80 GB Speicher und führen auf jeder dasselbe Benchmark-Skript aus. Es betreibt Modelle in drei Größen (8B, 27B bis 32B sowie 70B oder gpt-oss-120b) auf zwei Engines: llama.cpp (oder Ollama) und vLLM.
Wir testen jedes Modell mit einem Nutzer und dann mit acht Nutzern gleichzeitig und wiederholen jeden Durchlauf dreimal.
T4 Fine-Tuning-Testumgebung
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Wir führen LoRA- und QLoRA-Fine-Tuning mit Unsloth an Modellen mit 8B, 27B bis 32B und 70B durch, alle mit demselben Datensatz. Dann vergleichen wir die Antworten auf 20 Test-Prompts vor und nach dem Training.
T5 Chatbot-Testumgebung
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Wir geben mehreren Dokumenten-Chatbot-Diensten dieselben 30 Dokumente und dieselben 40 Fragen, damit sich ihre Antworten direkt vergleichen lassen.
T6 Bild- und Video-Testumgebung
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Ein fester ComfyUI-Workflow erstellt 100 Bilder und einige kurze Clips. Er läuft auf einer gemieteten GPU und auf zwei ComfyUI-Diensten, die man im Browser nutzt, einer davon stundenweise abgerechnet.
Zwei Videomodelle laufen auf zwei GPU-Typen, und wir messen die Dauer eines Flux-LoRA-Trainings. Den höchsten GPU-Speicherverbrauch jeder Aufgabe protokollieren wir.
T7 Monatlicher GPU-Server
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Wir mieten einen GPU-Server monatsweise und messen, wie lange die Bestellung bis zur Bereitstellung dauert. Dann führen wir dasselbe Benchmark-Skript aus wie in der Testumgebung T3.
T8 Ausgabenkontrolle
Geplant: Die Ergebnisse erscheinen hier mit ihrem Datum.
Auf den Konten, die für die Testumgebungen T1 und T3 eröffnet wurden, richten wir das Ausgabenlimit, die Warnung oder das Prepaid-Guthaben jedes Anbieters ein. Dann prüfen wir, ob die Ausgaben bei einem kleinen Limit wirklich stoppen.
Tests, die wir veröffentlicht haben
Wir haben noch keine Tests veröffentlicht.