Skip to content

Testcenter Lasttest 2026

Einleitung

Titel: Bewertung der Skalierbarkeit und Leistung des Testcenters unter hoher Benutzerlast bei unterschiedlichen Testheftgrößen und gleichzeitigen Zugriffen.
Datum: 31. März 2026
Tester: Kompetenztest.de

Der Fokus liegt auf der Analyse der Antwortzeiten, Fehlerraten und Serverauslastung bei verschiedenen Hardware-Konfigurationen (VM1, VM2, VM3, VM4) und der Untersuchung der Auswirkungen von 100, 200, 500 und 1000 gleichzeitigen Benutzern auf die Systemleistung. (Ergebnisse)

1. Testumgebung

Hardware

Server:

  • VM1: 1 Kern mit 2 Threads, 8 GB RAM
  • VM2: 2 Kerne mit 4 Threads, 8 GB RAM
  • VM3: 4 Kerne mit 8 Threads, 8 GB RAM
  • VM4: 8 Kerne mit 16 Threads, 8 GB RAM

Client (Perftest-Rechner):

  • DEACON: 6 Kerne, 64 GB RAM, 10 Gbit/s Netzwerkanbindung

Software

  • Betriebssystem: Oracle Linux 8
  • Datenbank: MySQL 8.4
  • Anwendungsframework: Slim 4.15
  • Frontendframework: Angular 20.3

Tools

  • Node Exporter, Prometheus, Grafana (Monitoring Tool)

2. Teststrategie

Testarten

  • Lasttest: Überprüfung der Performance bei 100, 200, 500 und 1000 gleichzeitigen Benutzern.
  • Spitzentest: Überprüfung der Reaktion des Systems auf plötzliche Lastspitzen und hohe gleichzeitige Benutzerzahlen.

Testmethoden

  • Nutzung von Go-Skript: Um die gleichzeitigen Benutzeranfragen zu simulieren, wird das GO-Scripts des IQBs verwendet (https://github.com/iqb-berlin/load-test). Dabei wird die Anzahl der gleichzeitigen Benutzer (100, 200, 500, 1000) dynamisch gesteuert und die Antwortzeiten sowie die Fehlerhäufigkeit überwacht.

  • Testhefte:

    • Basiskompetenztest Mathe Powertest 2026 (4 MB)
    • Basiskompetenztest Mathe Speedtest 2026 (12 MB)
    • Basiskompetenztest Zuhören 2026 (30 MB)
    • VERA3 Mathe 2026 (6.7 MB)
  • Überwachung mit Prometheus und Grafana: Während der Tests wird das Monitoring-Tool Prometheus und Grafana verwendet, um die Serverauslastung (CPU, Arbeitsspeicher, Netzwerk), Antwortzeiten und Fehlerraten in Echtzeit zu überwachen und zu analysieren.

  • Durchführung bei unterschiedlichen Hardwarekonfigurationen: Die Tests werden auf verschiedenen Hardwarekonfigurationen durchgeführt (VM1, VM2, VM3, VM4).

3. Testszenarien

1. Szenario: Aufruf der Startseite

Beschreibung:
Simuliert die Szenarien von der Authentifizierung bis hin zum Laden des Testes und deren Inhalte. Es wird überprüft, wie das System mit verschiedenen Lastbedingungen umgeht und wie die Antwortzeiten sowie die Serverauslastung sind.

Ziele:

  • Messen der Antwortzeit bei Authentifizierung und Laden der Testinhalte.
  • Überprüfung der Fehlerhäufigkeit (z. B. 404 Fehler).
  • Analyse der Serverauslastung (CPU, Speicher, Netzwerk).

Gleichzeitige Benutzer:

  • 100, 200, 500, 1000 Benutzer

4. Testkonfiguration

Zugriffsanzahl

  • Test bei 100 gleichzeitigen Zugriffen
  • Test bei 200 gleichzeitigen Zugriffen
  • Test bei 500 gleichzeitigen Zugriffen
  • Test bei 1000 gleichzeitigen Zugriffen

Hardwarekonfigurationen

  • VM1: 1 Kern mit 2 Threads, 8 GB RAM
  • VM2: 2 Kerne mit 4 Threads, 8 GB RAM
  • VM3: 4 Kerne mit 8 Threads, 8 GB RAM
  • VM4: 8 Kerne mit 16 Threads, 8 GB RAM

Testhefte

  • Basiskompetenztest Mathe Powertest 2026
  • Basiskompetenztest Mathe Speedtest 2026
  • Basiskompetenztest Zuhören 2026
  • VERA3 Mathe 2026

5. Metriken

  • Antwortzeiten: Durchschnitt, 95. Perzentil
  • Fehlerraten: HTTP-Fehler, Timeouts
  • Serverauslastung: CPU, Arbeitsspeicher, Netzwerk

6. Ergebnisse

VM1 Ergebnisse

Basiskompetenztest Mathe Powertest 2026

Metrik1002005001000
Gesamtzeit19.41 s41.72 s112.18 s256.71 s
Median18.87 s40.85 s110.71 s247.78 s
90. Perzentil19.2841.66 s112.12 s253.69 s
Fehlerart1002005001000
HTTP 500000502->37, 504->7, 500->7
Timeout0000
Automatic Retries00050
Manual Retries0000

AntwortzeitenAbbildung 1: VM1 – Basiskompetenztest Mathe Powertest 2026 – 100 Benutzer

AntwortzeitenAbbildung 2: VM1 – Basiskompetenztest Mathe Powertest 2026 – 200 Benutzer

AntwortzeitenAbbildung 3: VM1 – Basiskompetenztest Mathe Powertest 2026 – 500 Benutzer

AntwortzeitenAbbildung 4: VM1 – Basiskompetenztest Mathe Powertest 2026 – 1000 Benutzer


Basiskompetenztest Mathe Speedtest 2026

Metrik1002005001000
Gesamtzeit34.02 s72.13 s201.25 s424.73 s
Median33.70 s71.31 s198.79 s410.12 s
90. Perzentil33.92 s72.05 s201.17 s422.47 s
Fehlerart1002005001000
HTTP 500000502->168, 500->28, 504->104
Timeout0000
Automatic Retries000271
Manual Retries00027

AntwortzeitenAbbildung 5: VM1 – Basiskompetenztest Mathe Speedtest 2026 – 100 Benutzer

AntwortzeitenAbbildung 6: VM1 – Basiskompetenztest Mathe Speedtest 2026 – 200 Benutzer

AntwortzeitenAbbildung 7: VM1 – Basiskompetenztest Mathe Speedtest 2026 – 500 Benutzer

AntwortzeitenAbbildung 8: VM1 – Basiskompetenztest Mathe Speedtest 2026 – 1000 Benutzer


Basiskompetenztest Zuhören 2026

Metrik1002005001000
Gesamtzeit49.05 s116.27 s
Median48.07 s115.41 s
90. Perzentil48.84 s116.18 s
Fehlerart1002005001000
HTTP 50000
Timeout00
Automatic Retries00
Manual Retries00

AntwortzeitenAbbildung 9: VM1 – Basiskompetenztest Zuhören 2026 – 100 Benutzer

AntwortzeitenAbbildung 10: VM1 – Basiskompetenztest Zuhören 2026 – 200 Benutzer

AntwortzeitenAbbildung 11: VM1 – Basiskompetenztest Zuhören 2026 – 500 Benutzer

AntwortzeitenAbbildung 12: VM1 – Basiskompetenztest Zuhören 2026 – 1000 Benutzer


VERA3 Mathe 2026

Metrik1002005001000
Gesamtzeit49.57 s106.06 s279.42 s
Median48.77 s104.76 s276.76 s
90. Perzentil49.37 s105.91 s279.28 s
Fehlerart1002005001000
HTTP 500000
Timeout000
Automatic Retries000
Manual Retries000

AntwortzeitenAbbildung 13: VM1 – VERA3 Mathe 2026 – 100 Benutzer

AntwortzeitenAbbildung 14: VM1 – VERA3 Mathe 2026 – 200 Benutzer

AntwortzeitenAbbildung 15: VM1 – VERA3 Mathe 2026 – 500 Benutzer

AntwortzeitenAbbildung 16: VM1 – VERA3 Mathe 2026 – 1000 Benutzer


VM2 Ergebnisse

Basiskompetenztest Mathe Powertest 2026

Metrik1002005001000
Gesamtzeit12.95 s26.42 s69.77 s
Median12.44 s25.82 s68.00 s
90. Perzentil12.82 s26.35 s69.56 s
Fehlerart1002005001000
HTTP 500000
Timeout000
Automatic Retries000
Manual Retries000

AntwortzeitenAbbildung 1: VM2 – Basiskompetenztest Mathe Powertest 2026 – 100 Benutzer

AntwortzeitenAbbildung 2: VM2 – Basiskompetenztest Mathe Powertest 2026 – 200 Benutzer

AntwortzeitenAbbildung 3: VM2 – Basiskompetenztest Mathe Powertest 2026 – 500 Benutzer

AntwortzeitenAbbildung 4: VM2 – Basiskompetenztest Mathe Powertest 2026 – 1000 Benutzer


Basiskompetenztest Mathe Speedtest 2026

Metrik1002005001000
Gesamtzeit21.92 s44.89 s122.85 s
Median21.23 s43.49 s117.93 s
90. Perzentil21.65 s44.61 s122.61 s
Fehlerart1002005001000
HTTP 500000
Timeout000
Automatic Retries000
Manual Retries000

AntwortzeitenAbbildung 5: VM2 – Basiskompetenztest Mathe Speedtest 2026 – 100 Benutzer

AntwortzeitenAbbildung 6: VM2 – Basiskompetenztest Mathe Speedtest 2026 – 200 Benutzer

AntwortzeitenAbbildung 7: VM2 – Basiskompetenztest Mathe Speedtest 2026 – 500 Benutzer

AntwortzeitenAbbildung 8: VM2 – Basiskompetenztest Mathe Speedtest 2026 – 1000 Benutzer


Basiskompetenztest Zuhören 2026

Metrik1002005001000
Gesamtzeit36.52 s82.25 s
Median33.05 s76.92 s
90. Perzentil35.86 s81.94 s
Fehlerart1002005001000
HTTP 50000
Timeout00
Automatic Retries00
Manual Retries00

AntwortzeitenAbbildung 9: VM2 – Basiskompetenztest Zuhören 2026 – 100 Benutzer

AntwortzeitenAbbildung 10: VM2 – Basiskompetenztest Zuhören 2026 – 200 Benutzer

AntwortzeitenAbbildung 11: VM2 – Basiskompetenztest Zuhören 2026 – 500 Benutzer

AntwortzeitenAbbildung 12: VM2 – Basiskompetenztest Zuhören 2026 – 1000 Benutzer


VERA3 Mathe 2026

Metrik1002005001000
Gesamtzeit31.33 s56.70 s157.88 s
Median30.65 s54.84 s153.31 s
90. Perzentil31.19 s56.39 s157.64 s
Fehlerart1002005001000
HTTP 500006
Timeout000
Automatic Retries006
Manual Retries000

AntwortzeitenAbbildung 13: VM2 – VERA3 Mathe 2026 – 100 Benutzer

AntwortzeitenAbbildung 14: VM2 – VERA3 Mathe 2026 – 200 Benutzer

AntwortzeitenAbbildung 15: VM2 – VERA3 Mathe 2026 – 500 Benutzer

AntwortzeitenAbbildung 16: VM2 – VERA3 Mathe 2026 – 1000 Benutzer


VM3 Ergebnisse

Basiskompetenztest Mathe Powertest 2026

Metrik1002005001000
Gesamtzeit8.77 s16.51 s39.45 s86.84 s
Median7.59 s15.75 s37.94 s83.67 s
90. Perzentil8.37 s16.29 s39.15 s86.52 s
Fehlerart1002005001000
HTTP 5000000
Timeout0000
Automatic Retries0000
Manual Retries0000

AntwortzeitenAbbildung 1: VM3 – Basiskompetenztest Mathe Powertest 2026 – 100 Benutzer

AntwortzeitenAbbildung 2: VM3 – Basiskompetenztest Mathe Powertest 2026 – 200 Benutzer

AntwortzeitenAbbildung 3: VM3 – Basiskompetenztest Mathe Powertest 2026 – 500 Benutzer

AntwortzeitenAbbildung 4: VM3 – Basiskompetenztest Mathe Powertest 2026 – 1000 Benutzer


Basiskompetenztest Mathe Speedtest 2026

Metrik1002005001000
Gesamtzeit16.22 s31.63 s80.09 s168.27 s
Median14.47 s30.57 s78.26 s164.53 s
90. Perzentil15.62 s31.35 s79.82 s167.93 s
Fehlerart1002005001000
HTTP 5000000
Timeout0000
Automatic Retries0000
Manual Retries0000

AntwortzeitenAbbildung 5: VM3 – Basiskompetenztest Mathe Speedtest 2026 – 100 Benutzer

AntwortzeitenAbbildung 6: VM3 – Basiskompetenztest Mathe Speedtest 2026 – 200 Benutzer

AntwortzeitenAbbildung 7: VM3 – Basiskompetenztest Mathe Speedtest 2026 – 500 Benutzer

AntwortzeitenAbbildung 8: VM3 – Basiskompetenztest Mathe Speedtest 2026 – 1000 Benutzer


Basiskompetenztest Zuhören 2026

Metrik1002005001000
Gesamtzeit35.81 s64.47 s158.74 s
Median32.79 s61.72 s143.03 s
90. Perzentil34.92 s63.53 s157.19 s
Fehlerart1002005001000
HTTP 500000
Timeout000
Automatic Retries000
Manual Retries000

AntwortzeitenAbbildung 9: VM3 – Basiskompetenztest Zuhören 2026 – 100 Benutzer

AntwortzeitenAbbildung 10: VM3 – Basiskompetenztest Zuhören 2026 – 200 Benutzer

AntwortzeitenAbbildung 11: VM3 – Basiskompetenztest Zuhören 2026 – 500 Benutzer

AntwortzeitenAbbildung 12: VM3 – Basiskompetenztest Zuhören 2026 – 1000 Benutzer


VERA3 Mathe 2026

Metrik1002005001000
Gesamtzeit20.91 s36.63 s138.47 s393.90 s
Median19.88 s34.86 s131.46 s360.36 s
90. Perzentil20.57 s36.26 s137.02 s393.56 s
Fehlerart1002005001000
HTTP 50000??
Timeout0000
Automatic Retries00302219609
Manual Retries0000

AntwortzeitenAbbildung 13: VM3 – VERA3 Mathe 2026 – 100 Benutzer

AntwortzeitenAbbildung 14: VM3 – VERA3 Mathe 2026 – 200 Benutzer

AntwortzeitenAbbildung 15: VM3 – VERA3 Mathe 2026 – 500 Benutzer

AntwortzeitenAbbildung 16: VM3 – VERA3 Mathe 2026 – 1000 Benutzer


VM4 Ergebnisse

Basiskompetenztest Mathe Powertest 2026

Metrik1002005001000
Gesamtzeit7.08 s13.40 s29.96 s60.56 s
Median6.53 s13.15 s28.48 s52.88 s
90. Perzentil6.92 s13.36 s29.87 s60.25 s
Fehlerart1002005001000
HTTP 5000000
Timeout0000
Automatic Retries0000
Manual Retries0000

AntwortzeitenAbbildung 1: VM4 – Basiskompetenztest Mathe Powertest 2026 – 100 Benutzer

AntwortzeitenAbbildung 2: VM4 – Basiskompetenztest Mathe Powertest 2026 – 200 Benutzer

AntwortzeitenAbbildung 3: VM4 – Basiskompetenztest Mathe Powertest 2026 – 500 Benutzer

AntwortzeitenAbbildung 4: VM4 – Basiskompetenztest Mathe Powertest 2026 – 1000 Benutzer


Basiskompetenztest Mathe Speedtest 2026

Metrik1002005001000
Gesamtzeit13.79 s27.64 s68.29 s138.67 s
Durchschnitt13.45 s27.29 s65.96 s131.23 s
90. Perzentil13.68 s27.58 s68.10 s138.15 s
Fehlerart1002005001000
HTTP 5000000
Timeout0000
Automatic Retries0000
Manual Retries0000

AntwortzeitenAbbildung 5: VM4 – Basiskompetenztest Mathe Speedtest 2026 – 100 Benutzer

AntwortzeitenAbbildung 6: VM4 – Basiskompetenztest Mathe Speedtest 2026 – 200 Benutzer

AntwortzeitenAbbildung 7: VM4 – Basiskompetenztest Mathe Speedtest 2026 – 500 Benutzer

AntwortzeitenAbbildung 8: VM4 – Basiskompetenztest Mathe Speedtest 2026 – 1000 Benutzer


Basiskompetenztest Zuhören 2026

Metrik1002005001000
Gesamtzeit30.68 s59.29 s163.40 s431.92 s
Median29.51 s57.66 s144.87 s402.43 s
90. Perzentil30.20 s59.01 s162.70 s430.00 s
Fehlerart1002005001000
HTTP 5006162946
Timeout0000
Automatic Retries6162946
Manual Retries0000

AntwortzeitenAbbildung 9: VM4 – Basiskompetenztest Zuhören 2026 – 100 Benutzer

AntwortzeitenAbbildung 10: VM4 – Basiskompetenztest Zuhören 2026 – 200 Benutzer

AntwortzeitenAbbildung 11: VM4 – Basiskompetenztest Zuhören 2026 – 500 Benutzer

AntwortzeitenAbbildung 12: VM4 – Basiskompetenztest Zuhören 2026 – 1000 Benutzer


VERA3 Mathe 2026

Metrik1002005001000
Gesamtzeit11.56 s26.87 s72.63 s
Median11.16 s25.65 s64.40 s
90. Perzentil11.40 s26.50 s65.31 s
Fehlerart1002005001000
HTTP 5001537236
Timeout0000
Automatic Retries15375206
Manual Retries000

Successful: 264

AntwortzeitenAbbildung 13: VM4 – VERA3 Mathe 2026 – 100 Benutzer

AntwortzeitenAbbildung 14: VM4 – VERA3 Mathe 2026 – 200 Benutzer

AntwortzeitenAbbildung 15: VM4 – VERA3 Mathe 2026 – 500 Benutzer

AntwortzeitenAbbildung 16: VM4 – VERA3 Mathe 2026 – 1000 Benutzer

7. Ergebnisse und Erkenntnisse

Die Lasttests zeigen ein differenziertes Bild in Abhängigkeit von Testhefttyp, Nutzerzahl und eingesetzter Infrastruktur.

Während die Basiskompetenztests (BKT) auch bei steigender Nutzerzahl ein insgesamt stabiles Verhalten mit konstanten Antwortzeiten und nur vereinzelten Verbindungsabbrüchen zeigten, traten insbesondere bei den VERA-Tests unter hoher Last deutliche Probleme auf. Diese äußerten sich vor allem in einer stark erhöhten Anzahl automatischer Retries sowie vereinzelt in HTTP-500-Fehlern und Verbindungsabbrüchen auf Transportebene (EOF).

Auffällig war, dass diese Effekte nicht ausschließlich von der Hardwareleistung abhingen. Insbesondere zeigte die leistungsstärkere VM4 unter hoher Last teilweise eine höhere Fehleranfälligkeit als VM3. Dies deutet darauf hin, dass nicht die reine CPU- oder RAM-Kapazität der limitierende Faktor ist, sondern systemische Effekte im Bereich der Netzwerkverbindungen eine entscheidende Rolle spielen.

Die Analyse der Logdaten legt nahe, dass die Ursache primär in der hohen Anzahl paralleler Netzwerkverbindungen liegt. Insbesondere Tests mit vielen Einzelressourcen (z. B. VERA) erzeugen pro Nutzer*in eine Vielzahl gleichzeitiger Requests. In der Summe führt dies dazu, dass die verfügbaren lokalen Ports (ephemeral ports) erschöpft werden und neue Verbindungen zeitweise nicht mehr aufgebaut werden können.

Typische Symptome waren:

  • Cannot assign requested address
  • fehlgeschlagene Verbindungen zum Cache-Service (Redis)
  • automatische Retries beim Laden von Ressourcen
  • Verbindungsabbrüchen ohne vollständige HTTP-Antwort (EOF)

Ein zentraler Befund ist, dass es sich hierbei nicht um ein klassisches CPU- oder RAM-Problem handelt, sondern um ein Limit auf Betriebssystemebene im Bereich der Netzwerkverbindungen. Die höhere Leistungsfähigkeit von VM4 führt dabei sogar dazu, dass mehr parallele Verbindungen in kürzerer Zeit aufgebaut werden, wodurch das Problem verstärkt auftreten kann.

Durch die Erhöhung der verfügbaren Port-Range (ip_local_port_range) konnte dieser Flaschenhals deutlich entschärft werden. In den nachfolgenden Tests zeigte sich eine klare Verbesserung:

  • Anzahl der Retries wurde deutlich reduziert
  • stabile Testläufe mit bis zu 1000 Nutzer*innen
  • Verbindungsabbrüche traten seltener auf.

Dennoch bleibt festzuhalten, dass Tests mit vielen Einzelressourcen weiterhin eine höhere Netzwerklast erzeugen und auch nach der Optimierung vereinzelt Retries auftreten können. Dies deutet darauf hin, dass neben der Infrastruktur auch die Struktur der Testhefte sowie das Verbindungs- und Cache-Handling Einfluss auf die Gesamtperformance haben.

8. Abgeleitete Maßnahmen und Betriebsentscheidungen für 2026

Auf Basis der gewonnenen Erkenntnisse wurden konkrete Maßnahmen für den produktiven Einsatz während der Testung 2026 abgeleitet.

Zentral ist dabei die Anpassung der Netzwerkparameter. Durch die Erhöhung der verfügbaren Port-Range wird sichergestellt, dass auch bei hoher Parallelität ausreichend Verbindungen aufgebaut werden können und die zuvor beobachteten Engpässe reduziert werden.

Darüber hinaus wurde eine gezielte Lastverteilung über mehrere Testcenter-Instanzen festgelegt. Für die VERA-Tests, die aufgrund ihrer Struktur eine besonders hohe Anzahl paralleler Requests erzeugen, werden drei separate Instanzen betrieben. Die Basiskompetenztests hingegen werden auf einer eigenen Instanz gebündelt, da diese im Lasttest ein deutlich stabileres Verhalten gezeigt haben.

Ein weiterer wichtiger Punkt ist die Wahl der Infrastruktur. Trotz geringerer nomineller Rechenleistung wurde die VM3-Konfiguration für den Produktivbetrieb ausgewählt, da sie im Lasttest ein insgesamt stabileres Verhalten gezeigt hat. Insbesondere traten hier keine relevanten Verbindungsabbrüche auf, und das Systemverhalten war besser vorhersehbar.

Für zukünftige Optimierungen sollten insbesondere parallele Request-Strukturen sowie die Anbindung von Cache- und Backend-Services analysiert werden. Dies wurde mit dem IQB abgestimmt. Dort wird aktuell gemeinsam mit Technologiepartnern eine Kubernetes-basierte Cloud-Infrastruktur weiterentwickelt, mit dem Ziel einer Referenzarchitektur für Hochlastszenarien.