4,8 TB Logs pro Tag, 24 Stunden lang gemessen
Unser Ziel waren 5 TB pro Tag auf einem hochverfügbaren Setup bei Scaleway in Amsterdam. Diese Seite zeigt, was wir gemessen haben, wie wir gemessen haben, was nicht gut lief und die Rohdaten zum Nachrechnen.
Kurz gesagt
LogPulse hat in 24 Stunden 10,64 Milliarden Events verarbeitet, etwa 4,8 TB Logs pro Tag, auf einem hochverfügbaren Setup aus 8 Nodes bei Scaleway in Amsterdam. Gleichzeitig suchten 25 Analysten und liefen 200 Erkennungsregeln. Es gab keine Serverfehler und kein Event ging verloren. Neue Daten waren nach 3,8 Sekunden durchsuchbar (p95). Wir haben das im November 2026 selbst gemessen. Die Rohdaten stehen auf dieser Seite.
Was wir gemessen haben
24 Stunden, 1.440 Minuten, ab 14. November 2026 21:36 UTC.
Volumen
4,8 TB/Tag
10,64 Milliarden Events in 24 Stunden, im Schnitt 55,4 MB/s. Spitze 73 MB/s und 163.000 Events pro Sekunde.
Fehler
0
Kein HTTP 5xx, keine Pod-Neustarts und keine verlorenen Events in den 24 Stunden.
Durchsuchbar nach (p95)
≤ 3,8 s
Zeit vom Senden eines Events bis zum Fund in der Suche, in der langsamsten Minute. Meist 2,4 s.
Kompression
9,4×
8,2 TB Roh-Logs belegten 911 GB in ClickHouse (12,45 Milliarden Zeilen), mit unserem generierten Datenmix.
Angriff bis Notable (Median)
6 min
58 gemessene Angriffsszenarien, Regeln laufen alle 5 Minuten. 90% innerhalb von 11 Minuten, das langsamste nach 16.
Last neben dem Ingest
25 + 200
25 Analysten suchten, 2 Dashboards aktualisierten sich jede Minute und 200 Erkennungsregeln liefen alle 5 Minuten.
So haben wir getestet
Ein hochverfügbares Produktions-Setup, der echte Netzwerkpfad und eine Last wie in einem SOC.
Setup
- ClickHouse
- 2 × 32 vCPU / 128 GB (POP2-32C-128G), 1 Shard mit 2 Replicas
- Anwendung
- 3 × 16 vCPU / 32 GB (POP2-HC-16C-32G), Autoscaling von 3 bis 8 Nodes. API 11 bis 16 Pods, 12 Worker
- Kafka
- 3 × 8 vCPU / 32 GB (POP2-8C-32G), 12 Stunden Aufbewahrung
- Datenträger
- ClickHouse 2 × 1 TB Block Storage mit 15K IOPS, Kafka 3 × 400 GB
- Sonstiges
- Managed Postgres mit HA, Kubernetes (Scaleway Kapsule), Load Balancer LB-GP-L
- Lastgeneratoren
- 2 × 16 vCPU / 32 GB in einem eigenen Node-Pool, nicht Teil des gemessenen Setups
Scaleway, Amsterdam (nl-ams-3), November 2026. Dasselbe Helm-Chart und dieselben Container wie LogPulse in Produktion und on-premises.
Last
Datenmix
Sieben Log-Arten nach Volumen: Firewall 35%, DNS 15%, Windows 15%, Netzwerk 10%, Linux 10%, Web 10% und E-Mail 5%. Generierte Events mit realistischen Feldern, keine Kundendaten.
Echter Netzwerkpfad
Die Generatoren senden über TLS an den öffentlichen API-Hostnamen, durch Load Balancer und Ingress, wie ein Kunde. 30% der Requests sind mit gzip komprimiert.
Tageskurve
Das Ziel folgt einer Tageskurve von etwa 40 MB/s in der Nacht bis 75 MB/s am Tag.
25 Analysten und 2 Dashboards
Simulierte Analysten suchen zu Bürozeiten, von den letzten 15 Minuten bis zu den letzten 24 Stunden. Zwei Dashboards mit 8 Panels aktualisieren sich jede Minute.
200 Erkennungsregeln
10 Regeln für die Angriffsszenarien plus verwaltete Regeln aus dem LogPulse-Hub auf denselben Indexes, insgesamt 200, jede alle 5 Minuten.
Angriffsszenarien
Alle 10 Minuten geht ein bekannter Angriff in die Daten: Brute Force auf Windows und SSH, ein Portscan, ein DNS-Tunnel, kodiertes PowerShell, eine bekannte bösartige IP, SQL-Injection, ein ISO-Anhang, eine sudo-Shell und Exfiltration. Ein Watcher misst die Zeit bis zum Notable.
Messfenster: 24 Stunden ohne Eingriffe, vom 14. November 2026 21:36 UTC bis 15. November 2026 21:36 UTC. Vor dem Fenster haben wir die Plattform unter Last aktualisiert und eine ClickHouse-Replica und einen Kafka-Broker neu gestartet. Dabei ging kein Event verloren. Diese Tests zählen nicht zu den 24-Stunden-Werten.
So wird jeder Wert gemessen
Ein Reporter im Stack schrieb jede Minute eine Zeile mit allen Messungen. Das sind die Definitionen.
- Gesendete Events und MB
- Gezählt von den Lastgeneratoren, unkomprimierte Größe vor gzip.
- Fehler
- HTTP-Statuscodes pro Sekunde bei den Generatoren und bei ingress-nginx, Pod-Neustarts aus Kubernetes. Der Retry-Zähler der Generatoren blieb im ganzen Fenster gleich.
- Ingest-Latenz
- Zeit vom Senden eines Batches bis zur Antwort, p95 pro Minute, beim Client gemessen. Im Schnitt 0,9 s, langsamste Minute 2,3 s. Die API selbst antwortet in 30 bis 50 ms, der Rest ist der Empfang des Bodys am Ingress.
- Durchsuchbar nach
- Eine Probe schreibt ein markiertes Event und sucht, bis sie es findet. p95 pro Minute.
- Verspätete Regeln
- Anzahl aktiver Regeln, deren nächster Lauf überfällig ist, pro Minute.
- Angriff bis Notable
- Zeit vom Einspielen eines Szenarios bis zum Notable in der Datenbank, pro Szenario von einem Watcher gemessen.
- Speicher
- Zeilen sowie komprimierte und unkomprimierte Bytes der Log-Tabelle aus den Systemtabellen von ClickHouse, am Ende des Tests.
Was nicht gut lief
Das sind die Schwachstellen dieses Tests und was wir dagegen getan haben.
Im Schnitt 4,8 TB pro Tag, nicht 5
Tagsüber blieb der Ingest bei etwa 68 der 75 MB/s. Der Ingress schrieb jeden Request von etwa 450 KB zuerst auf die Platte. Das ist behoben (der Body bleibt jetzt im Speicher und der Ingress läuft auf mehreren Nodes), aber noch nicht neu gemessen.
Erkennung in 34 Minuten kurz verspätet
Regeln einer Organisation liefen nacheinander. Mit 200 Regeln alle 5 Minuten ist das genau an der Grenze, daher war in 34 der 1.440 Minuten ein Teil der Regeln (höchstens 108) verspätet, jeweils innerhalb weniger Minuten wieder 0. Regeln laufen jetzt parallel. Auch das muss noch neu gemessen werden.
Generierte Daten
Die Events stammen aus Vorlagen. Echte Logs variieren stärker und komprimieren meist weniger als 9,4×. Planen Sie den Speicher mit Ihren eigenen Logs.
2 Tage Aufbewahrung
Die Testplatten fassten etwa 2 Tage. Bei dieser Last wächst ClickHouse um etwa 510 GB pro Tag und Replica, längere Aufbewahrung braucht also mehr Platte oder Tiering auf Object Storage.
Wiederherstellung nicht getestet
Wir haben Failover unter Last getestet, nicht das Zurückspielen eines Backups. Das folgt im nächsten Lauf.
Die Hälfte der Angriffsinjektionen scheiterte im Testwerkzeug
Jede zweite Injektion brach in unserem eigenen Simulationswerkzeug mit einem Verbindungsfehler ab. Die Erkennungszeiten zählen nur Szenarien, deren Injektion gelang.
Unser eigener Test
Wir haben diesen Test selbst durchgeführt und gemessen, mit einer Organisation und einem Stack. Es ist kein unabhängiges Audit. Deshalb sind die Minutendaten herunterladbar und wir wiederholen die Messung in einem Pilot.
Was dieses Setup kostet
Listenpreise von Scaleway am 14. November 2026, ohne MwSt., bei 730 Stunden pro Monat. Nur Infrastruktur, ohne LogPulse-Lizenz.
Wie getestet, 2 Tage Aufbewahrung
~4.000 €/Monat
3.950 bis 4.150 €. Postgres, Control Plane und Load Balancer sind geschätzt.
30 Tage auf schnellen Platten
~7.800 €/Monat
Etwa 15 TB pro Replica auf Block Storage mit 15K IOPS.
30 Tage mit Tiering
~4.900 €/Monat
7 Tage auf schnellen Platten, der Rest auf Object Storage. Suchen in älteren Daten ist langsamer.
Quellen: Scaleway Instances, Scaleway Storage.
Selbst nachrechnen
Die Minutendaten sind öffentlich. Jeder Wert auf dieser Seite lässt sich daraus nachrechnen.
Minutendaten (CSV, 320 KB)
1.745 Minuten mit je 30 Messungen, einschließlich des Aufbaus vor dem Fenster. Die Spalte in_window markiert die 24 Stunden.
Zusammenfassung (JSON)
Die Werte des Fensters, aus der CSV berechnet.
Die Lastgeneratoren, die SOC-Simulation und der Reporter sind als Dauertest-Modus Teil des LogPulse-Helm-Charts. Jeder Wert des Reporters stammt aus einer Prometheus- oder ClickHouse-Abfrage in diesem Code. Enterprise-Kunden und Pilot-Teilnehmer bekommen dieselben Werkzeuge.
Sie möchten wissen, was LogPulse auf Ihrer Hardware und mit Ihren Logs leistet? In einem Pilot führen wir denselben Test gemeinsam durch, mit Ihrem Log-Mix und Ihrer Aufbewahrung.
Fragen
Zum Test und was er für Sie bedeutet.
Wie viele Logs pro Tag schafft LogPulse?
In unserem 24-Stunden-Test verarbeitete ein hochverfügbares Setup aus 8 Nodes (2 ClickHouse, 3 Anwendung, 3 Kafka) 10,64 Milliarden Events, etwa 4,8 TB pro Tag, ohne Serverfehler oder verlorene Events. Mehr Nodes bringen mehr Kapazität. Jeden Enterprise-Stack dimensionieren wir nach dem eigenen Volumen.
Ist dieser Test repräsentativ für den echten Einsatz?
Er kommt nahe heran: Der Verkehr lief über den öffentlichen Netzwerkpfad, Analysten suchten, Dashboards aktualisierten sich und 200 Regeln liefen. Die Daten waren aber generiert und es war eine Organisation. Echte Logs komprimieren anders, deshalb messen wir in einem Pilot mit Ihren Logs erneut.
Wie verhält sich das zu Splunk?
Wir haben Splunk nicht im selben Test laufen lassen, daher veröffentlichen wir keinen Leistungsvergleich. Splunk Cloud wird nach Ingest-Volumen berechnet. Ein Preisdokument eines Resellers im britischen G-Cloud-15-Katalog (Januar 2026) nennt 764,75 $ pro GB pro Tag und Jahr bei 5.000 bis 9.999 GB pro Tag. LogPulse Enterprise wird nach Vereinbarung bepreist. Fragen Sie ein Angebot für Ihr Volumen an.
Was brauche ich für 5 TB pro Tag?
Gehen Sie vom getesteten Setup aus: 2 Datenbank-Nodes mit 32 vCPU und 128 GB, 3 bis 8 Anwendungs-Nodes mit 16 vCPU und 32 GB und 3 Kafka-Nodes mit 8 vCPU und 32 GB, plus Platte für Ihre Aufbewahrung (etwa 510 GB pro Tag und Replica bei diesem Mix). Die Profile stehen auf der On-premises-Seite.
Wurde der Test unabhängig geprüft?
Nein. Wir haben ihn selbst durchgeführt und veröffentlichen die Rohdaten, damit jeder die Werte nachrechnen kann. In einem Pilot messen Sie selbst mit.
Messen Sie es mit Ihren eigenen Logs
Wir führen denselben Test in einem Pilot durch, auf Ihrer eigenen Hardware oder als dedizierter Stack in unserer EU-Cloud.
Gemessen von der LayerCares B.V. am 14. und 15. November 2026 unter den auf dieser Seite beschriebenen Bedingungen. Ergebnisse hängen von Hardware, Log-Mix, Aufbewahrung und Konfiguration ab und sind keine Leistungsgarantie. Splunk ist eine Marke ihres Inhabers. LogPulse ist nicht mit Splunk verbunden. LogPulse ist ein Handelsname der LayerCares B.V.