Ingestion von NetFlow v5, v9 und IPFIX
Ein UDP-Collector, der gleichzeitig Flow-Exporte von mehreren Netzwerkgeräten verschiedener Hersteller verarbeitet. Robustes Parsing aller wichtigen Protokollversionen ohne Datensatzverluste.
Case StudyCustom4 Min. Lesezeit
NetFlow Manager — Verarbeitung von Netzwerkverkehr im GB/s-Bereich mit TimescaleDB
Netigo baut und betreibt sichere Netzwerkinfrastrukturen für Enterprise-Kunden. Sie benötigten ein maßgeschneidertes Tool zur Erfassung, Speicherung und Auswertung von Netzwerk-Flow-Daten aus IPFIX/NetFlow-Sensoren. Wir haben eine Hochleistungsplattform entworfen und geliefert, die Verkehr im GB/s-Bereich verarbeiten kann.
GB/sverarbeiteter Netzwerkverkehrohne Datensatzverluste
v5/v9/IPFIXunterstützte Protokollevolle Abdeckung
TimescaleDBMilliarden Datensätzeeffiziente Abfragen
100 %maßgeschneiderte Lösungkeine Lizenzgebühren
01 — Ausgangslage
Hochvolumige Echtzeit-Daten — Standardlösungen reichen nicht aus
Enterprise-Netzwerkinfrastrukturen erzeugen pro Sekunde enorme Mengen an Flow-Datensätzen. Kommerzielle NetFlow-Collectors sind teuer, unflexibel und bieten nur eingeschränkte individuelle Auswertungen. Die Lösung musste Daten aus mehreren Protokollversionen (NetFlow v5, v9, IPFIX) empfangen und speichern, Spitzenlast ohne Datensatzverluste bewältigen und effiziente Abfragen über Zeitreihendaten ermöglichen.
Kommerzielle NetFlow-Collectorshohe Lizenzkosten
Flexibilität beim Reportingeingeschränkt oder keine
Unterstützung mehrerer Protokollversionenoft unvollständig
Performance bei GB/s-Durchsatzbei SaaS-Lösungen problematisch
Herausforderung
maßgeschneiderter Hochleistungs-Collectorder reale Verkehrsmengen in Enterprise-Netzwerken bewältigen kann
02 — Lösung
Maßgeschneiderter NetFlow-Collector mit TimescaleDB für Zeitreihendaten
Wir haben NetFlow Manager entworfen und gebaut — eine Anwendung zum Empfangen, Parsen und Speichern von Flow-Daten mit einem leistungsstarken Backend für analytische Abfragen und Reporting.
PostgreSQL + TimescaleDB
Flow-Datensätze werden in TimescaleDB gespeichert — eine PostgreSQL-Erweiterung, optimiert für Zeitreihendaten. Automatisches Chunking und Kompression sorgen für Performance auch bei Milliarden von Datensätzen.
Performance im GB/s-Durchsatz
Eine Architektur, ausgelegt für die Verarbeitung von Netzwerkverkehr im Gigabit-pro-Sekunde-Bereich. Eine effiziente Pipeline vom UDP-Paket-Empfang bis zur Persistierung minimiert Latenz und verhindert Datensatzverluste.
Reporting & Analytics
Eine Web-Anwendung zur Visualisierung des Netzwerkverkehrs — Top-Talkers, Protokollstatistiken, Zeitreihen-Charts, Anomalieerkennung und Report-Exporte.
.NET Backend
Ein Hochleistungs-.NET-Backend, das sowohl die Aufnahme und Verarbeitung von Flow-Daten als auch ein REST-API für das Frontend und die mögliche Integration mit externen Systemen bereitstellt.
03 — Architektur
Lösungsarchitektur
NetFlow Manager empfängt UDP-Flow-Exporte von Netzwerkgeräten, parst sie und speichert sie in TimescaleDB (PostgreSQL). Das Frontend fragt das Backend über REST-API ab und visualisiert die Daten in Echtzeit. Die gesamte Lösung wird in der eigenen Infrastruktur des Kunden bereitgestellt.
- Netzwerk: Netzwerkgeräte (NetFlow v5 / v9 · IPFIX · UDP)
- Empfang: UDP-Kollektor (empfängt Flow-Exporte); Flow parser · .NET (v5 / v9 / IPFIX)
- Daten: PostgreSQL + TimescaleDB (Zeitreihen · Chunking · Kompression)
- API: REST API (für das Frontend)
- Ausgaben: React-Frontend (Reports · Analytik); Report-Export (CSV · PDF)
04 — Ergebnisse
Ergebnisse
Unterstützung für NetFlow v5, v9 und IPFIX
Ein einheitlicher Collector, der Exporte von Netzwerkgeräten unterschiedlicher Hersteller unabhängig von der Protokollversion empfängt.
Verarbeitung von GB/s-Verkehr
Eine Architektur, ausgelegt für reale Enterprise-Volumen — eine Pipeline von der UDP-Aufnahme bis zur Persistierung ohne Datensatzverluste.
TimescaleDB für Zeitreihendaten
Optimierte Speicherung und Abfragen über Milliarden von Flow-Datensätzen dank automatischem Chunking und Kompression.
Traffic-Reporting & -Visualisierung
Top-Talker-Übersichten, Protokollstatistiken, Zeitreihen-Charts und Anomalieerkennung im Netzwerkverkehr.
Maßgeschneiderte Lösung ohne Lizenzgebühren
Volle Kontrolle über Code und Daten — keine Abhängigkeit von einem kommerziellen Anbieter, vollständig anpassbar.
Technologien
- .NET
- PostgreSQL
- TimescaleDB
- NetFlow v5/v9
- IPFIX
- UDP
- React
- Docker
Weitere Fallstudien
Alle FallstudienClinicDent
Multitenant-SaaS für Zahnkliniken — von der Terminbuchung bis zur Kassenabrechnung
HealthcareSaaSMultitenant
Mehr erfahrenMagistra a.s.
Data Warehouse auf Microsoft Fabric für eine Kette mit 200+ Apotheken
DataEnterpriseMicrosoft Fabric
Mehr erfahrenJUST CS spol. s r. o.
Vollständige Ablösung eines MLM-Vertriebsnetz-Managementsystems in 3 Monaten
EnterpriseSystemablösungAzure
Mehr erfahrenWeiterlesen
Tiefere technische Notizen zu den Themen dieser Fallstudie.
TimescaleDB vs. InfluxDB vs. ClickHouse: Datenbankauswahl für Time-Series
Für die Netigo NetFlow-Ingestion mussten wir eine Datenbank wählen, die GB/s Netzwerkdaten in Echtzeit verarbeitet. Konkreter Vergleich der drei Kandidaten nach Performance, Query-Sprache, Operations und TCO.
Artikel lesenGB/s Netzwerkverkehr in .NET verarbeiten: Architektur ohne Paket-Drops
Für Netigo verarbeiten wir IPFIX/NetFlow-Flows in GB/s-Volumen. Der Schlüssel ist Buffering, Backpressure und horizontales Scaling — kein Sync-Processing. Was sitzen muss, damit das System unter Last nichts verliert.
Artikel lesenIPFIX/NetFlow-Parser in .NET: Binärprotokolle in Produktion
Binärprotokolle in .NET bei hohem Durchsatz. Für Netigo parsen wir täglich Millionen IPFIX-Pakete. Wie man Allokationen minimiert, was Span<T>/Memory<T> bringt, und wo die Grenze zwischen "elegant" und "schnell" liegt.
Artikel lesenEin Senior-Architekt in jedem Projekt · Über uns →