Příjem NetFlow v5, v9 a IPFIX
UDP kolektor zvládající souběžný příjem flow exportů z více síťových zařízení různých výrobců. Robustní parsování všech hlavních verzí protokolu bez ztráty záznamů.
Case StudyNa míru4 min čtení
NetFlow Manager — zpracování síťového provozu v GB/s s TimescaleDB
Netigo buduje a provozuje bezpečné síťové infrastruktury pro enterprise klienty. Potřebovali vlastní nástroj pro sběr, ukládání a reporting síťového provozu z IPFIX/NetFlow sensorů. Navrhli jsme a dodali výkonnou platformu schopnou zpracovávat přenosy v řádech GB/s.
GB/szpracovávaný síťový provozbez ztráty záznamů
v5/v9/IPFIXpodporované protokolykompletní pokrytí
TimescaleDBmiliard záznamůefektivní dotazování
100%vlastní řešeníbez licenčních poplatků
01 — Výchozí stav
Velké objemy dat v reálném čase — krabicová řešení nestačí
Síťový provoz enterprise infrastruktur generuje obrovské množství flow záznamů každou sekundu. Komerční NetFlow kolektory jsou drahé, neflexibilní a neumožňují vlastní reporting. Bylo potřeba řešení, které zvládne přijímat a ukládat data z různých verzí protokolu (NetFlow v5, v9, IPFIX), neztrácí záznamy při špičkovém provozu a umožňuje efektivní dotazování nad časovými řadami.
Komerční NetFlow kolektoryvysoké licenční náklady
Flexibilita reportinguomezená nebo žádná
Podpora více verzí protokolučasto neúplná
Výkon při GB/s přenosechproblematický u SaaS řešení
Výzva
vlastní high-performance kolektorzvládající reálné objemy enterprise síťového provozu
02 — Řešení
Vlastní NetFlow kolektor s TimescaleDB pro časové řady
Navrhli a postavili jsme NetFlow Manager — aplikaci pro příjem, parsování a ukládání flow dat s výkonným backendem pro analytické dotazy a reporting.
PostgreSQL + TimescaleDB
Flow záznamy jsou ukládány do TimescaleDB — nadstavby PostgreSQL optimalizované pro časové řady. Automatické chunking a komprese zajišťují výkon i nad miliardami záznamů.
Výkon v řádech GB/s
Architektura navržená pro zpracování síťového provozu v řádech gigabitů za sekundu. Efektivní pipeline od příjmu UDP paketu po persistenci dat minimalizuje latenci a zabraňuje ztrátě záznamů.
Reporting a analytika
Webová aplikace pro vizualizaci síťového provozu — top talkers, protokolové statistiky, časové grafy, detekce anomálií a export reportů.
Backend .NET
Výkonný .NET backend zajišťující jak příjem a zpracování flow dat, tak REST API pro frontendovou aplikaci a případnou integraci s externími systémy.
03 — Architektura
Architektura řešení
NetFlow Manager přijímá UDP flow exporty ze síťových zařízení, parsuje je a ukládá do TimescaleDB (PostgreSQL). Frontend aplikace dotazuje backend přes REST API a vizualizuje data v reálném čase. Celé řešení je nasazeno v infrastruktuře klienta.
- Síť: Síťová zařízení (NetFlow v5 / v9 · IPFIX · UDP)
- Příjem: UDP kolektor (příjem flow exportů); Flow parser · .NET (v5 / v9 / IPFIX)
- Data: PostgreSQL + TimescaleDB (časové řady · chunking · komprese)
- API: REST API (pro frontend)
- Výstupy: React frontend (reporty · analytika); Export reportů (CSV · PDF)
04 — Výsledky
Výsledky
Podpora NetFlow v5, v9 a IPFIX
Jednotný kolektor přijímající exporty ze síťových zařízení různých výrobců bez ohledu na verzi protokolu.
Zpracování provozu v GB/s
Architektura navržená pro reálné enterprise objemy — pipeline od UDP příjmu po persistenci dat bez ztráty záznamů.
TimescaleDB pro časové řady
Optimalizované ukládání a dotazování nad miliardami flow záznamů díky automatickému chunkingu a kompresi.
Reporting a vizualizace provozu
Přehledy top talkerů, protokolové statistiky, časové grafy a detekce anomálií v síťovém provozu.
Vlastní řešení bez licenčních poplatků
Kompletní kontrola nad kódem i daty — žádná závislost na komerčním dodavateli, plná přizpůsobitelnost.
Technologie
- .NET
- PostgreSQL
- TimescaleDB
- NetFlow v5/v9
- IPFIX
- UDP
- React
- Docker
Další reference
Všechny referenceClinicDent
Multitenantní SaaS pro zubní kliniky — od objednání po vykázání pojišťovně
HealthcareSaaSMultitenant
Číst víceMagistra a.s.
Datový sklad na Microsoft Fabric pro síť 200+ lékáren
DataEnterpriseMicrosoft Fabric
Číst víceJUST CS spol. s r. o.
Kompletní náhrada systému pro správu prodejní sítě MLM za 3 měsíce
EnterpriseNáhrada systémuAzure
Číst víceSouvisející čtení
Hlubší technické poznámky k tématům této případové studie.
TimescaleDB vs. InfluxDB vs. ClickHouse: výběr databáze pro časové řady
Pro příjem NetFlow dat v Netigu jsme museli vybrat databázi schopnou zpracovávat GB/s síťových dat v reálném čase. Reálné srovnání tří kandidátů podle výkonu, dotazovacího jazyka, provozu a TCO.
Číst článekZpracování GB/s síťového provozu v .NET: architektura bez ztráty paketů
Pro Netigo zpracováváme IPFIX/NetFlow flows v objemech GB/s. Klíč je buffering, backpressure a horizontální škálování — žádné synchronní zpracování. Co musí sedět, aby systém nezačal ztrácet data pod zátěží.
Číst článekIPFIX/NetFlow parser v .NET: jak psát binární protokoly v produkci
Binární protokoly v .NET při vysoké zátěži. Pro Netigo parsujeme miliony IPFIX packetů denně. Jak minimalizovat alokace, co dělá Span<T>/Memory<T>, a kde je hranice mezi "elegantním" a "rychlým".
Číst článekSenior architekt na každém projektu · Kdo jsme →