Door Oluwapelumi BankoleOnderzoeker, Informatiesystemen & Cyberbeveiliging, University of Nevada, Las Vegas
Elke ochtend worden miljoenen Amerikanen wakker in huizen vol verbonden apparaten. De thermostaat weet wanneer je weggaat. De deurbel met camera kijkt naar je straat. Het ziekenhuis verderop gebruikt infuuspompen, patiëntmonitoren en HVAC-systemen die communiceren via hetzelfde type netwerk als je slimme koelkast. En bijna geen van deze apparaten is adequaat beveiligd.
We hebben een buitengewone infrastructuur van verbonden machines gebouwd, en we verdedigen deze met tools die zijn ontworpen voor een ander tijdperk.
Dit is geen probleem van bewustzijn. Cyberbeveiliging is een topprioriteit van de overheid. De Cybersecurity and Infrastructure Security Agency (CISA) publiceert wekelijks adviezen. Miljarden dollars vloeien naar enterprise firewalls, endpoint-bescherming en beveiligingsoperatiecentra. En toch blijft het aanvalsoppervlak groeien. Vanaf 2024 herbergt alleen al het Amerikaanse elektriciteitsnet meer dan 2,3 miljoen verbonden IoT-apparaten, waarvan velen verouderde firmware draaien zonder patchschema en zonder monitoring.
De kloof ligt niet tussen wat we weten en wat we vrezen. De kloof ligt tussen de beveiligingssystemen die we hebben gebouwd en de omgevingen waarin deze systemen daadwerkelijk moeten functioneren.
Het Lab Lijkt Totaal Niet op de Echte Wereld
Inbraakdetectiesystemen, de software die is ontworpen om kwaadaardige activiteit op een netwerk te markeren, zijn het afgelopen decennium dramatisch verbeterd. Machine learning en deep learning modellen kunnen nu aanvalspatronen met opmerkelijke nauwkeurigheid identificeren in onderzoeksomgevingen. Transformer-architecturen ontleend aan natuurlijke taalverwerking, long short-term memory-netwerken getraind op sequentiële verkeersgegevens, ensemble-modellen die meerdere classificeerders combineren: de academische literatuur zit vol met systemen die 98 of 99 procent nauwkeurigheid bereiken.
Die cijfers zijn vaak misleidend.
Het nauwkeurigheidscijfer komt meestal uit een laboratoriumdataset, verzameld onder gecontroleerde omstandigheden, met relatief schone verkeersdistributies, en getest op hetzelfde type gegevens waarop het model is getraind. Echte IoT-netwerken zien er niet zo uit. Ze zijn rommelig, heterogeen en voortdurend veranderend. Apparaten van een dozijn fabrikanten verzenden gegevens in verschillende formaten. Verkeerspatronen veranderen wanneer iemand een nieuw apparaat installeert, een routine wijzigt of gewoon een week wegblijft. En cruciaal: echte aanvallen zijn zeldzame gebeurtenissen in een zee van normaal verkeer.
Wanneer een model wordt getraind op een dataset waarin aanvallen 40 procent van de records uitmaken, en vervolgens wordt ingezet op een netwerk waar aanvallen 0,1 procent van het echte verkeer vertegenwoordigen, verandert het gedrag van het model volledig. Het heeft nooit geleerd hoe echte zeldzaamheid eruitziet. Het resultaat is een systeem dat precies de bedreigingen mist die het zou moeten vangen, terwijl het genoeg valse alarmen genereert om de analisten die ze moeten beoordelen te overweldigen.
Het Klasse-Onevenwichtsprobleem Is Geen Voetnoot
In de onderzoeksgemeenschap heeft de mismatch tussen trainingsgegevens en reële omstandigheden een technische naam: klasse-onevenwicht. Het is goed begrepen, actief bestudeerd en consequent ondergewaardeerd door de organisaties die deze systemen inzetten.
Dit is de kern van het probleem. Een netwerkinbraakdetectiesysteem moet elk pakket of verkeersstroom classificeren als normaal of kwaadaardig. In werkelijkheid is de overgrote meerderheid van het verkeer normaal. Aanvalsverkeer is de minderheidsklasse, soms minder dan één procent van alle waargenomen gebeurtenissen vertegenwoordigend. Standaard machine learning-modellen, geoptimaliseerd om de algehele nauwkeurigheid te maximaliseren, leren al snel dat de beste strategie is om bijna alles gewoon als normaal te classificeren. Die strategie levert uitstekende nauwkeurigheidsscores op. Het levert catastrofale resultaten op in de echte wereld.
Een systeem dat 80 procent van de aanvallen mist omdat het is getraind om de meerderheidsklasse te bevoordelen, is geen beveiligingssysteem. Het is een compliance-vinkje.
Onderzoek naar technieken zoals Adaptive SMOTE, dat synthetische voorbeelden van minderheidsklasse-aanvallen genereert om modellen te helpen leren hoe zeldzame bedreigingen eruitzien, heeft echte belofte getoond. Maar deze benaderingen moeten zorgvuldig worden geïmplementeerd, getest tegen datasets die daadwerkelijk inzetomstandigheden weerspiegelen en geëvalueerd op de juiste statistieken. Recall, het percentage echte aanvallen dat het systeem daadwerkelijk vangt, is veel belangrijker dan de algehele nauwkeurigheid wanneer de gevolgen van een gemiste detectie een ransomware-infectie in een ziekenhuis zijn of een valse gegevensinjectie in het controlesysteem van een nutsbedrijf.
Het Multidimensionale Probleem Dat Niemand Wil Oplossen
Er is een gerelateerd probleem dat nog minder aandacht krijgt: hoe we beslissen of een inbraakdetectiesysteem goed genoeg is om in te zetten.
De meeste evaluaties kiezen één of twee statistieken en optimaliseren daarvoor. Nauwkeurigheid is gebruikelijk. F1-score is populair in academische papers. Maar een echte IoT-implementatie vereist het tegelijkertijd afwegen van ten minste vier concurrerende dimensies: detectienauwkeurigheid, computationele efficiëntie, vals-positief percentage en aanpasbaarheid aan nieuwe aanvalstypes.
Een systeem dat 99 procent van bekende aanvallen detecteert maar meer verwerkingskracht verbruikt dan het IoT-apparaat dat het beschermt, is geen inzetbaar systeem. Een systeem dat efficiënt draait maar tien valse alarmen genereert voor elke echte bedreiging, creëert alarmvermoeidheid die zo ernstig is dat analisten stoppen met onderzoeken. Een systeem dat is geoptimaliseerd voor de huidige aanvalstaxonomie en dat zich niet kan aanpassen wanneer tegenstanders van tactiek veranderen, is een systeem met een bekende vervaldatum.
Het ontbreken van een gedeeld, multidimensionaal evaluatiekader betekent dat organisaties die inbraakdetectiesystemen kopen of inzetten geen zinvolle vergelijkingen kunnen maken. Een leverancier kan toonaangevende detectiepercentages claimen terwijl hij stilletjes optimaliseert voor een statistiek die er goed uitziet in een demo en faalt in productie.
Wat Moet Er Veranderen
De weg vooruit vereist het verkleinen van de afstand tussen wat onderzoekers bouwen en wat operators daadwerkelijk inzetten.
Ten eerste moet de onderzoeksgemeenschap inbraakdetectiesystemen evalueren tegen realistische verkeersdistributies, niet alleen gebalanceerde benchmark-datasets. Testen tegen CIC-IDS2017 of NSL-KDD met standaardconfiguraties produceert cijfers die in wezen fictief zijn vergeleken met hoe een echt ziekenhuisnetwerk of slim elektriciteitsnet eruitziet.
Ten tweede moeten organisaties die deze systemen inzetten multidimensionaal prestatiebewijs eisen voordat ze kopen. Detectiepercentage alleen is niet genoeg. Vraag naar vals-negatieve percentages voor zeldzame aanvalscategorieën. Vraag naar prestatiegegevens onder beperkte computationele budgetten. Vraag hoe het systeem presteert zes maanden na implementatie, wanneer de verkeerspatronen zijn verschoven.
Ten derde, en het meest urgent, moeten de federale agentschappen die verantwoordelijk zijn voor het beschermen van kritieke infrastructuur minimale evaluatienormen vaststellen voor op AI gebaseerde inbraakdetectie. CISA en NIST hebben uitstekende kaders geproduceerd. Het vertalen van die kaders naar specifieke, testbare prestatiecriteria voor IoT-beveiligingssystemen is de volgende stap.
De verbonden apparaten gaan niet weg. De aanvallers die ze onderzoeken gaan ook nergens heen. De vraag is of de systemen die we bouwen om ze te beschermen daadwerkelijk zijn gebouwd voor de wereld waarin die systemen zullen opereren, of de wereld waarin we wilden leven toen we de trainingsgegevens schreven.
Oluwapelumi Bankole is een onderzoeker in informatiesystemen en cyberbeveiliging aan de University of Nevada, Las Vegas, waar zijn werk zich richt op AI-gedreven inbraakdetectie voor IoT- en cloudnetwerken. Hij heeft een dubbele master in Management Information Systems en Cyberbeveiliging.
