Από τον Oluwapelumi Bankole, Ερευνητή, Συστήματα Πληροφοριών & Κυβερνοασφάλεια, Πανεπιστήμιο της Νεβάδα, Λας Βέγκας
Κάθε πρωί, εκατομμύρια Αμερικανοί ξυπνούν σε σπίτια γεμάτα συνδεδεμένες συσκευές. Ο θερμοστάτης ξέρει πότε φεύγετε. Η κάμερα της πόρτας παρακολουθεί τον δρόμο σας. Το νοσοκομείο στη γωνία λειτουργεί αντλίες έγχυσης, συσκευές παρακολούθησης ασθενών και συστήματα HVAC που επικοινωνούν μέσω της ίδιας κατηγορίας δικτύου με το έξυπνο ψυγείο σας. Και σχεδόν καμία από αυτές τις συσκευές δεν προστατεύεται επαρκώς.
Έχουμε κατασκευάσει μια εξαιρετική υποδομή συνδεδεμένων μηχανημάτων και την υπερασπιζόμαστε με εργαλεία σχεδιασμένα για μια διαφορετική εποχή.
Αυτό δεν είναι πρόβλημα ευαισθητοποίησης. Η κυβερνοασφάλεια είναι κορυφαία ομοσπονδιακή προτεραιότητα. Ο Οργανισμός Κυβερνοασφάλειας και Ασφάλειας Υποδομών (CISA) δημοσιεύει συμβουλές εβδομαδιαία. Δισεκατομμύρια δολάρια ρέουν σε εταιρικά τείχη προστασίας, προστασία τελικών σημείων και κέντρα λειτουργιών ασφαλείας. Και όμως, η επιφάνεια επίθεσης συνεχίζει να αυξάνεται. Από το 2024, μόνο το ηλεκτρικό δίκτυο των ΗΠΑ φιλοξενεί πάνω από 2,3 εκατομμύρια συνδεδεμένες συσκευές IoT, πολλές από τις οποίες τρέχουν ξεπερασμένο υλικολογισμικό χωρίς πρόγραμμα ενημερώσεων και χωρίς παρακολούθηση.
Το χάσμα δεν είναι ανάμεσα σε αυτό που γνωρίζουμε και αυτό που φοβόμαστε. Το χάσμα είναι ανάμεσα στα συστήματα ασφαλείας που έχουμε κατασκευάσει και τα περιβάλλοντα στα οποία πρέπει πραγματικά να λειτουργούν αυτά τα συστήματα.
Το Εργαστήριο δεν Μοιάζει Καθόλου με τον Πραγματικό Κόσμο
Τα συστήματα ανίχνευσης εισβολών, το λογισμικό σχεδιασμένο να επισημαίνει κακόβουλη δραστηριότητα σε ένα δίκτυο, έχουν βελτιωθεί δραματικά την τελευταία δεκαετία. Τα μοντέλα μηχανικής μάθησης και βαθιάς μάθησης μπορούν πλέον να εντοπίζουν μοτίβα επιθέσεων με αξιοσημείωτη ακρίβεια σε ερευνητικά περιβάλλοντα. Αρχιτεκτονικές Transformer δανεισμένες από την επεξεργασία φυσικής γλώσσας, δίκτυα μακράς βραχυπρόθεσμης μνήμης εκπαιδευμένα σε δεδομένα διαδοχικής κίνησης, μοντέλα συνόλου που συνδυάζουν πολλαπλούς ταξινομητές: η ακαδημαϊκή βιβλιογραφία είναι γεμάτη συστήματα που επιτυγχάνουν ακρίβεια 98 ή 99 τοις εκατό.
Αυτοί οι αριθμοί είναι συχνά παραπλανητικοί.
Το ποσοστό ακρίβειας προέρχεται συνήθως από ένα εργαστηριακό σύνολο δεδομένων, συλλεγμένο σε ελεγχόμενες συνθήκες, με σχετικά καθαρές κατανομές κίνησης και δοκιμασμένο στον ίδιο τύπο δεδομένων στον οποίο εκπαιδεύτηκε το μοντέλο. Τα πραγματικά δίκτυα IoT δεν μοιάζουν με αυτό. Είναι ακατάστατα, ετερογενή και συνεχώς μεταβαλλόμενα. Συσκευές από δώδεκα κατασκευαστές στέλνουν δεδομένα σε διαφορετικές μορφές. Τα μοτίβα κίνησης αλλάζουν όταν κάποιος εγκαθιστά μια νέα συσκευή, αλλάζει μια ρουτίνα ή απλά φεύγει για μια εβδομάδα. Και κρίσιμα, οι πραγματικές επιθέσεις είναι σπάνια γεγονότα σε μια θάλασσα κανονικής κίνησης.
Όταν ένα μοντέλο εκπαιδεύεται σε ένα σύνολο δεδομένων όπου οι επιθέσεις αποτελούν το 40 τοις εκατό των εγγραφών και στη συνέχεια αναπτύσσεται σε ένα δίκτυο όπου οι επιθέσεις αντιπροσωπεύουν το 0,1 τοις εκατό της πραγματικής κίνησης, η συμπεριφορά του μοντέλου αλλάζει εντελώς. Δεν έχει μάθει ποτέ πώς μοιάζει η πραγματική σπανιότητα. Το αποτέλεσμα είναι ένα σύστημα που χάνει ακριβώς τις απειλές που κατασκευάστηκε για να εντοπίσει, ενώ παράγει αρκετούς ψευδείς συναγερμούς για να συντρίψει τους αναλυτές που πρέπει να τους εξετάσουν.
Το Πρόβλημα της Ανισορροπίας Τάξεων δεν είναι Υποσημείωση
Στην ερευνητική κοινότητα, η αναντιστοιχία μεταξύ των δεδομένων εκπαίδευσης και των συνθηκών του πραγματικού κόσμου έχει ένα τεχνικό όνομα: ανισορροπία τάξεων. Είναι καλά κατανοητό, μελετάται ενεργά και συνεχώς υποτιμάται από τους οργανισμούς που αναπτύσσουν αυτά τα συστήματα.
Εδώ είναι το βασικό ζήτημα. Ένα σύστημα ανίχνευσης εισβολών δικτύου πρέπει να ταξινομήσει κάθε πακέτο ή ροή κίνησης είτε ως κανονική είτε ως κακόβουλη. Στην πραγματικότητα, η συντριπτική πλειονότητα της κίνησης είναι κανονική. Η κίνηση επιθέσεων είναι η τάξη μειοψηφίας, μερικές φορές αντιπροσωπεύοντας λιγότερο από ένα τοις εκατό όλων των παρατηρούμενων γεγονότων. Τα τυπικά μοντέλα μηχανικής μάθησης, βελτιστοποιημένα για τη μεγιστοποίηση της συνολικής ακρίβειας, μαθαίνουν γρήγορα ότι η καλύτερη στρατηγική είναι απλά να ταξινομήσουν σχεδόν τα πάντα ως κανονικά. Αυτή η στρατηγική παράγει εξαιρετικές βαθμολογίες ακρίβειας. Παράγει καταστροφικά αποτελέσματα στον πραγματικό κόσμο.
Ένα σύστημα που χάνει το 80 τοις εκατό των επιθέσεων επειδή έχει εκπαιδευτεί να ευνοεί την τάξη πλειοψηφίας δεν είναι σύστημα ασφαλείας. Είναι ένα πλαίσιο ελέγχου συμμόρφωσης.
Η έρευνα σε τεχνικές όπως το Adaptive SMOTE, το οποίο δημιουργεί συνθετικά παραδείγματα επιθέσεων τάξης μειοψηφίας για να βοηθήσει τα μοντέλα να μάθουν πώς μοιάζουν οι σπάνιες απειλές, έχει δείξει πραγματική υπόσχεση. Αλλά αυτές οι προσεγγίσεις πρέπει να εφαρμοστούν προσεκτικά, να δοκιμαστούν έναντι συνόλων δεδομένων που πραγματικά αντικατοπτρίζουν τις συνθήκες ανάπτυξης και να αξιολογηθούν με τις σωστές μετρήσεις. Η ανάκληση, το ποσοστό των πραγματικών επιθέσεων που το σύστημα πραγματικά εντοπίζει, έχει πολύ μεγαλύτερη σημασία από τη συνολική ακρίβεια όταν οι συνέπειες μιας χαμένης ανίχνευσης είναι μια μόλυνση ransomware σε ένα νοσοκομείο ή μια ψευδής εισαγωγή δεδομένων σε ένα σύστημα ελέγχου κοινής ωφέλειας.
Το Πολυδιάστατο Πρόβλημα που Κανείς δεν Θέλει να Λύσει
Υπάρχει ένα σχετικό πρόβλημα που λαμβάνει ακόμη λιγότερη προσοχή: πώς αποφασίζουμε αν ένα σύστημα ανίχνευσης εισβολών είναι αρκετά καλό για ανάπτυξη.
Οι περισσότερες αξιολογήσεις επιλέγουν μία ή δύο μετρήσεις και τις βελτιστοποιούν. Η ακρίβεια είναι συνηθισμένη. Η βαθμολογία F1 είναι δημοφιλής σε ακαδημαϊκές εργασίες. Αλλά μια πραγματική ανάπτυξη IoT απαιτεί συμβιβασμούς μεταξύ τουλάχιστον τεσσάρων ανταγωνιστικών διαστάσεων ταυτόχρονα: ακρίβεια ανίχνευσης, υπολογιστική αποδοτικότητα, ποσοστό ψευδώς θετικών και προσαρμοστικότητα σε νέους τύπους επιθέσεων.
Ένα σύστημα που εντοπίζει το 99 τοις εκατό των γνωστών επιθέσεων αλλά καταναλώνει περισσότερη υπολογιστική ισχύ από τη συσκευή IoT που προστατεύει δεν είναι ένα σύστημα που μπορεί να αναπτυχθεί. Ένα σύστημα που λειτουργεί αποδοτικά αλλά δημιουργεί δέκα ψευδείς συναγερμούς για κάθε πραγματική απειλή δημιουργεί κόπωση ειδοποιήσεων τόσο σοβαρή που οι αναλυτές σταματούν να ερευνούν. Ένα σύστημα βελτιστοποιημένο για τη σημερινή ταξινομία επιθέσεων που δεν μπορεί να προσαρμοστεί όταν οι αντίπαλοι αλλάζουν τακτικές είναι ένα σύστημα με γνωστή ημερομηνία λήξης.
Η απουσία ενός κοινού, πολυδιάστατου πλαισίου αξιολόγησης σημαίνει ότι οι οργανισμοί που αγοράζουν ή αναπτύσσουν συστήματα ανίχνευσης εισβολών δεν μπορούν να κάνουν ουσιαστικές συγκρίσεις. Ένας προμηθευτής μπορεί να ισχυριστεί ότι έχει κορυφαία στον κλάδο ποσοστά ανίχνευσης ενώ βελτιστοποιεί σιωπηλά για μια μέτρηση που φαίνεται καλά σε μια επίδειξη και αποτυγχάνει στην παραγωγή.
Τι Πρέπει να Αλλάξει
Η προς τα εμπρός πορεία απαιτεί να κλείσει η απόσταση μεταξύ αυτού που κατασκευάζουν οι ερευνητές και αυτού που πραγματικά αναπτύσσουν οι χειριστές.
Πρώτον, η ερευνητική κοινότητα πρέπει να αξιολογεί τα συστήματα ανίχνευσης εισβολών έναντι ρεαλιστικών κατανομών κίνησης, όχι μόνο ισορροπημένων συνόλων δεδομένων αναφοράς. Η δοκιμή έναντι του CIC-IDS2017 ή του NSL-KDD με προεπιλεγμένες διαμορφώσεις παράγει αριθμούς που είναι ουσιαστικά φανταστικοί όταν συγκρίνονται με το πώς μοιάζει ένα πραγματικό δίκτυο νοσοκομείου ή έξυπνο δίκτυο.
Δεύτερον, οι οργανισμοί που αναπτύσσουν αυτά τα συστήματα πρέπει να απαιτούν πολυδιάστατες αποδείξεις απόδοσης πριν από την αγορά. Το ποσοστό ανίχνευσης μόνο του δεν είναι αρκετό. Ζητήστε ποσοστά ψευδώς αρνητικών σε σπάνιες κατηγορίες επιθέσεων. Ζητήστε δεδομένα απόδοσης υπό περιορισμένους υπολογιστικούς προϋπολογισμούς. Ρωτήστε πώς λειτουργεί το σύστημα έξι μήνες μετά την ανάπτυξη, όταν τα μοτίβα κίνησης έχουν αλλάξει.
Τρίτον, και πιο επειγόντως, οι ομοσπονδιακές υπηρεσίες υπεύθυνες για την προστασία κρίσιμων υποδομών πρέπει να καθιερώσουν ελάχιστα πρότυπα αξιολόγησης για την ανίχνευση εισβολών που βασίζονται σε AI. Η CISA και το NIST έχουν παράγει εξαιρετικά πλαίσια. Η μετάφραση αυτών των πλαισίων σε συγκεκριμένα, ελέγξιμα κριτήρια απόδοσης για συστήματα ασφάλειας IoT είναι το επόμενο βήμα.
Οι συνδεδεμένες συσκευές δεν θα εξαφανιστούν. Οι επιτιθέμενοι που τις διερευνούν δεν πάνε πουθενά επίσης. Το ερώτημα είναι αν τα συστήματα που κατασκευάζουμε για να τις προστατεύσουμε είναι πραγματικά κατασκευασμένα για τον κόσμο στον οποίο θα λειτουργήσουν αυτά τα συστήματα, ή τον κόσμο που θα θέλαμε να ζούσαμε όταν γράφαμε τα δεδομένα εκπαίδευσης.
Ο Oluwapelumi Bankole είναι ερευνητής σε συστήματα πληροφοριών και κυβερνοασφάλεια στο Πανεπιστήμιο της Νεβάδα, Λας Βέγκας, όπου η εργασία του επικεντρώνεται στην ανίχνευση εισβολών με βάση την τεχνητή νοημοσύνη για δίκτυα IoT και cloud. Κατέχει διπλό μεταπτυχιακό στα Συστήματα Πληροφοριών Διαχείρισης και στην Κυβερνοασφάλεια.
