Kecerdasan buatan agentik (AI) menjanjikan transformasi cara organisasi beroperasi. Tidak seperti alat AI sebelumnya yang dirancang untuk merangkum dokumen atau menghasilkan konten, sistem ini dapat bertindak secara otonom, menjalankan tugas, dan berinteraksi dengan sistem perusahaan. Bagi dewan yang mengawasi risiko teknologi, pergeseran tersebut memperkenalkan kategori kekhawatiran keamanan yang sangat berbeda. Laura I. Harder, Wakil Presiden Information Systems Security Association (ISSA) International dan pejabat cyber ofensif di U.S. Air Force Reserves, percaya bahwa banyak pemimpin meremehkan seberapa cepat risiko tersebut dapat terwujud. "Risiko bagi organisasi sebenarnya bermuara pada memiliki terlalu banyak agensi," kata Harder. "Agen dapat mengubah izin, mengubah fungsionalitas, dan membuat tindakan yang mungkin tidak Anda harapkan." Saat organisasi beralih dari bereksperimen dengan AI ke mengoperasionalkan agen otonom, dewan harus bergerak secepat itu untuk membentuk struktur tata kelola, pagar pembatas, dan mekanisme pengawasan yang mampu mengelola sistem yang dapat membuat keputusan dan mengambil tindakan tanpa intervensi manusia.
AI Agentik Mengubah Persamaan Keamanan
Selama beberapa tahun terakhir, sebagian besar penerapan AI korporat berpusat pada alat yang menganalisis informasi atau menghasilkan output. Kemampuan tersebut memperkenalkan kekhawatiran privasi dan integritas data, tetapi sistem itu sendiri jarang menjalankan tindakan di dalam lingkungan perusahaan. AI agentik mengubah dinamika tersebut. Alih-alih hanya menawarkan rekomendasi atau menyaring resume, agen dapat memicu alur kerja, mengakses database, dan berinteraksi dengan sistem perangkat lunak di seluruh organisasi. "Sekarang ini bukan hanya memberi kami saran. Ini mengambil tindakan dan bertindak sendiri," kata Harder.
Otonomi tersebut menciptakan tantangan keamanan baru karena sistem dapat dimanipulasi. Sama seperti manusia dapat tertipu oleh rekayasa sosial, agen AI dapat ditipu untuk menjalankan tugas yang tidak diinginkan melalui teknik seperti injeksi prompt. Harder menunjuk pada contoh dunia nyata di mana instruksi tersembunyi yang tertanam dalam input mengubah cara AI berperilaku. "AI akan berperilaku berdasarkan instruksi yang diberikan kepadanya," katanya. Ancaman ini diperparah oleh sifat buram dari banyak model AI. Organisasi sering mengandalkan alat pihak ketiga tanpa visibilitas penuh tentang bagaimana keputusan dibuat. Hasilnya adalah sistem yang mampu menjalankan tindakan sambil beroperasi dengan cara yang sulit diprediksi.
Risiko Tersembunyi yang Sering Diabaikan Dewan
Ketika dewan mulai mengevaluasi AI agentik, Harder mengatakan kerentanan yang paling diremehkan adalah izin. Setiap agen AI beroperasi dalam jaringan sistem, sumber data, dan aplikasi. Tingkat akses yang diberikan kepada sistem tersebut menentukan potensi kerusakan jika terjadi kesalahan. Harder menggambarkan ini sebagai "radius ledakan" sistem. Agen yang diberikan izin luas mungkin dapat berinteraksi dengan jauh lebih banyak data dan infrastruktur daripada yang disadari para pemimpin.
Contoh umum terjadi ketika sistem AI terhubung ke alat kolaborasi internal atau repositori dokumen. Jika folder yang dibagikan secara luas berisi informasi sensitif, agen yang beroperasi di lingkungan tersebut akan dapat mengakses dan menggunakan data tersebut dalam izin yang diberikan kepada pengguna, akun layanan, atau integrasi yang dijalankannya. Dalam praktiknya, itu berarti agen dapat memunculkan atau bertindak atas informasi yang mungkin dapat diakses secara luas tetapi tidak dipantau secara aktif.
Layanan AI pihak ketiga memperkenalkan lapisan risiko tambahan. "Jika Anda menggunakan model, informasi apa yang dapat diakses model tersebut, dan bisakah informasi Anda digunakan untuk melatih model tersebut?" tanya Harder. Tanpa kontrol yang jelas, informasi proprietari, kekayaan intelektual, atau data pelanggan sensitif dapat secara tidak sengaja meninggalkan organisasi melalui interaksi AI.
Membangun Tata Kelola yang Dapat Mengikuti AI
Tata kelola AI harus diperlakukan sebagai program terstruktur daripada tambahan teknologi. Organisasi harus mulai dengan membentuk dewan tata kelola AI khusus, sering dimodelkan setelah komite tata kelola privasi atau risiko yang ada. Kelompok tersebut harus mengadopsi kerangka kerja yang mapan seperti NIST AI Risk Management Framework atau standar internasional seperti ISO 42001. "Memiliki tata kelola AI dan perlindungan AI bukan hanya produk yang dapat Anda beli," katanya.
Kerangka kerja ini memberikan panduan tentang kebijakan, penilaian risiko, dan kontrol operasional. Tetapi mereka masih memerlukan organisasi untuk menentukan bagaimana AI akan berfungsi dalam lingkungan mereka dan data apa yang akan diizinkan untuk diaksesnya. "Anda memerlukan kebijakan, prosedur, dan inventaris," kata Harder. "Bagian-bagian tersebut akan membantu membangun infrastruktur yang dapat digunakan tim Anda." Satu praktik yang muncul adalah pembuatan "daftar bahan AI" yang menginventarisasi setiap alat AI yang digunakan di dalam organisasi, sistem apa yang terhubung dengannya, dan data apa yang dapat diaksesnya. Tanpa visibilitas tersebut, organisasi tidak dapat sepenuhnya memahami eksposur yang diciptakan oleh sistem otonom yang berinteraksi dengan infrastruktur perusahaan.
Pagar Pembatas yang Mencegah AI Menjadi Nakal
Bahkan dengan struktur tata kelola yang ada, sistem agentik memerlukan perlindungan teknis yang membatasi cara mereka beroperasi. Strategi paling efektif adalah merancang kontrol keamanan sejak awal. Sistem awalnya harus dikembangkan di dalam lingkungan sandbox tertutup dan terkontrol menggunakan data uji (bukan data produksi) dan hak istimewa terbatas. "Saat Anda membangun sistem agentik Anda, Anda harus melakukannya di sandbox," katanya. "Ini adalah lingkungan terkontrol di mana sistem sintetis dapat beroperasi dengan risiko rendah dan tanpa hak istimewa."
Pengujian juga harus mencakup red teaming, di mana profesional keamanan mencoba memecahkan sistem atau memanipulasi perilakunya. Latihan ini mengekspos kerentanan sebelum sistem diterapkan ke lingkungan produksi. "Memiliki manusia dalam loop memastikan bahwa jika dan ketika alat AI Anda memutuskan untuk membuat keputusan yang mungkin tidak Anda inginkan, ada semacam pembatasan," kata Harder. Teknik isolasi juga dapat membatasi risiko. Dalam beberapa arsitektur, agen terkandung di dalam mesin virtual di mana kebijakan membatasi perintah apa yang dapat mereka jalankan dan sistem apa yang dapat mereka akses.
Pengawasan Dewan Pada Akhirnya Penting
Bagi dewan, munculnya AI agentik adalah tantangan tata kelola dan akuntabilitas dan Harder menekankan bahwa organisasi tetap bertanggung jawab atas tindakan yang diambil sistem AI mereka. "Anda tidak dapat kembali dan mengatakan, 'Saya tidak tahu itu bisa melakukan ini,'" katanya. "Anda harus melakukan uji tuntas Anda." Tanggung jawab tersebut membawa implikasi hukum dan fidusia. Dewan harus memastikan bahwa teknologi otonom diterapkan dengan pengawasan yang jelas, otoritas yang dibatasi, dan pemantauan berkelanjutan. "Jangan hubungkan agen ke alat istimewa sampai Anda dapat membuktikan bahwa ia memiliki otoritas yang dibatasi, pos pemeriksaan manusia, dan pemantauan," kata Harder. Saat AI agentik terus bergerak dari eksperimen ke operasi inti, organisasi yang berhasil akan menjadi mereka yang memperlakukan tata kelola dan keamanan sebagai persyaratan mendasar daripada pikiran setelahnya.
Ikuti Laura I. Harder di LinkedIn untuk wawasan lebih lanjut.
