Ketika kecerdasan buatan (AI) menjadi lebih kuat dan bahkan digunakan dalam peperangan, pemerintah, perusahaan teknologi, dan lembaga internasional sangat dibutuhkan untuk memastikan keamanannya. Satu kesamaan yang dimiliki sebagian besar protokol keamanan AI adalah perlunya pengawasan manusia terhadap teknologi tersebut.
Secara teori, manusia dapat berfungsi sebagai pelindung terhadap penyalahgunaan dan potensi halusinasi (kecerdasan buatan yang menghasilkan informasi yang salah). Misalnya, hal ini mungkin melibatkan peninjauan manusia terhadap konten yang dihasilkan oleh teknologi (outputnya).
Namun, semakin banyak penelitian dan beberapa contoh nyata penerapan kecerdasan buatan di militer menunjukkan bahwa ada tantangan yang melekat pada gagasan manusia untuk secara efektif memeriksa sistem komputer.
Hingga saat ini, dalam upaya menciptakan peraturan mengenai kecerdasan buatan, banyak peraturan yang memasukkan bahasa yang mendorong pengawasan dan partisipasi manusia. Misalnya, undang-undang AI di UE mengharuskan sistem AI yang berisiko tinggi – seperti sistem yang sudah menggunakan teknologi biometrik seperti pemindai retina untuk mengidentifikasi orang secara otomatis – harus dioperasikan secara independen oleh setidaknya dua orang yang memiliki pengetahuan tentang teknologi tersebut. Verifikasi dan konfirmasi.
Di bidang militer, Pemerintah Inggris mengakui pentingnya pengawasan manusia dalam tanggapannya pada bulan Februari 2024 terhadap laporan parlemen tentang kecerdasan buatan dalam sistem persenjataan. Laporan tersebut menekankan pencapaian “pengendalian manusia yang berarti” dengan memberikan pelatihan yang sesuai kepada manusia. Hal ini juga menekankan konsep tanggung jawab manusia dan menunjukkan pengambilan keputusan untuk tindakan seperti mempersenjatai drone Tidak dapat ditransfer ke mesin.
Sejauh ini, sebagian besar prinsip ini masih dipertahankan. Drone militer saat ini dikendalikan oleh operator manusia dan rantai komandonya, yang bertanggung jawab atas tindakan yang diambil oleh pesawat bersenjata tersebut. Namun, kecerdasan buatan berpotensi membuat drone dan sistem komputer yang digunakannya menjadi lebih bertenaga dan otonom.
Ini termasuk sistem akuisisi goal mereka. Dalam sistem ini, perangkat lunak yang dipandu oleh kecerdasan buatan akan memilih dan menargetkan kombatan musuh, sehingga memungkinkan manusia untuk mengizinkan penggunaan senjata terhadap mereka.
Meskipun teknologi ini tidak diperkirakan tersedia secara luas, perang Gaza tampaknya telah menunjukkan hal tersebut. Majalah +972 terbitan Israel-Palestina melaporkan bahwa Israel menggunakan sistem yang disebut “Lavender.”
Menurut laporan, ini adalah sistem rekomendasi goal berbasis kecerdasan buatan yang, jika digabungkan dengan sistem otomatis lainnya, dapat melacak lokasi geografis goal yang diidentifikasi.
akuisisi sasaran
Pada tahun 2017, militer AS menyusun proyek bernama Maven dengan tujuan mengintegrasikan kecerdasan buatan ke dalam sistem persenjataan. Selama bertahun-tahun ini telah berkembang menjadi sistem akuisisi goal. Dilaporkan bahwa hal ini sangat meningkatkan efisiensi proses rekomendasi goal platform senjata.
Seperti yang direkomendasikan oleh karya akademis tentang etika kecerdasan buatan, seseorang bertanggung jawab untuk mengawasi keluaran mekanisme perolehan tujuan sebagai bagian penting dari siklus pengambilan keputusan.
Meskipun demikian, penelitian psikologis tentang bagaimana manusia menggunakan komputer menimbulkan pertanyaan penting untuk dipertimbangkan. Dalam makalah tinjauan sejawat pada tahun 2006, akademisi Amerika Mary Cummings merangkum bagaimana manusia bisa terlalu mempercayai sistem mesin dan kesimpulannya, sebuah fenomena yang dikenal sebagai bias otomasi.
Jika operator cenderung tidak menentang kesimpulan mesin, hal ini dapat mengganggu peran manusia sebagai pengawas pengambilan keputusan otomatis.
Dalam penelitian lain yang diterbitkan pada tahun 1992, peneliti Batya Friedman dan Peter Kahn berpendapat bahwa rasa hak pilihan ethical manusia mungkin berkurang ketika menggunakan sistem komputer, sehingga mereka yakin bahwa mereka tidak bertanggung jawab atas konsekuensinya. Faktanya, makalah tersebut menjelaskan, seseorang bahkan dapat mulai menghubungkan rasa keagenan dengan sistem komputer itu sendiri.
Mengingat tren ini, kehati-hatian harus diberikan terhadap apakah kepercayaan yang berlebihan terhadap sistem komputer dan potensi terkikisnya kesadaran ethical manusia juga dapat mempengaruhi sistem akuisisi goal. Meskipun secara statistik margin kesalahannya kecil, jika kita mempertimbangkan potensi dampaknya terhadap kehidupan manusia, margin kesalahannya menjadi sangat mengerikan.
Berbagai resolusi, perjanjian, dan undang-undang mengenai kecerdasan buatan membantu memastikan bahwa manusia akan menjadi pembatas yang signifikan terhadap kecerdasan buatan. Namun, penting untuk bertanya apakah, setelah lama menjalankan peran ini, terjadi pemutusan hubungan ketika operator manusia mulai melihat orang sungguhan sebagai objek di layar.
Mark Tsagas adalah Dosen Senior bidang Hukum, Kejahatan Dunia Maya dan Etika Kecerdasan Buatan di College of East London
Artikel ini diterbitkan ulang dari The Dialog di bawah lisensi Artistic Commons. Baca artikel aslinya.