The Black Box Problem

Models Are a Black Box

Ketika tim keamanan ingin mengaudit sebuah perangkat lunak, mereka memiliki beberapa pilihan. Kode sumber dapat dibaca. Bahkan biner yang telah dikompilasi pun dapat dibongkar, ditelusuri langkah demi langkah, dan dianalisis. Bobot model yang telah dilatih tidak demikian. Bobot tersebut berupa miliaran angka floating-point (hasil kumulatif dari proses pelatihan), dan tidak membawa catatan yang dapat dibaca manusia tentang bagaimana bobot tersebut dibentuk, data apa yang memengaruhinya, atau perilaku apa yang dikodekannya. Anda tidak dapat membuka model dan menemukan keputusan yang membuatnya berperilaku dengan cara tertentu. Ini adalah “kotak hitam” dalam arti sebenarnya.

Ini berarti mempercayai sebuah model, pada dasarnya, berarti mempercayai proses yang menghasilkannya. Anda dapat menguji perilakunya: menjalankan input melalui model tersebut, melakukan benchmark terhadap tugas-tugas yang diketahui, dan menyelidikinya dengan perintah-perintah yang merugikan melalui red teaming. Semua ini berharga, tetapi ini adalah pengambilan sampel, bukan audit. Ini dapat memberi tahu Anda bagaimana model tersebut berperilaku pada input yang Anda coba. Mereka tidak dapat memberi tahu Anda apa yang akan dilakukannya pada input yang belum Anda pikirkan. Permukaan serangan ditentukan oleh pelatihan model, yang bersifat buram.

Model Cards

Artefak dokumentasi yang dirancang untuk mengatasi hal ini adalah kartu model: dokumen terstruktur yang menyertai sebuah model dan menjelaskan apa itu, bagaimana cara pembuatannya, dan di mana kekurangannya. Konsep ini diperkenalkan oleh para peneliti Google pada tahun 2019 dan sejak itu menjadi hal terdekat yang dimiliki industri dengan format transparansi standar.

Kartu model yang terstruktur dengan baik seharusnya memberikan jawaban atas pertanyaan-pertanyaan yang tidak dapat Anda peroleh dengan memeriksa bobotnya sendiri:

SectionWhat it should tell you
Training dataWhat sources were used, how they were filtered, known gaps or biases
Intended useWhat the model was designed for (and explicitly what it wasn’t)
Evaluation resultsPerformance metrics across different conditions and demographics
Known limitationsConditions under which the model is known to underperform or behave unexpectedly
Bias assessmentWhere training data or evaluation may have introduced skew
LicenceWhat you’re legally permitted to do with the model

Anggap saja seperti label nutrisi untuk model AI. Anda tidak dapat melihat isi produknya, tetapi label tersebut seharusnya memberi tahu Anda apa yang terkandung di dalamnya dan apa yang perlu diwaspadai.

The Gaps


Pernahkah Anda memeriksa label makanan, dan semuanya terdengar bagus sampai Anda mengetahui bahwa irisan ayam Anda hanya 49% ayam? Nah, dalam praktiknya, kartu model juga seringkali tidak lengkap, samar, atau (dalam beberapa kasus) sama sekali tidak ada. Tidak seperti label makanan, tidak ada persyaratan peraturan untuk membuatnya; hingga saat ini, hal itu tetap bersifat sukarela untuk sebagian besar kasus penggunaan. Insentif untuk bersikap teliti lemah ketika pengungkapan keterbatasan dapat mengurangi adopsi.  Data Provenance Initiative terhadap lebih dari 1.800 dataset menemukan kesenjangan dokumentasi di seluruh rantai pasokan AI, dan kartu model berada di ujung jalur yang kurang terdokumentasi tersebut.

Dari sudut pandang keamanan, kartu model yang minim atau hilang bukanlah suatu ketidaknyamanan; melainkan tanda peringatan. Ini berarti organisasi yang mendistribusikan model tersebut tidak mengevaluasinya secara menyeluruh untuk mendokumentasikan temuan, atau memilih untuk tidak membagikan apa yang mereka temukan. Bagaimanapun, pengguna hilir akan beroperasi tanpa informasi yang cukup.

Singkatnya:
Kartu model adalah jejak audit Anda. Tanpa kartu model, tidak ada jejak audit, hanya kotak hitam dan harapan bahwa siapa pun yang membuatnya telah teliti. Dalam keamanan, harapan bukanlah kendali.

Ref : [1]