Building the Model: Key Concepts
Ketika kita membahas siklus hidup ML dalam Ancaman Keamanan AI/ML, kita melakukannya pada tingkat tinggi: data masuk, model keluar. Tugas ini memperdalam beberapa keputusan yang dibuat di sepanjang jalan yang belum dibahas. Setiap konsep di bawah ini membangun fondasi untuk topik keamanan di masa mendatang, jadi tujuan di sini bukan hanya untuk mendefinisikannya tetapi untuk memahami mengapa hal itu penting dari perspektif keamanan.
Epochs and Overfitting
Epoch adalah satu kali proses lengkap algoritma pelatihan melalui seluruh dataset. Dalam praktiknya, model dilatih selama banyak epoch. Algoritma berulang kali melihat data yang sama, menyesuaikan parameternya setiap kali hingga konvergen pada prediksi yang akurat.
Masalahnya adalah semakin banyak epoch tidak selalu berarti model yang lebih baik. Melatih terlalu lama dan model berhenti mempelajari pola umum dan mulai menghafal data pelatihan secara spesifik, masalah yang disebut overfitting. Model yang overfitting berkinerja baik pada data pelatihannya tetapi buruk pada data lain. Hal ini penting untuk keamanan karena overfitting adalah salah satu mekanisme di mana model dapat “menghafal” detail spesifik dari data pelatihannya, termasuk yang sensitif, sehingga lebih mungkin untuk mereproduksinya ketika diminta.
Model Validation
Untuk mendeteksi overfitting sejak dini, sebagian data pelatihan ditahan dan tidak pernah digunakan untuk pelatihan; ini adalah set validasi. Pada interval reguler selama pelatihan, model diuji pada data yang belum pernah dilihat sebelumnya untuk memeriksa apakah kinerjanya benar-benar melakukan generalisasi atau hanya meningkat pada contoh pelatihan yang telah dilihat sebelumnya. Jika akurasi pelatihan terus meningkat tetapi akurasi validasi mendatar atau menurun, itu adalah overfitting secara real-time.

Dari perspektif keamanan, validasi adalah gerbang kualitas dalam siklus hidup ML. Model yang melewatkan validasi menyeluruh adalah model yang perilaku dunia nyatanya tidak diketahui, dan perilaku yang tidak diketahui tersebut merupakan risiko keamanan. Ini juga berarti bahwa bias atau anomali apa pun yang muncul melalui data pelatihan yang dikompromikan mungkin tidak terdeteksi hingga model tersebut sudah diterapkan.
Post-Training Optimisation: Pruning and Quantisation
Setelah model dilatih, model tersebut sering kali melalui langkah-langkah kompresi sebelum digunakan (terutama jika perlu berjalan efisien pada perangkat keras yang terbatas). Dua langkah yang paling umum adalah pemangkasan (pruning) dan kuantisasi:
| Technique | What it does | Security consideration |
|---|---|---|
| Pruning | Removes parameters that contribute little to predictions, shrinking model size | Changes model behaviour post-training; rarely documented in detail |
| Quantisation | Reduces numerical precision of weights (e.g., 32-bit to 8-bit floats) to cut memory and compute requirements | Can degrade safety-aligned behaviour; backdoor defences tested on full-precision models may fail to detect threats in quantised versions |
Kedua langkah tersebut diterapkan setelah pelatihan selesai, seringkali oleh tim pihak ketiga yang berbeda yang mengemas model untuk didistribusikan. Penelitian telah menunjukkan bahwa kuantisasi dapat secara diam-diam menurunkan mekanisme keamanan yang dibangun ke dalam model; pertahanan yang berfungsi pada versi presisi penuh mungkin gagal mendeteksi celah keamanan setelah model dikompresi. Ketika sebuah organisasi mengunduh model yang telah dikuantisasi tanpa dokumentasi tentang apa yang berubah selama kompresi, mereka mewarisi modifikasi perilaku yang tidak diketahui bersamaan dengan peningkatan efisiensi.
Federated Learning
Semua pendekatan pelatihan yang telah dibahas sejauh ini mengasumsikan bahwa data mengalir ke satu lokasi pusat untuk pelatihan model. Pembelajaran federasi membalikkan hal ini: model dilatih di banyak perangkat atau organisasi yang terdesentralisasi, dengan setiap peserta melatih secara lokal pada data mereka sendiri dan hanya mengirimkan pembaruan bobot (bukan data mentah itu sendiri) kembali ke server pusat untuk agregasi.
Ini dirancang dengan mempertimbangkan privasi. Rumah sakit yang berbagi catatan pasien untuk melatih model merupakan masalah perlindungan data; rumah sakit yang memberikan pembaruan model tanpa pernah mengirimkan catatan tersebut jauh lebih mudah. Dalam hal ini, pembelajaran federasi benar-benar mengurangi risiko privasi pada tingkat data.

Namun, konsekuensi keamanannya adalah integritas proses pelatihan menjadi jauh lebih sulit untuk diverifikasi. Dalam pengaturan terpusat, organisasi yang melatih model mengontrol data. Dalam pengaturan federasi, peserta dapat mengirimkan pembaruan lokal yang dirusak (gradien yang dimanipulasi secara halus yang dirancang untuk mengubah perilaku model global), dan ini bisa sangat sulit dideteksi pada tahap agregasi. Pertanyaannya bergeser dari “siapa yang mengendalikan data?” menjadi “siapa yang mengendalikan agregasi, dan apakah ada peserta yang dapat merusaknya?”
Oleh karena itu, pembelajaran terfederasi merupakan studi kasus yang menarik dalam hal pertimbangan keamanan: ia memecahkan satu masalah kepercayaan dengan mendistribusikan kendali, tetapi dengan demikian menciptakan masalah lain.
Ref : [1]