Di ruang Ancaman Keamanan AI/ML, kita telah membahas siklus hidup pembelajaran mesin dan menetapkan bahwa sebelum model dapat dilatih, data harus dikumpulkan dan dibersihkan. Kedengarannya cukup teratur. Tetapi mari kita sedikit memperlambat dan mengajukan pertanyaan yang tidak dijawab oleh diagram siklus hidup: dikumpulkan dari mana, dan dibersihkan oleh siapa? Seperti yang akan Anda lihat, jawabannya membawa implikasi keamanan yang signifikan, dan sebagian besar organisasi yang menerapkan AI saat ini tidak tahu apa implikasinya.
Where Does the Data Come From?
Melatih model bahasa yang besar membutuhkan jumlah teks yang sangat banyak. GPT-3 dilatih menggunakan sekitar 570GB teks yang telah difilter, dan itu dianggap relatif sederhana menurut standar “modern”. Untuk mencapai angka seperti itu, pengembang tidak dapat memilih sumber secara cermat. Alur kerja biasanya mengambil data dari empat kategori:
| Source | What it is | Trust profile |
|---|---|---|
| Web scraping | Automated crawls of public internet content (news, forums, blogs, social media, etc.) | Low: no curator, no version control, content changes after collection |
| Licensed datasets | Data purchased or agreed with platforms (e.g., OpenAI + Reddit, Meta’s own social posts) | Medium: terms often unclear; original users rarely consented to AI training use |
| Synthetic data | AI-generated content used to train further AI systems | Variable: growing fast; ~12% of fine-tuning datasets now contain LLM-generated content |
| Internal corpora | Company knowledge bases, support transcripts, clinical notes used for fine-tuning | Higher: organisation has direct control, but also direct liability if mishandled |
Dataset pelatihan yang paling banyak digunakan adalah Common Crawl, arsip data penelusuran web yang gratis dan tersedia untuk umum yang pada dasarnya telah menjadi dasar setiap keluarga model utama. DeepSeek-V2 dilatih sebelumnya menggunakan dataset ini; DeepSeek-V3 dilatih menggunakan 14,8 triliun token dengan Common Crawl sebagai sumber inti; dan LLaMA 4 diskalakan hingga 40 triliun token di 200 bahasa menggunakan alur kerja serupa. GPT-3 adalah salah satu dari sedikit model yang rinciannya didokumentasikan secara publik: 60% tokennya berasal dari versi Common Crawl yang difilter, dan model yang lebih baru bahkan lebih bergantung padanya. Kata kuncinya adalah “difilter”, dan bagaimana pemfilteran itu dilakukan, oleh siapa, dan apa yang lolos adalah awal dari kisah keamanan.
The Problem of Provenance
Provenansi data adalah kemampuan untuk menjawab tiga pertanyaan tentang setiap bagian data pelatihan:
- Dari mana asalnya?
- Kapan dikumpulkan?
- Apakah telah dimodifikasi sejak saat itu?
Dalam sebagian besar rantai pasokan AI saat ini, jawaban jujur untuk ketiga pertanyaan tersebut adalah kita tidak sepenuhnya tahu. Sebagian besar model utama pada dasarnya dilatih pada kumpulan data dari kumpulan data, komposit besar yang disusun dari ratusan sumber hulu, di mana atribusi aslinya telah hilang, disederhanakan, atau bahkan tidak pernah dicatat sejak awal. Data Provenance Initiative mengaudit lebih dari 1.800 kumpulan data dan menemukan bahwa lebih dari 70% lisensi pada platform hosting populer terdaftar sebagai “Tidak Ditentukan”, dan dari yang diberi label, 66% salah dikategorikan, biasanya terdaftar sebagai lebih permisif daripada yang sebenarnya. Organisasi yang melakukan penyempurnaan pada kumpulan data ini seringkali tidak tahu apa yang mereka miliki secara legal, apalagi apa yang sebenarnya ada di dalamnya.
Dunia keamanan perangkat lunak pernah mengalami hal ini sebelumnya. SolarWinds mengajarkan industri bahwa Anda tidak dapat mempercayai biner yang dikompilasi jika Anda tidak tahu apa yang ada di dalamnya, dan itulah sebabnya daftar material perangkat lunak (SBOM) menjadi praktik standar. Padanan AI-nya adalah ML-BOM: inventaris terdokumentasi dari sumber dataset, lisensi, kategori PII, dan keputusan penyaringan. Adopsinya masih dalam tahap awal, dan sebagian besar organisasi yang menerapkan model pihak ketiga saat ini belum memiliki hal serupa.
PII in the Pipeline
Salah satu konsekuensi paling langsung dari web scraping skala besar yang tidak terdokumentasi adalah informasi identitas pribadi akhirnya tertanam dalam bobot model. Setelah ada di sana, sangat sulit untuk menghapusnya. Catatan medis, percakapan email pribadi, postingan forum tentang kondisi kesehatan atau pandangan politik: semuanya akan ikut terambil jika dapat diakses publik pada saat proses crawling. GDPR Uni Eropa secara eksplisit mensyaratkan minimalisasi data (hanya mengumpulkan apa yang diperlukan). Hal ini bertentangan langsung dengan logika “lebih banyak data selalu lebih baik” yang mendorong pra-pelatihan.
Implikasi keamanannya terukur dan konkret. Truffle Security (buka di tab baru) memindai arsip Common Crawl Desember 2024 (400 TB data dari 2,67 miliar halaman web) dan menemukan hampir 12.000 kunci API dan kata sandi yang aktif dan terverifikasi. Dengan perintah yang tepat, model yang dilatih pada data tersebut terkadang dapat dipancing untuk menampilkan konten pelatihan hampir sama persis, termasuk kredensial. Ini bukan bug yang diperkenalkan oleh penyerang. Ini adalah konsekuensi dari apa yang dimasukkan selama pelatihan, dan tidak ada patch yang memperbaikinya setelah model diterapkan.
A Model Engineer
Perilaku model merupakan produk langsung dari apa yang digunakan untuk melatihnya. Jika data tersebut di-scrape tanpa audit, terkontaminasi dengan PII (Informasi Identitas Pribadi), atau dimanipulasi di hulu, karakteristik tersebut menjadi bagian dari model, dan tidak ada cara yang andal bagi organisasi yang menerapkannya untuk mengetahuinya. Rantai pasokan data sama nyatanya dan sama rentannya dengan rantai pasokan perangkat lunak. Bagi organisasi saat ini, hal itu hampir sepenuhnya tidak terlihat.
Ref: [1]