Melatih LLM dari awal berarti mengumpulkan triliunan token data, memperoleh infrastruktur komputasi untuk memprosesnya, dan menjalankan pekerjaan pelatihan yang dapat menelan biaya puluhan juta dolar. Bagi sebagian besar organisasi, itu bukanlah pilihan yang realistis. Sebaliknya, model dominan untuk pengembangan AI saat ini adalah memulai dengan karya orang lain.
Pre-Trained Models & Fine-Tuning
Model pra-terlatih adalah model yang telah dilatih pada kumpulan data besar dan umum (jenis korpus skala web yang dibahas dalam Tugas 2). Model dasar ini mempelajari pemahaman bahasa yang luas: tata bahasa, fakta, pola penalaran, dan pengetahuan dunia. Model ini diproduksi oleh sejumlah kecil organisasi yang memiliki sumber daya yang memadai dan kemudian tersedia bagi orang lain untuk dikembangkan, baik melalui bobot terbuka (seperti keluarga LLaMA Meta) atau melalui akses API (seperti seri GPT OpenAI).
Penyetelan adalah proses melanjutkan pelatihan salah satu model pra-terlatih ini pada kumpulan data yang lebih kecil dan spesifik untuk tugas tertentu. Sebuah perusahaan layanan kesehatan mungkin menyempurnakan model dasar yang dilatih berdasarkan dokumentasi klinis untuk meningkatkan pemahamannya tentang terminologi medis. Sebuah firma hukum mungkin menyempurnakannya berdasarkan yurisprudensi. Hasilnya adalah model dengan kemampuan luas dari model dasar, yang kini dikhususkan untuk domain atau kasus penggunaan tertentu.
What fine-tuning changes: perilaku spesifik tugas model, nada, dan pengetahuan domain.
What fine-tuning does not change: bobot model dasar (miliaran parameter yang dibentuk oleh pra-pelatihan pada data yang tidak pernah dilihat oleh organisasi fine-tuning dan hampir pasti tidak pernah diaudit).
The Inheritance Problem
Di sinilah letak masalah keamanannya. Saat Anda melakukan fine-tuning pada model yang sudah dilatih sebelumnya, Anda mewarisi semua yang sudah ada di dalam model tersebut. Ini termasuk hal-hal yang tidak dapat Anda lihat dan tidak Anda pilih:
- Bias yang tertanam selama pra-pelatihan akan tetap ada
- Perilaku tak terduga yang diperkenalkan oleh data pelatihan model dasar akan terus berlanjut
- Penyelarasan keamanan apa pun yang dibangun ke dalam model dasar tidak sekuat yang terlihat
Hal ini terlihat dalam tiga cara konkret:
- Penyelarasan keamanan terkikis, bukan rusak
Stanford dan Princeton (buka di tab baru) menemukan bahwa mekanisme pertahanan LLM yang selaras dapat dikompromikan dengan penyempurnaan pada hanya 10 contoh yang dibuat secara adversarial (dengan biaya kurang dari $0,20). Bahkan penyempurnaan yang tidak berbahaya pada data yang sah menurunkan keamanan sebagai efek samping.
Bayangkan penyelarasan keamanan seperti jalan setapak yang sudah sering dilalui di hutan. Model telah dilatih untuk mengikuti jalan setapak yang aman ini saat menghasilkan respons. Penyempurnaan seperti menambahkan jalan setapak baru melalui hutan yang sama. Bahkan jika jalan setapak baru itu sah (seperti mengajarkan terminologi medis), jalan setapak tersebut secara bertahap dapat mengaburkan jalan setapak aman yang asli. Model tersebut tidak lupa bagaimana menjadi tidak aman; bobot probabilitasnya hanya bergeser, membuat respons yang tidak aman menjadi lebih mungkin lagi. Mekanisme pertahanan tidak langsung rusak; melainkan aus.
- Spesialisasi meningkatkan permukaan serangan
Cisco (buka di tab baru) menemukan bahwa model yang disempurnakan secara terukur lebih rentan terhadap injeksi prompt daripada model dasar yang digunakan untuk menyempurnakannya. Alasannya bersifat struktural: penyempurnaan mempersempit fokus, mengurangi ketahanan terhadap token yang tidak terduga. Bayangkan seperti ini: model yang disempurnakan pada catatan keuangan menjadi lebih baik dalam penalaran keuangan, tetapi juga menjadi lebih responsif terhadap penyerang yang membingkai prompt mereka dalam istilah keuangan.
- Versi penting, dan jarang dilacak
Penyempurnaan selalu menargetkan titik pemeriksaan spesifik dari model dasar. Jika titik pemeriksaan tersebut kemudian ternyata mengandung pintu belakang atau data pelatihan yang bermasalah, setiap turunan akan mewarisinya, terlepas dari apakah ada orang di hilir yang diberi tahu. Tanpa mengetahui secara pasti versi mana yang digunakan untuk menyempurnakan model, tidak ada cara untuk menilai paparan tersebut setelah kejadian.
Inheritance Tax
Ketika organisasi Anda menerapkan model yang disempurnakan, Anda tidak menerapkan pekerjaan penyempurnaan yang dilakukan tim Anda; Anda menerapkan seluruh basis yang telah dilatih sebelumnya di bawahnya. Basis tersebut dibentuk oleh proses pelatihan yang tidak Anda kendalikan, berdasarkan data yang tidak Anda audit, oleh organisasi yang rantai pasokannya hampir pasti belum Anda tinjau. Penyesuaian yang tepat memang ampuh, tetapi tidak membersihkan apa yang telah ada sebelumnya.
Ref : [1]