Araç kullanan bir yapay zekâ asistanı zehirli bir belge okuyor. Ona saldır, sonra onu savun; hangi korumaların gerçekten dayandığını öğren.
Simüle asistan · kural tabanlı, canlı model yok, sahte gizli anahtar
Bu asistanın dört aracı var — dosya oku, URL getir, e-posta gönder ve bir hava kilidini çalıştır — ve tek bir sahte kanarya anahtarı tutan bir kasa. Bir dil modeli değildir: bir enjeksiyona kanıp kanmadığı sabit, yazılı bir kuraldır; böylece her çalışma yinelenebilir ve gerçek hiçbir şey ele geçirilmez. Senaryo kurgudur.
Belgeye bir talimat gizle ve savunmasız asistanın onunla ne yaptığını izle. Nereye gizlendiğini, nasıl kılık değiştirdiğini ve asistana ne yaptırmaya çalıştığını seç.
Bir enjeksiyon hazırla
Tedarikçinin e-postasını oku ve teslim aralığını onaylamak için yanıt ver.
Hiçbir şey olmamış gibi yanıtlar — operatör hiçbir iz görmez.
Enjeksiyon hedefine ulaştı. Gerçek bir sistemde bu bir güvenlik olayıdır.
Meşru görev: hâlâ çalışıyor
Poligonun öğrettikleri
Tek bir koruma yetmez — daha fazlası da kendiliğinden daha iyi değildir
Buradaki her kontrolün bir boşluğu var. En iyi tek kontrol bile 200 saldırıdan 40 tanesini geçiriyor; kodda uygulanan beş kontrol birlikte 16 tanesini geçiriyor ve bunların hepsi bozulmuş cevap. Her şeyi üst üste yığmak da çözüm değil: yedisi birden, köken etiketleri, en az ayrıcalık ve onayın birlikte engellediğinden fazlasını engellemiyor ve bir meşru görevi daha bozuyor. Birbirinin boşluğunu kapatan kontrolleri katmanla ve her birinin bedelini hesaba kat.
Yumuşak kontroller ifadeye bağlıdır; sert olanlar değil
İfade filtreleme ve köken etiketleme yardımcı olur ama dil üzerine tahminlerdir: harmanlanmış bir istek aradan sıyrılır ve dürüst görevleri bozarlar. Kodda uygulanan kontroller — izin listeleri, en az ayrıcalık, çıkış kuralları, çıktı taraması, onay — saldırının nasıl ifade edildiğine bakmaz; yine de her biri yalnızca kendi kanalını korur.
Hiçbir araç sınırının görmediği saldırılar
Bozulmuş bir cevap dünyada hiçbir şeyi değiştirmez ve hiçbir araç çağırmaz; bu yüzden araç sınırındaki korumaların hiçbiri onu görmez. Yalnızca ifadeye dayalı filtreler bazı ifadeleri yakalar, harmanlanmış olan ise hepsini atlatır. Farklı bir riske aittir — yanlış bilgi — ve insan gözetimi ile kaynakların çapraz kontrolüyle karşılanır.
Kimlik bilgilerini ve denetimi istemin dışında tut
Kasa anahtarı hiçbir zaman asistanın talimatlarında değildir ve izin kontrolleri, uslu durmasını isteyen sözlerde değil, modelin çevresindeki kodda yaşar. İstemler bir güvenlik sınırı değildir; çalışma zamanı öyledir.