Blog details
Asistanınız doğru görünen ama hatalı bir fiyat, politika ya da teknik bilgi paylaştığında sorun çoğu zaman modelden değil, beslendiği veriden başlar. Bu tehditler, eğitim kayıtlarına, ince ayar dosyalarına veya bilgi tabanına yerleştirilen manipülatif içeriklerle model davranışını değiştirebilir.
Bu tehditler yalnızca büyük teknoloji şirketlerini ilgilendirmez. Müşteri destek botu, teklif hazırlama asistanı veya RAG tabanlı kurum içi arama gibi makine ogrenimi uygulamalarını kullanan her işletme, veri kaynağını ve onay sürecini denetlemelidir. Sağlam bir sistem, güvenilmeyen veriyi üretime taşımayan net kontrollerle başlar.
Önemli Çıkarımlar
- Veri zehirleme; eğitim verilerini, fine-tuning kayıtlarını, model dosyalarını veya RAG bilgi tabanını değiştirerek model davranışını kalıcı ya da hedefli biçimde bozabilir.
- RAG sistemlerinde her belge güvenilir bir kaynak olarak kabul edilmemeli; kaynak sahibi, sürüm, geçerlilik tarihi, onay bilgisi ve embedding geçmişi izlenmelidir.
- Açık kaynak model ve veri setleri, model ağırlıkları, tokenizer dosyaları, bağımlılıklar, sürüm geçmişi ve hash değerleriyle birlikte denetlenmelidir. Uyuyan ajanları yakalamak için tetikleyici kalıplar içeren kapalı güvenlik testleri uygulanmalıdır.
- Veri kabul kapısı, veri soy ağacı, sıfır güven yaklaşımı, çalışma zamanı yetkilendirmesi, insan onayı, sürekli izleme ve temiz yedekler birlikte kullanılmalıdır.
- Şüpheli veri veya model üretimden ayrılmalı, etkilenen iş akışları belirlenmeli ve güvenilir bir yedeğe dönülmelidir. Olay sonrasında aynı saldırı senaryosu test ortamında yeniden çalıştırılarak açığın kalıcı biçimde kapatılması gerekir.
Yapay zeka sistemlerinde veri zehirleme riskleri neden tehlikelidir?
Veri zehirleme, saldırganın modelin öğrendiği veya başvurduğu içeriği kasıtlı biçimde değiştirmesidir. Amaç, sistemin genel kalitesini düşürmek, belirli bir konuda yanlış yanıt üretmesini sağlamak ya da yalnızca özel bir tetikleyiciyle çalışan arka kapı bırakmaktır.
Güncel owasp llm04 açıklaması, tehdidin ön eğitim, fine-tuning ve embedding verilerine kadar uzandığını belirtir. Bu yüzden yalnızca model seçimine odaklanmak yeterli değildir. Modelin veriyi nereden aldığı, hangi dönüşümlerden geçtiği ve kim tarafından onaylandığı da güvenlik sınırının parçasıdır.
Bir e-ticaret botu yanlış iade koşulu sunabilir. Sağlık kuruluşundaki bilgi asistanı, gida zehirlenmesi, bakteriyel kontaminasyon veya sivi kaybi hakkında eski bir prosedürü güncelmiş gibi aktarabilir. B2B satış ekibinin kullandığı sistem ise zehirlenmiş rakip analizleri yüzünden hatalı teklif varsayımları üretebilir. Bu olaylar marka güvenini, karar kalitesini ve iş sürekliliğini aynı anda etkiler.
Zehirlenmiş veri çoğu zaman açık bir hata üretmez. İçerik normal görünebilir, doğru kaynakların arasına karışabilir ve yalnızca belirli ürün adı, kullanıcı talebi ya da metin kalıbı geldiğinde etkisini gösterebilir. Bu nedenle test ortamında başarılı çalışan bir model, gerçek kullanımdaki özel sorgularda riskli yanıtlar verebilir.
Modelin yanıtı güvenilir görünüyorsa bu, dayandığı belgenin güvenilir olduğu anlamına gelmez. Yanıt kalitesi ile veri kökeni ayrı ayrı doğrulanmalıdır.
Saldırganlar veriyi hangi aşamalarda zehirler?
Saldırı yüzeyi, model yaşam döngüsünün başında başlar ve çalışma zamanına kadar sürer. Kamuya açık veri toplama süreçlerinde, üçüncü taraf kaynaklarda ve kullanıcı yüklemelerinde yapılan kasıtlı ekleme veya değiştirme, veri enjeksiyonu olarak farklı zafiyetler doğurur.
Ön eğitimde kullanılan eğitim verileri üzerinde saldırgan, internette yaygınlaşan içeriklerle modelin belirli kavramlar arasındaki ilişkisini bozmayı hedefler. Fine-tuning aşamasında, daha küçük veri kümelerine yanlış etiketli örnekler veya hedefe yönelik talimatlar eklenebilir. Embedding sürecindeki manipülasyon ise modelin hangi belgelere öncelik vereceğini değiştirir.
OWASP LLM Uygulamaları için Top 10 projesi, owasp llm04 gibi risk başlıklarıyla veri ve model güvenliğini uygulama güvenliğinden ayrı düşünmemeniz gerektiğini gösterir. Çünkü model çıktısı CRM, e-posta, fiyatlandırma, kampanya yönetimi veya müşteri hizmetleri gibi başka sistemlere aktarılabilir.
Veri zehirleme ile tetikleyici enjeksiyonu (prompt injection) sıklıkla karıştırılır. Aralarındaki farkı bilmek, doğru savunmayı seçmenizi sağlar.
| Konu | Veri zehirleme | Çalışma anı talimat saptırma |
|---|---|---|
| Saldırının yeri | Eğitim verisi, model dosyası veya bilgi tabanı | Kullanıcının ya da belgenin çalışma anındaki girdisi |
| Etki süresi | Kalıcı olabilir | Genellikle oturum veya sorgu ile sınırlıdır |
| Temel hedef | Model davranışını ya da kaynak havuzunu değiştirmek | Model talimatlarını geçici olarak saptırmak |
| Başlıca savunma | Kaynak doğrulama, sürümleme, test ve izleme | Girdi filtreleme, yetkilendirme ve çıktı kontrolleri |
RAG sistemine kalıcı olarak eklenen kötü niyetli bir doküman, iki tehdidi birleştirebilir. Doküman hem bilgi tabanını zehirler hem de her çağrıldığında modelin talimatlarını yönlendirmeye çalışır. Bu nedenle belge kabul sürecini yalnızca içerik moderasyonu olarak görmemelisiniz.
RAG mimarileri nasıl manipüle edilir?
RAG yapıları, modelin yanıt üretmeden önce kurum içi belgeleri, ürün kataloglarını, sözleşmeleri veya destek kayıtlarını getirmesini sağlar. Modelin bilmediği güncel bilgileri kullanabilmesi büyük avantajdır. Ancak bilgi tabani içine giren her belge, yanıtları etkileyebilecek bir kaynak haline gelir.
Saldırgan; sahte bir PDF, değiştirilmiş bir politika dokümanı, ele geçirilmiş bir web sayfası veya görünürde masum bir destek kaydı yükleyebilir. Belge kabulü yeterince sıkı değilse içerik embedding sürecinde vektör deposuna işlenir. Belge, belirli sorgularda yüksek benzerlik skoru alarak retrieval sıralamasında üst sıralara çıkabilir. Model de onu güvenilir bağlam kabul ederek yanlış yönlendirilmiş bir yanıt üretebilir.
RAG yanıtlarının ne ölçüde değişeceği, belgenin sorguyla ilişkisine, retrieval sıralamasına, sistem talimatlarına ve modelin bağlam penceresine bağlıdır. Buna rağmen, kaynak gösteren bir botun yanlış bir belgeye dayanması kullanıcıda sahte bir güven hissi yaratır. Bu yüzden yanıtın sonunda kaynak bağlantısı göstermek tek başına koruma sağlamaz.
Bilgi tabani içinde şu kontroller birlikte çalışmalıdır:
- Her belgeyi kaynak sahibi, yükleme zamanı, onaylayan kişi, sürüm ve geçerlilik tarihiyle kaydedin.
- Alan adı, dosya türü ve belge sahibi için izin listeleri uygulayın. E-posta eki veya herkese açık bağlantı üzerinden gelen dosyaları doğrudan indekslemeyin.
- Kullanımdan kalkmış belgeleri vektör deposundan da kaldırın. Sadece ana dosyayı silmek, eski embedding kayıtlarını temizlemez.
- Fiyat, sözleşme, sağlık ve ürün güvenliği gibi yüksek etkili bilgileri ikinci bir güvenilir kaynakla doğrulayın. Gıda güvenliği belgelerinde bakteriyel kontaminasyon riski ve ürün güvenliği bilgilerinin hijyen kurallariyla uyumu da kontrol edilmelidir.
Kurum içi botunuz çalışanların yüklediği dosyalardan besleniyorsa, rol tabanlı yetkilendirme ile iceriden saldirilar riskini ve ele geçirilmiş yetkili hesapların kötüye kullanımını sınırlayın. Satış ekibinin kampanya sunumu yükleyebilmesi, üretim prosedürünü değiştirebilmesi anlamına gelmez. Aynı ayrım, ajan hafızası için de geçerlidir. Oturum hafızasına yazılan veri, kalıcı kaynağa otomatik olarak taşınmamalıdır.
Açık kaynak model tedarik zinciri ve uyuyan ajanlar
Hugging Face gibi açık kaynak platformları, model ve veri setlerini hızlıca denemenizi sağlar. Ancak model kartındaki açıklama, indirme sayısı veya depo adı tek başına güvenlik kanıtı değildir. Model ağırlıkları, tokenizer dosyaları, eğitim veri setleri ve özel çalıştırma kodları birlikte değerlendirilmelidir.
Saldırgan bu kaynak akışında modeli doğrudan değiştirebilir veya bağımlılıklardan birine zararlı bileşen ekleyebilir. Bazı arka kapı türleri genel testlerde iyi sonuç verir. Ancak belirli bir kelime, ifade, görsel işaret veya veri biçimi geldiğinde model alışılmadık davranır. Bu yapılar “sleeper agent” ya da uyuyan ajan olarak adlandırılır.
A10 Networks’ün veri zehirleme saldırılarına ilişkin teknik özeti, eğitim verisi manipülasyonuyla gizli mekanizmaların ve önyargıların ortaya çıkabileceğine dikkat çeker. Modeli indirmeden önce depo sahibini, sürüm geçmişini, bağımlılıkları ve lisans koşullarını inceleyin.
Uyuyan ajanları yakalamak için standart kalite testleri yeterli olmaz. Tetikleyici olabilecek kalıpları içeren ayrı bir test kümesi oluşturun. Aynı soruyu küçük yazım değişiklikleri, farklı diller, farklı formatlar ve ilgili ürün adlarıyla çalıştırın. Yanıtlar olağandışı biçimde değişiyorsa olayı incelemeye alın.
Model bütünlüğünü korumak için şu kanıtları saklayın:
- Hugging Face üzerindeki depo sahibini, sürüm geçmişini, bağımlılıkları ve indirme bütünlüğünü kontrol edin.
- İndirilen modelin sürümünü, hash değerini ve onaylı kaynağını kayıt altına alın.
- Eğitim ve fine-tuning veri setleri için değiştirilemez sürüm kayıtları kullanın.
- Yeni model sürümünü üretime almadan önce kapalı test seti, güvenlik testi ve insan değerlendirmesinden geçirin.
- Özel kod çalıştıran paketleri izole bir ortamda çalıştırın. Üretim sistemine doğrudan erişim vermeyin.
Katmanlı savunmayla veri zehirleme riskleri nasıl azaltılır?
Güvenliğin ilk katmanı, kurumsal veri yonetisimi sürecinin parçası olan veri kabul kapısıdır. Dosya veya web kaynağı sisteme girmeden önce içerik türü, zararlı yazılım, mükerrer kayıt, olağandışı karakter dizisi, gizli talimat ve kaynak bilgisi açısından taranmalıdır. Bu tarama, insan denetiminin yerini tutmaz. Yüksek etkili belgelerde içerik sahibinin onayı gerekir.
İkinci katman, veri soy ağacıdır. Bir yanıtın dayandığı belge parçalarını, kaynağı ve dönüşüm geçmişini görebilmelisiniz. Embedding sürümü ile değişiklik zamanı, koken dogrulamasi için kaydedilmelidir. ML-BOM veya yazılım bileşen listesine benzer kayıtlar, olay anında etki alanını daraltmanıza yardım eder.
Üçüncü katman, sifir guven yaklaşımıdır. Daha önce onaylanmış bir veri kaynağı bile sonraki her aktarımda yeniden denetlenmelidir. Bu tehdit, alan adı ele geçirildiğinde, dosya içeriği değiştirildiğinde veya yetkili hesabın erişimi saldırgana geçtiğinde ortaya çıkabilir. Kaynağa güvenmek yerine her işlemde kimlik, bütünlük ve yetki doğrulaması yapın.
Dördüncü katman çalışma zamanı korumalarıdır. Modelin erişebileceği dokümanları kullanıcı rolüne göre sınırlandırın. Kişisel sağlık verisi, gizli fiyat listesi, sistem talimatı veya güvenilmeyen yanıtlar içeren zararli ciktiların kullanıcıya ve bağlı sistemlere aktarılmasını engelleyin. Modelin e-posta göndermesi, CRM kaydı açması veya ödeme talimatı vermesi gerekiyorsa insan onayı isteyin.
Indusface’in LLM04 savunma önerileri, owasp llm04 çerçevesinde veri doğrulama, izleme ve güvenilir kaynak kontrolünün birlikte ele alınmasını önerir. Tek bir filtreye güvenmeyin; kapalı testler ve red team kontrolleri yürütün. Tehdit senaryosu ve model türü uygunsa cekismeli egitim destek olarak kullanılabilir, ancak tek başına kesin çözüm değildir. Bu katmanları, veri girişinden model çıktısına kadar birbirini tamamlayan guvenlik onlemleri olarak uygulayın.
İzleme, olay müdahalesi ve felaket kurtarma planı
Veri zehirleme çoğu zaman haftalar sonra fark edilir. Bu nedenle normal davranış için bir başlangıç profili oluşturun. Modelin belirli soru gruplarındaki doğruluk oranını, kaynak çağrılma dağılımını, reddedilen belge sayısını ve kullanıcı geri bildirimlerini düzenli ölçün.
Aniden tek bir kaynağın olağandışı sıklıkta çağrılması, belirli konularda hatalı yanıt şikayetlerinin artması veya modelin aynı yanlış ifadeyi tekrarlaması alarm üretmelidir. Red team çalışmaları yalnızca prompt injection denemeleriyle sınırlı kalmamalıdır. Ekip, bilgi tabanına zehirli belge eklenmiş gibi testler yapmalı ve sistemin bunu hangi aşamada yakaladığını ölçmelidir.
Olay müdahale planınızda şu sıra net olmalıdır:
- Şüpheli belgeyi, veri setini veya model sürümünü üretimden ayırın ve erişim kayıtlarını koruyun.
- Etkilenen yanıtları, kullanıcıları ve bağlı iş akışlarını belirleyin. Yanlış bilgi e-posta veya CRM’e aktarıldıysa kapsamı genişletin.
- Son güvenilir model, embedding ve bilgi tabanı yedeğine geri dönün.
- Kaynak doğrulama kuralındaki açığı kapatın, ardından aynı saldırı senaryosunu test ortamında yeniden çalıştırın.
- Olay kaydını yönetime, bilgi güvenliği ekibine ve süreç sahibine aktarın. Kalıcı çözüm sorumlusu belli olsun.
Felaket kurtarma hizmeti kullansanız bile temiz yedeği belirlemezseniz, zehirlenmiş veriyi yeniden yükleyebilirsiniz. Bu nedenle temiz yedekleri kaynak kimliği, tarih, bütünlük kontrolü ve saklama kosullari bilgileriyle etiketleyin. is surekliligi planı, yalnızca sistemi yeniden açmayı değil, güvenilir veriye dönmeyi hedeflemelidir.
Pazarlama sistemlerinde veri güvenliği ve marka etkisi
Model tabanlı pazarlama uygulamaları, içerik üretimi, müşteri segmentasyonu ve kampanya analizi için sık kullanılır. Ancak yanlış verilerle beslenen bir asistan, marka görünürlüğünü artırmak yerine hatalı içerikler ve yanlış hedefleme önerileri üretebilir. Bu durum müşteri güvenini de zedeler.
Bir SEO uzmanı, danışmanlık sürecinde içerik önerisi sunan modelin kaynaklarını kontrol etmelidir. Teknik SEO, yerel SEO ve içerik pazarlaması çalışmalarında doğrulanmamış istatistikler veya eski hizmet bilgileri, organik trafik hedeflerini zayıflatır. Kaliteli içerik yalnızca okunabilir değil, kaynağı denetlenebilir içeriktir.
Google Ads yönetimi veya danışmanlığı süreçlerinde bütçe, raporlama ve dönüşüm kararları doğrulanmış analitik kayıtlara dayanmalıdır. SEM ve performans pazarlaması ekipleri, zehirlenmiş verileri bu şekilde daha erken fark edebilir. Bu yaklaşım bütçenin verimli kullanılmasını ve müşteri yolculuğundaki hataların azaltılmasını destekler.
Bir dijital pazarlama ajansı veya danışman seçerken, AI destekli raporların veri sahipliğini, erişim yetkilerini ve onay sürecini sorun. Veri yönetişimi yaklaşımını da netleştirin. Web tasarım ve kurumsal web tasarım projelerinde kullanılan içerik asistanlarının hangi kurumsal belgelere ve bilgi tabanına eriştiğini belirleyin. Veri odaklı dijital pazarlama stratejisi oluşturma çalışmaları, ölçüm altyapısı ve erişim yetkileriyle birlikte planlandığında daha sağlıklı kararlar üretir.
Sıkça Sorulan Sorular
Veri zehirleme nedir?
Veri zehirleme, modelin eğitiminde veya yanıt üretirken başvurduğu içeriklerin kasıtlı biçimde değiştirilmesidir. Saldırgan bu yolla yanlış yanıtlar üretebilir, belirli tetikleyicilere bağlı arka kapılar bırakabilir veya bilgi tabanının güvenilirliğini bozabilir.
Veri zehirleme ile prompt injection arasındaki fark nedir?
Veri zehirleme genellikle eğitim verisini, model dosyasını veya kalıcı bilgi tabanını hedefler ve etkisi uzun süre devam edebilir. Prompt injection ise çalışma anındaki kullanıcı ya da belge girdileriyle model talimatlarını geçici olarak saptırmaya çalışır.
RAG sistemleri veri zehirlemeye karşı nasıl korunur?
Belgeler sisteme alınmadan önce kaynak, sahiplik, sürüm, geçerlilik tarihi ve içerik açısından doğrulanmalıdır. Güvenilmeyen dosyalar doğrudan indekslenmemeli; eski embedding kayıtları kaldırılmalı ve yüksek etkili bilgiler ikinci bir güvenilir kaynakla karşılaştırılmalıdır.
Zehirlenmiş bir model veya belge fark edildiğinde ne yapılmalıdır?
Şüpheli belgeyi, veri setini ya da model sürümünü üretimden ayırın ve erişim kayıtlarını koruyun. Etkilenen iş akışlarını belirledikten sonra temiz ve doğrulanmış yedeğe dönün, açığı kapatın ve saldırı senaryosunu test ortamında yeniden değerlendirin.
Güvenilir yapay zekâ, güvenilir veriden başlar
Veri zehirleme saldırısı yalnızca teknik bir arıza değildir. Yanlış öneriler, hatalı müşteri yanıtları ve bozulmuş iş kararları işletmenizin güvenini etkileyebilir.
Yapay zeka guvenligi için kaynak kökenini izleyin, belgeleri üretim öncesinde doğrulayın ve model sürümlerini kaydedin. Olay anında temiz yedeğe dönebilmek de riski sınırlar. Veri bütünlüğü, sürdürülebilir faydanın temel koşuludur.
