Saldırı altında mısınız? Olay müdahalesi için bize ulaşın

info@angelforce.eu
Güvenli yazılım geliştirme

Şirket verilerini bir yapay zeka asistanına bağlamadan önce

BT ekipleri için LLM bağlamadan önce kontrol listesi: veri sınıflandırma, düşmanca girdi, erişim, loglama, tedarikçi incelemesi, sahiplik.

Diğer diller:EnglishDeutschFrançaisEspañolItalianoPolskiNederlandsEesti

İllüstrasyon: Şirket verilerini bir yapay zeka asistanına bağlamadan önce

Bir yapay zeka asistanını şirket verilerine bağlamak, ürün kurulumundan çok bir yetkilendirme kararıdır. Şu varsayımla plan yapın: Asistanın okuyabildiği her şeyi, onunla konuşabilen herkes dışarı çıkarabilir; asistanın yapabildiği her şeyi de girdisini etkileyebilen herkes tetikleyebilir. Pilot başlamadan önce beş konuyu netleştirin: hangi verilere izin verildiği, asistanın neler yapabileceği, onu kimlerin kullanabileceği, nelerin kaydedileceği ve riskin sahibinin kim olduğu.

Kaynak belirtimi hakkında bir not. OWASP veya NIST kaynaklı maddeler bu şekilde belirtilmiş ve bağlantı verilmiştir. Bu kontrol listesindeki diğer her şey kendi önerimizdir; iki kuruluşun da bir gereksinimi değildir.

Hangi verilerin dahil edilebileceğine karar verin

Sınıflandırmayla başlayın, çünkü sonraki tüm kontroller buna dayanır. Elinizde bir şema yoksa başlangıç için üç kademeli bir şema yeterlidir ve bu şema, herhangi biri bir posta kutusunu, dosya paylaşımını ya da CRM'i bağlamadan önce yazıya dökülmelidir.

KademeTipik içerikAsistan için kural
Herkese açıkYayımlanmış web sitesi metinleri, ürün broşürleriİzin verilir
DahiliPolitikalar, proje notları, dahili wiki'lerYalnızca onaylı araçlara izin verilir
KısıtlıKişisel veriler, sözleşmeler, kimlik bilgileri, kaynak kod, mali kayıtlarAdı belli bir sahip onay verene kadar kapsam dışıdır

İki nokta ekipleri sıklıkla yakalıyor. Birincisi, bağlayıcılar (connector) genellikle depoların ya da sürücülerin tamamını içeri alır; dolayısıyla kimsenin paylaştığını hatırlamadığı bir klasör de indekslenir. Paylaşım ayarlarını bağlantıdan sonra değil, önce temizleyin. İkincisi, belgelerdeki sırlar (wiki sayfalarındaki API anahtarları, ticket'lardaki parolalar) bir arama özelliğini kimlik bilgisi sızıntısına dönüştürür.

Asistanın düşmanca metinler okuyacağını varsayın

Asistanın okuduğu her şeyi (gelen e-postalar, web sayfaları, paylaşılan belgeler, yüklenen dosyalar) bir başkasının asistanı yönlendirmek için yazmış olabileceği içerik olarak ele alın. Sistem istemini (system prompt) tek kontrolünüz yapmak yerine, dağıtımı bu durumun zarar vermeyeceği şekilde tasarlamanızı öneriyoruz.

Pratikte şunları yapın:

  • Asistana ihtiyaç duyduğu asgari araçları verin. Önce salt okunur erişimle başlayın.
  • E-posta gönderme, kayıt değiştirme, kod çalıştırma, ödeme yapma gibi yan etkisi olan her eylem için insan onayı isteyin.
  • Güvenilmeyen içeriği, kısıtlı verilere de erişimi olan asistanlardan uzak tutun.
  • Asistanın çıktısını, onu tüketen sistem açısından güvenilmeyen girdi olarak değerlendirin. Aşağı akıştaki bir sistem çıktıyı çalıştırıyor veya render ediyorsa, kullanıcı girdisini doğrular gibi doğrulayın.

LLM uygulama risklerinin referans listesi için OWASP Top 10 for Large Language Model Applications sayfasını kullanın. Proje sayfası, OWASP GenAI Security Project'i LLM'ler, ajan tabanlı yapay zeka sistemleri ve yapay zeka destekli uygulamalar dahil olmak üzere üretken yapay zekanın güvenlik ve emniyet risklerini kapsayan küresel bir açık kaynak girişimi olarak tanımlıyor. Top 10'un çekirdek bir bileşen olmaya devam ettiğini belirtiyor ve 2025 sürümünü listeliyor. Sayfa, güncel liste için genai.owasp.org/llm-top-10/ adresine yönlendiriyor. Bu listeyi okuyun ve kendi tehdit modelinizi sıfırdan icat etmek yerine yapısını bu kategoriler üzerine kurun.

Erişim kontrolü ve loglama

Asistan, geniş yetkili bir servis hesabıyla değil, soruyu soran kişinin yetkileriyle hareket etmelidir. Her şeye erişimi olan tek bir paylaşımlı kimlik kullanılıyorsa, kıdemsiz bir çalışan soruyu iyi kurgulayarak yönetim kurulu belgelerine ulaşabilir. Bağlayıcının kullanıcı bazlı yetkileri nasıl ele aldığını kontrol edin ve canlıya almadan önce farklı kıdemlerdeki iki hesapla test edin.

Ardından neyin loglanacağına karar verin. En azından bir olayı yeniden kurgulamaya yetecek kadar kayıt tutmalısınız:

timestamp, user id, assistant/tool name,
source documents retrieved, actions requested,
actions executed, confirmation (yes/no), result status

Bu logların ne kadar süre saklanacağını, kimlerin okuyabileceğini ve istemlerin (prompt) kendisinin kişisel veri içerip içermediğini önceden belirleyin. Konuşma logları başlı başına bir veri deposudur ve içerdikleri veriyle aynı sınıflandırmaya tabi olmalıdır. Bunları izleme işini yürüten kişi veya ekibe iletin; böylece tek bir hesaptan alışılmadık miktarda veri çekilmesi fark edilir.

Sözleşmeden önce tedarikçiyi inceleyin

Tedarikçiye doğrudan sorular sorun ve yanıtları yazılı olarak alın:

  1. İstem ve belge verilerimiz modelleri eğitmek veya iyileştirmek için kullanılıyor mu? Bu, yalnızca bir ayarla değil, sözleşmeyle kapatılabiliyor mu?
  2. Veriler nerede işleniyor ve saklanıyor, hangi alt işleyiciler (sub-processor) devrede?
  3. İstemler, çıktılar ve yüklenen dosyalar ne kadar süre saklanıyor ve bunları silebilir miyiz?
  4. Hangi yönetici kontrolleri mevcut: tek oturum açma (SSO), rol tabanlı erişim, denetim kaydı dışa aktarımı, bağlayıcı izin listeleri?
  5. Güvenlik olayları nasıl ve hangi süre içinde bildiriliyor?

Yanıtların gerçek yönetim konsoluyla uyuştuğunu doğrulayın. Bir politika sayfası ile yapılandırılabilir bir ayar aynı şey değildir. Araç eklenti veya üçüncü taraf bağlayıcılar sunuyorsa, bunları ayrı birer tedarikçi olarak inceleyin.

Riske bir sahip atayın

Yönetişim kâğıt işi gibi gelir ve öyledir de, ancak gölge dağıtımları (shadow deployment) engelleyen kısım budur. NIST AI RMF Playbook, AI Risk Management Framework'ün dört işlevine (Govern, Map, Measure ve Manage) uyumlu önerilen eylemler sunar. NIST, Playbook'un ne bir kontrol listesi ne de baştan sona izlenecek adımlar bütünü olduğunu, önerilerin gönüllülük esasına dayandığını belirtiyor. Ayrıca AI RMF 1.0'ın güncellendiğini ve Playbook'un bunu izleyeceğini not ediyor; bu nedenle güncel sürümü kontrol edin. Şirketinizin ölçeğine uyanları alın.

Önerimiz, kullanımdaki her yapay zeka aracı için kısa bir kayıt defteri tutmanızdır: her araç için bir sahip, dokunabileceği veri kademeleri ve bir gözden geçirme tarihi. Bir sütun daha ekleyin: hukuk biriminin, o kullanım senaryosu için AB Yapay Zeka Yasası (EU AI Act) veya GDPR (Genel Veri Koruma Tüzüğü) yükümlülüklerinin geçerli olup olmadığını doğrulayıp doğrulamadığı ve vardığı sonuç. Bu yükümlülükleri burada değerlendirmedik; bu nedenle kararı hukuk müşavirinize veya bir uyum danışmanına bırakın. Kayıt defterinin ve gözden geçirme sürecinin kurulumunda yardım isterseniz, danışmanlık hizmetimiz hazırlık değerlendirmelerini kapsar.

Nereden başlamalı

  1. Çalışanların kendi açtığı ücretsiz hesaplar dahil, halihazırda kullanılan tüm yapay zeka asistanlarını listeleyin ve her biri için bir sahip belirleyin.
  2. Yukarıdaki üç kademeli sınıflandırmayı yazın ve bağlı her veri kaynağının hangi kademeye girdiğini işaretleyin. Kısıtlı kaynakları kapsamdan çıkarın.
  3. Salt okunur erişim, kullanıcı bazlı yetkiler ve her eylem için insan onayı ile bir pilot yürütün. Farklı kıdemlerdeki iki hesapla test edin.
  4. Loglamayı açın, saklama süresini belirleyin ve logları sistemlerinizi izleyen kişi veya ekibe yönlendirin.
  5. Tedarikçi sorularını gönderin, yazılı yanıtları sözleşmeyle birlikte saklayın ve hukuk biriminden AB Yapay Zeka Yasası veya GDPR yükümlülüklerinin geçerli olup olmadığını teyit etmesini isteyin.
  6. Daha geniş kullanıma geçmeden önce kurulumu, ona saldırmayı deneyecek biriyle test ettirin. Gerçek bağlayıcılarınız etrafında kurgulanmış senaryolarla yapılan bir sızma testi, kâğıt üzerindeki bir tehdit modelinin gözden kaçırdıklarını ortaya koyar.

Nasıl yardımcı olabiliriz

Danışmanlık ve eğitim

Nerede durduğunuzu değerlendirir, önceliklerinizi sizinle birlikte belirler ve çalışanlarınızı saldırıları tanıyacak şekilde eğitiriz.

Bize yazın
AngelForce ekibi

Bu yazıyı AngelForce ekibi hazırladı: Avrupa ve Türkiye’deki kurumların sistemlerini test eden, izleyen ve koruyan; CEH, LPT Master ve CISA sertifikalı güvenlik danışmanları.

Aşağıda listelenen herkese açık kaynaklardan yapay zekâ desteğiyle yazıldı ve yayından önce AngelForce ekibi tarafından incelendi.

Kaynaklar

  1. owasp.org/projects/top-10-for-large-language-model-applications
  2. airc.nist.gov/airmf-resources/playbook/

Güvenli yazılım geliştirme hakkında yazılar

Neyi korumanız gerektiğini anlatın

Altyapınızı ve hedefinizi kısaca yazın, size e-postayla dönelim.

Bize yazın
info@angelforce.eu

AngelForce OÜ · Tallinn, Estonya