Ücretsiz Yapay Zeka Araçlarının Arkasındaki Gizli Risk: ChatGPT ve Diğer LLM'ler Neden Güvenli Değil?

Sohbet robotunuz özelmiş gibi davranmayı bırakın

Güvenlik ekipleri hala "ChatGPT'yi dikkatli kullanmaktan" bahsediyor, sanki ana risk bir geliştiricinin tescilli kodu herkese açık bir sohbet botuna yapıştırmasıymış gibi. Bu çerçeveleme yıllar öncesine dayanıyor. Asıl sorun yapısaldır: ChatGPT, Gemini, Claude ve açık ağırlıklı asistanlar gibi büyük dil modelleri (LLM'ler) deterministik yazılımlar değildir. Bunlar verilerden öğrenen, kalıpları ezberleyen ve dil aracılığıyla manipüle edilebilen olasılıksal sistemlerdir - ikili dosyalar gibi yamalanamazlar. Tek başına bu bile "LLM güvenliği "nin başka bir AppSec kontrol listesi olmadığı, kendi güvenlik alanı olduğu anlamına gelir. (SentinelOne)

Şirketlerin içinde de ısrarcı bir yalan var: "Bu sadece şirket içi beyin fırtınası için, kimse görmeyecek." Gerçekler aynı fikirde değil. Şirket içi veriler - denetim notları, yasal taslaklar, tehdit modelleri, gelir projeksiyonları - güvenlik onayı olmadan her gün herkese açık veya ücretsiz YZ araçlarına kopyalanıyor. Kurumsal YZ kullanımına ilişkin yakın zamanda yapılan bir araştırma, çalışanların hassas kodları, dahili strateji belgelerini ve müşteri verilerini ChatGPT, Microsoft Copilot, Gemini ve benzeri araçlara, genellikle kişisel veya yönetilmeyen hesaplardan aktif olarak yapıştırdığını ortaya koydu. Kurumsal veriler HTTPS üzerinden ortamdan ayrılıyor ve şirketin sahip olmadığı veya kontrol etmediği altyapıya iniyor. Bu, varsayımsal risk değil, canlı veri sızıntısıdır. (Axios)

Başka bir deyişle: yöneticileriniz "bir asistandan yardım istediklerini" düşünüyorlar. Aslında yaptıkları şey, denetleyemeyeceğiniz şeffaf olmayan bir bilgi işlem ve günlük kaydı hattına sürekli olarak gizli istihbarat akışı sağlamaktır.

"LLM güvenliği" aslında ne anlama geliyor?

"LLM güvenliği" genellikle "kötü istemleri engelleyin ve modeli jailbreak yapmayın" şeklinde yanlış anlaşılır. Bu küçük bir dilim. Satıcıların, kırmızı ekiplerin ve bulut güvenliği araştırmacılarının modern rehberliği daha geniş bir tanım üzerinde birleşiyor: LLM güvenliği, modelin, verilerin, yürütme yüzeyinin ve modelin tetiklemesine izin verilen aşağı akış eylemlerinin uçtan uca korunmasıdır. (SentinelOne)

Uygulamada, güvenlik sınırı genişler:

• Eğitim ve ince ayar verileri. Zehirlenmiş veya kötü niyetli örnekler, yalnızca saldırgan tarafından hazırlanmış belirli istemler altında tetiklenen arka kapılı davranışlar yerleştirebilir. (SentinelOne)
• Model ağırlıkları. İnce ayarlı bir modelin çalınması, çıkarılması veya klonlanması, fikri mülkiyet haklarını, rekabet avantajını ve bu modelin belleğinde gömülü olan potansiyel olarak düzenlenmiş verileri sızdırır. (SentinelOne)
• İstem arayüzü. Buna kullanıcı istemleri, sistem istemleri, bellek bağlamı, alınan belgeler ve araç çağrısı iskelesi dahildir. Saldırganlar, politikayı geçersiz kılmak ve veri sızıntısını zorlamak için bu katmanlardan herhangi birine gizli talimatlar enjekte edebilir. (OWASP Vakfı)
• Eylem yüzeyi. LLM'ler giderek daha fazla eklentileri, dahili API'leri, faturalama sistemlerini, DevOps araçlarını, CRM'leri, finans sistemlerini, biletleme sistemlerini çağırmaktadır. Ele geçirilmiş bir model, sadece kötü bir metni değil, gerçek dünyadaki değişiklikleri de tetikleyebilir. (The Hacker News)
• Hizmet altyapısı. Buna vektör veritabanları, orkestrasyon çalışma zamanları, geri alma boru hatları ve "otonom ajanlar" dahildir. Etken sistemler, istem enjeksiyonu veya veri zehirlenmesi gibi temel LLM risklerini miras alır, ardından etken harekete geçebildiği için etkiyi artırır. (Inovia)

Wiz ve diğer bulut güvenliği araştırmacıları bunu "tam yığın sorunu" olarak tanımlamaya başladılar: YZ olayları artık klasik bulut tehlikesi (veri hırsızlığı, ayrıcalık yükseltme, finansal istismar) gibi görünüyor, ancak LLM hızında ve LLM yüzey alanında. (Knostik)

Düzenleyiciler arayı kapatıyor. ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) artık düşmanca makine öğrenimi davranışını (istem enjeksiyonu, veri zehirlenmesi, model çıkarma, model sızıntısı) spekülatif bir araştırma konusu olarak değil, YZ risk yönetiminde temel bir güvenlik sorunu olarak ele almaktadır. (NIST Yayınları)
Bak: NIST Yapay Zeka Risk Yönetimi Çerçevesi ve Çekişmeli Makine Öğrenimi Taksonomisi (NIST AI 100-2e2025).

"Özgür" hakkındaki rahatsız edici gerçek

Ücretsiz LLM'ler hayır kurumu değildir. Ekonomisi basittir: kullanıcıları çekmek, yüksek değerli alan ipuçları toplamak, ürünü geliştirmek, kurumsal üst satışa dönüştürmek. Yönlendirmeleriniz, hata arama metodolojiniz, olay raporu taslaklarınız - bunların hepsi bir başkasının modeli için yakıttır. (Cybernews)

İş yerinde yapay zeka kullanımına ilişkin rapora göre, yüklenen hassas materyallerin önemli bir kısmı yayınlanmamış kod, şirket içi uyum dili, yasal müzakere dili ve yol haritası içeriğini içeriyor. Bazı durumlarda, dahili kontrollerden kaçınmak için yüklemeler kişisel hesaplar üzerinden gerçekleşir, bu da verilerin artık sizin değil başkasının saklama politikasına tabi olduğu anlamına gelir. (Axios)

Bu üç nedenden ötürü önemlidir:

1. Uyumluluk maruziyeti. Düzenlemeye tabi verileri - sağlık verileri (HIPAA), finansal tahminler (SOX) veya müşteri PII (GDPR/CCPA) - yasal sınırlarınızın dışındaki altyapıya sızdırıyor olabilirsiniz. Bu, denetimde anında keşfedilebilir. (Axios)
2. Kurumsal casusluk riski. Model çıkarma ve ters çevirme saldırıları giderek daha iyi hale geliyor. Saldırganlar, eğitim belleği veya özel mantık parçacıklarını yeniden yapılandırmak için bir LLM'yi yinelemeli olarak sorgulayabilir. Buna hassas kod kalıpları, sızdırılan kimlik bilgileri ve dahili karar kuralları da dahildir. (SentinelOne)
3. Denetlenebilir saklama sınırı yok. Bir kullanıcı arayüzünde "sohbet geçmişini" temizlemek verilerin yok olduğu anlamına gelmez. Birçok sağlayıcı bir tür günlük kaydı ve kısa süreli saklama (kötüye kullanım izleme, kalite iyileştirme vb. için) açıklar ve eklentiler/entegrasyonlar sizin göremediğiniz kendi veri işlemlerine sahip olabilir. (Cybernews)
   Bak: Ücretsiz Yapay Zeka Araçlarının Arkasındaki Gizli Risk ve LLM Güvenlik Riskleri Üzerine SentinelOne.

Kısa versiyon: Başkan Yardımcınız bir tehdit modelini "ücretsiz bir yapay zeka asistanına" yapıştırdığında, en hassas materyalleriniz için üçüncü taraf bir işlemci yaratmış olursunuz - sözleşme, DPA ve saklama SLA'sı olmadan.

Tehdit modellemesi yapmanız gereken on aktif LLM güvenlik hatası modu

Büyük Dil Modeli Uygulamaları için OWASP Top 10 ve son YZ olay raporları aynı rahatsız edici gerçeklikte birleşiyor: LLM dağıtımları halihazırda üretimde saldırıya uğruyor ve saldırılar bilinen sınıflarla temiz bir şekilde eşleşiyor. (OWASP Vakfı)
Bak: LLM Başvuruları için OWASP Top 10.

Bu tablo "gelecekteki çalışma" değildir. Her bir satır SaaS, finans, savunma ve güvenlik araçları genelinde üretim sistemlerinde zaten gözlemlenmiştir. (SentinelOne)

Gölge YZ halihazırda teori değil, olay müdahale çalışmasıdır

Çoğu kuruluş, yapay zekanın şirket içinde nasıl kullanıldığına dair tam bir görünürlüğe sahip değildir. Çalışanlar, denetimleri özetlemek, uyumluluk politikalarını yeniden yazmak veya müşteri iletişimlerini taslak haline getirmek için kamuya açık LLM'lerden sessizce yardım istemektedir. Belgelenmiş birçok vakada, hassas dahili güvenlik belgeleri, yönetilmeyen kişisel hesaplardan ChatGPT veya benzer hizmetlere yapıştırılmış ve olay sonrası incelemeleri tetiklemiştir. Bu incelemeler, onaylanmış bir ihlal olduğu için değil, hukuk ve güvenlik ekiplerinin yanıtlaması gerektiği için haftalarca adli tıp zamanını tüketti: "Düzenlenmiş verileri sözleşmemiz olmayan bir tedarikçiye mi sızdırdık?" (Axios)

Eski DLP bunu neden çözemiyor?

• ChatGPT veya benzer araçlara giden trafik normal şifrelenmiş HTTPS gibi görünür.
• SSL müdahalesi yoluyla tam hızlı denetim, çoğu şirkette yasal ve politik olarak radyoaktiftir.
• Yerel tarayıcı kontrollerini zorlasanız bile, birçok YZ özelliği artık diğer SaaS araçlarına (belge düzenleyiciler, CRM asistanları, e-posta özetleyiciler) gömülüdür. Kullanıcılarınız yapay zeka olduğunu bile fark etmedikleri "yapay zeka özellikleri" aracılığıyla veri sızdırıyor olabilir. (Axios)

Bu fenomen genellikle "Gölge Yapay Zeka" olarak adlandırılır. Bu isim yanıltıcıdır. Çalışanlar pervasız davranmıyor; sadece yönetişimden daha hızlı hareket ediyorlar. Gölge YZ'ye gölge SaaS gibi davranın - tek fark bu SaaS sizi ezberleyebilir.

Güvenlik mühendisleri için minimal bir savunma oyun kitabı

Aşağıdaki kontroller günümüzün güvenlik yığını ile gerçekleştirilebilir. Bilim kurguya gerek yok.

İstemleri güvenilmeyen girdi olarak değerlendirin

• "Sistem istemlerini" (model için politika ve davranış talimatları) kullanıcı girdisinden ayırın. Güvenilmeyen girdilerin sistem politikasını geçersiz kılmasına izin vermeyin. Bu, hızlı enjeksiyon ve "önceki tüm kuralları yok say" tarzı jailbreak'lere karşı ilk savunma hattıdır. (OWASP Vakfı)
• Daha sonra gözden geçirmek üzere yüksek riskli istemleri kaydedin ve farklılaştırın.

Yanıtları güvenilmeyen çıktı olarak değerlendirin

• Model tarafından oluşturulan SQL, kabuk komutları, düzeltme adımları veya API çağrılarını asla doğrudan çalıştırmayın. Aksi kanıtlanana kadar her model çıktısının saldırgan kontrolünde olduğunu varsayın. OWASP bunu Güvensiz Çıktı İşleme olarak adlandırır ve en üst düzey LLM riskidir. (OWASP Vakfı)
• LLM tarafından tetiklenen tüm eylemleri ilke zorlaması, korumalı alan ve izin listeleri aracılığıyla zorlayın.

Kontrol modeli özerkliği

• Faturalandırma, üretim konfigürasyonları, müşteri kayıtları veya kimlik/temlik verilerini değiştirebilen herhangi bir aracı, yüksek etkili eylemler için açık insan onayı gerektirmelidir. Temsilci uzlaşması çarpımsaldır: bir temsilci bir kez yönlendirildiğinde, hareket etmeye devam eder. (Inovia)
• Kimlik bilgilerini aracı başına değil, eylem başına kapsamlandırın. Bir aracı uzun ömürlü yönetici belirteçleri tutmamalıdır.

Ekonomik istismarı izleyin

• Hız sınırlayıcı belirteçler, bağlam uzunluğu ve araç çağrıları. OWASP "Model Denial of Service" (Model Hizmet Reddi) olarak adlandırmaktadır: tersine büyük istemler GPU maliyetini artırabilir ve hizmeti düşürebilir ("cüzdan reddi"). (OWASP Vakfı)
• Finans, giden bant genişliğini izlediğiniz gibi "LLM çıkarım harcamasını" da izlenen bir satır kalemi olarak görmelidir.

Daha derin rehberlik için bkz:

• Büyük Dil Modeli Uygulamaları için OWASP Top 10
• SentinelOne: LLM Güvenlik Riskleri
• NIST Yapay Zeka Risk Yönetimi Çerçevesi

Örnek: bir LLM'yi bir politika ve sandbox katmanının arkasına sarmak

Aşağıdaki taslağın amacı basittir: ham model I/O'suna asla güvenmeyin. Modeli çağırmadan önce politikayı uygularsınız ve modelin daha sonra yürütmek istediği her şeyi sandbox'a alırsınız.

# LLM güvenlik paketleyicisi için sözde kod

class SecurityException(Exception):
    geçmek

# (1) Giriş yönetimi: belirgin hızlı enjeksiyon girişimlerini reddetme
def sanitize_prompt(user_prompt: str) -> str:
    banned_phrases = [
        "önceki talimatları dikkate almayın",
        "sırları sızdırmak",
        "Kimlik bilgilerini dök",
        "güvenliği atlayın ve devam edin"
    ]
    lower_p = user_prompt.lower()
    if any(p in lower_p for p in banned_phrases):
        raise SecurityException("Potansiyel istem enjeksiyonu tespit edildi.")
    return user_prompt

# (2) Sıkı sistem/kullanıcı ayrımına sahip model çağrısı
def call_llm(system_prompt: str, user_prompt: str) -> str:
    safe_user_prompt = sanitize_prompt(user_prompt)
    yanıt = model.generate(
        system=lockdown(system_prompt), # değişmez sistem rolü
        user=safe_user_prompt,
        max_tokens=512,
        sıcaklık=0.2,
    )
    yanıt döndür

# (3) Çıktı yönetimi: asla körü körüne yürütmeyin
def execute_action(llm_response: str):
    parsed = parse_action(llm_response)

    if parsed.type == "shell":
        # Yalnızca izin verilenler listesi, jailed sandbox konteyner içinde
        if parsed.command not in ALLOWLIST:
            raise SecurityException("Komut izin verilmedi.")
        return sandbox_run(parsed.command)

    elif parsed.type == "sql":
        # Parametrelendirilmiş, yalnızca salt okunur sorgular
        return db_readonly_query(parsed.query)

    başka:
        # Düz metin, hala güvenilmeyen veri olarak değerlendirilir
        return parsed.content

# Adli tıp ve mevzuat savunması için her adımı denetleyin
answer = call_llm(SYSTEM_POLICY, user_input)
result = execute_action(answer)
audit_log(user_input, answer, result)

Bu model, OWASP'ın en önemli LLM riskleriyle doğrudan uyumludur: İstem Enjeksiyonu (LLM01), Güvensiz Çıktı İşleme (LLM02), Eğitim Verisi Zehirlenmesi (LLM03), Model Hizmet Reddi (LLM04), Tedarik Zinciri Güvenlik Açıkları (LLM05), Aşırı Ajanlık (LLM08) ve Aşırı Güven (LLM09). (OWASP Vakfı)

Otomatik yapay zeka pentestingi nereye uyar (Penligent)

Bu noktada, "LLM güvenliği" kulağa yönetişim tiyatrosu gibi gelmeyi bırakır ve yeniden saldırgan güvenlik gibi görünmeye başlar. Sadece "Modelimiz güvenli mi?" diye sormazsınız. Tıpkı açık bir API'yi veya internete dönük bir varlığı test ettiğiniz gibi, kontrollü bir şekilde onu kırmaya çalışırsınız.

Bu niş Penligent odaklanmaktadır: yapay zeka odaklı sistemleri (LLM uygulamaları, erişimle artırılmış üretim hatları, eklentiler, ajan çerçeveleri, vektör DB entegrasyonları) sihirli kutular olarak değil, saldırı yüzeyleri olarak ele alan otomatik, açıklanabilir sızma testi.

Somut olarak, Penligent gibi bir platform bunu yapabilir:

• Dahili asistanınıza karşı komut istemi enjeksiyonu ve jailbreak modellerini deneyin ve hangilerinin başarılı olduğunu kaydedin.
• Güvenilmeyen bir komut isteminin dahili bir "aracıyı" ayrıcalıklı API'lere (örneğin finans, dağıtım, biletleme) ulaşması için kandırıp kandıramayacağını keşfedin. (Inovia)
• Veri sızıntısı yollarını araştırın: model önceki konuşmalardan veya PII, gizli bilgiler veya kaynak kodu içeren eğitim verilerinden bellek sızdırıyor mu? (SentinelOne)
• "Cüzdan reddi" simülasyonu: Bir saldırgan sadece patolojik istemleri besleyerek çıkarım faturanızı artırabilir veya GPU havuzunuzu doyurabilir mi? (OWASP Vakfı)
• Her başarılı istismarı somut iş etkisiyle (mevzuata maruz kalma, dolandırıcılık potansiyeli, maliyet patlaması) ve hem mühendisliğin hem de liderliğin harekete geçebileceği düzeltme kılavuzuyla eşleştiren kanıt destekli bir rapor oluşturun.

Bu önemli çünkü çoğu kuruluş hala aşağıdaki gibi temel soruları yanıtlayamıyor:

• "Harici bir istem, dahili temsilcimizin ayrıcalıklı bir faturalama API'sini çağırmasına neden olabilir mi?"
• "Model, eğitim verilerinin müşteri PII'sına çok benzeyen kısımlarını sızdırabilir mi?"
• "Birisi GPU faturamızı Maliye'nin ancak gelecek ay fark edebileceği şekilde patlatabilir mi?" (OWASP Vakfı)

Geleneksel web pentestleri bu akışları nadiren kapsar. Otomatik, LLM farkındalı pentest, "LLM güvenliğini" bir politika slaytından gerçek, doğrulanabilir kanıtlara dönüştürmenin yoludur.

Güvenlik mühendisleri için acil sonraki adımlar

1. LLM temas noktalarının envanterini çıkarın. LLM'lerin kuruluşunuzda nerede yaşadığını sınıflandırın:
   • Genel SaaS (ChatGPT tarzı hesaplar)
   • Satıcı tarafından barındırılan "kurumsal LLM"
   • Kendi kendine barındırılan veya ince ayarlı dahili modeller
   • Altyapı ve CI/CD'ye bağlı otonom ajanlar
     Bu sizin yeni saldırı yüzeyi haritanız. (Axios)
2. Kamu LLM'lerine harici SaaS gibi davranın. "Yönetilmeyen YZ araçlarında sır olmaz" bir öneri değil, politika olarak yazılmalıdır. Personeli, ücretsiz yapay zeka araçlarına tıpkı halka açık bir forumda yayın yapmak gibi davranmaları için eğitin: bir kez ayrıldığında, elde tutmayı kontrol edemezsiniz. (Cybernews)
3. Yüksek etkili eylemleri insanların arkasına bırakın. Para taşıyabilen, yapılandırmaları değiştirebilen veya kayıtları yok edebilen herhangi bir YZ aracısı, yüksek etkili adımlar için açık insan onayı gerektirmelidir. Uzlaşma olduğunu varsayın. Muhafaza için inşa edin. (Inovia)
4. LLM farkındalı pentestlemeyi sürümün bir parçası haline getirin. Müşterilerinize veya çalışanlarınıza bir "yapay zeka asistanı" göndermeden önce, bunu deneyen düşmanca bir test geçişi yapın:
   • enjeksiyon istemleri,
   • Sırları çıkar,
   • eklenti ayrıcalıklarını yükseltmek,
   • Spike maliyeti.
     Harici API pentestlerine davrandığınız gibi davranın.

Oyun kitabınız için önerilen referanslar:

• Büyük Dil Modeli Uygulamaları için OWASP Top 10 - LLM'lere özgü topluluk tarafından sıralanan riskler (Prompt Injection, Insecure Output Handling, Training Data Poisoning, Denial of Service, Supply Chain, Excessive Agency, Overreliance). (OWASP Vakfı)
• NIST Yapay Zeka Risk Yönetimi Çerçevesi - düşmanca yönlendirmeleri, model çıkarma, veri zehirleme ve model sızdırmayı sadece araştırma merakı değil, güvenlik yükümlülükleri olarak resmileştirir. (NIST Yayınları)
• SentinelOne: LLM Güvenlik Riskleri - İstem enjeksiyonu, eğitim verisi zehirleme, aracı tehlikeye atma ve model hırsızlığı dahil olmak üzere gerçek saldırgan tekniklerinin devam eden kataloğu. (SentinelOne)
• Ücretsiz Yapay Zeka Araçlarının Arkasındaki Gizli Risk - kurumlarda serbest yapay zeka kullanımının veri yönetişimi ve saklama gerçekleri. (Cybernews)
• Penligent - Yapay zeka dönemi altyapısı için tasarlanmış otomatik sızma testi: LLM'ler, aracılar, eklentiler ve maliyet yüzeyleri.

Son çıkarım

LLM güvenliği isteğe bağlı bir hijyen değildir. Olay müdahalesi, maliyet kontrolü, IP koruması, veri yönetişimi ve üretim güvenliğidir - hepsi aynı anda. Tehdit modellemesi olmadan ChatGPT'ye "sadece ücretsiz bir üretkenlik aracı" muamelesi yapmak, mühendislerin düz metin kimlik bilgilerini e-postayla göndermesine izin vermenin 2025 eşdeğeridir çünkü "nasıl olsa dahili". Ücretsiz yapay zeka ücretsiz değildir. Veri, saldırı yüzeyi ve nihayetinde adli tıp süresi olarak ödeme yapıyorsunuz. (Cybernews)

Güvenlikten sorumluysanız, artık "yapay zeka yapmıyoruz" diyemezsiniz. Kuruluşunuz zaten yapıyor. Tek gerçek seçeneğiniz, bunu güvenli bir şekilde yaptığınızı - hislerle değil, kanıtlarla - kanıtlayıp kanıtlayamayacağınızdır.