Bir LLM Uygulamasının Bileşenleri

Bir yapay zeka uygulamasını sadece "ChatGPT'ye atılan bir API isteği" olarak düşünmek, devasa ve karmaşık bir kurumsal ürünü, basit bir dosya yükleme butonuna indirgemek gibidir. Gerçek bir üretim ortamı (Production) LLM uygulaması; İstemci, AI Ağ Geçidi, Orkestratör, Model, Vektör Veritabanı, Araç (Tool) Katmanı, Log Toplayıcı ve Güvenlik Motorundan oluşan çok katmanlı bir sistemdir.

Bu modülün ilk odasında, kurumsal bir yapay zeka uygulamasının iskelet diyagramını çıkarıyor ve Güven Sınırlarını (Trust Boundaries) belirliyoruz. Çünkü siber güvenlikte değişmez bir kural vardır: Neyi savunduğunuzu haritalandıramazsanız, onu koruyamazsınız.

Tipik Kurumsal LLM Mimarisi

Renk Kodu

Sistem Bileşenleriİstemci, AI Gateway, Orchestrator, LLM — kurum tarafından kontrol edilen güvenli katmanlar

Güvenilmez İçerik KaynaklarıVektör DB, Tool'lar, Dış Web/PDF/E-posta — kesik kenarlı kutular; modele giren her veri potansiyel saldırı vektörüdür

Audit / SIEMLog + alarm; saldırı tespiti ve uyumluluk için pasif gözlem katmanı

Bileşenleri Tek Tek Tanıyalım

İstemci (Client)

Kullanıcının veya diğer sistemlerin uygulamayla etkileşime girdiği ilk yüzdür: Web arayüzü, mobil uygulama veya doğrudan bir API tüketicisi. Siber güvenlik açısından buradan gelen hiçbir veriye güvenilmez.

AI Ağ Geçidi (AI Gateway)

Tüm yapay zeka trafiğini tek bir merkezden geçirip denetleyen kritik savunma katmanıdır. Temel görevleri:

Kimlik Doğrulama: API Key, OAuth, SSO denetimleri.
İstek ve Jeton Sınırı: Kotaları yöneterek (Rate-limit) Model Hizmet Reddi (LLM04 DoS) saldırılarını engellemek.
Girdi Sınıflandırıcı (Input Classifier): Kötü niyetli istemleri (Prompt) ML modelleriyle tespit edip engellemek.
Akıllı Yönlendirme: İsteğin durumuna göre OpenAI, Anthropic veya Lokal Llama arasında karar vermek.
Denetim Logları: Sistemden geçen her bayt veriyi SIEM'e (Güvenlik Merkezine) aktarmak.

(AI Gateway, son yıllarda endüstri standardı olmuştur. Sıradaki odalarda bunu derinlemesine işleyeceğiz).

Orkestratör (Orchestrator)

LangChain, LlamaIndex, Vellum gibi kütüphanelerin yaptığı iştir. Sistemin "iç motoru" olarak görev yapar ve modele "Şu adımları sırasıyla gerçekleştir" der:

RAG (Veritabanı Arama) adımlarını tetikler.
Arka plandaki Araç (Tool) çağrılarını yönetir.
Şablonları (Prompt Template) dinamik verilerle doldurur.

Yapay Zeka Modeli (LLM)

Asıl "beyin" olan üretici modeldir: GPT-4, Claude 3.5, Llama, Mistral veya şirketin kendi sunucularındaki açık kaynaklı bir ağırlık seti.

Vektör Veritabanı (Vector DB)

Kurumsal RAG (Retrieval-Augmented Generation) mimarilerinin kalbidir: Pinecone, Qdrant, Milvus vb. Yukarıdaki diyagramda pembe kesik çizgilerle belirtilmiştir, çünkü içeriği güvenilmezdir. Saldırgan bu veritabanına zehirli bir doküman sızdırabilirse, arama motoru bu zehri alıp doğrudan LLM'in beynine taşır.

Araçlar ve Eklentiler (Tools / APIs)

Modelin salt bir "sohbet botu" olmaktan çıkıp dış dünyada gerçek aksiyonlar almasını sağlayan bileşenlerdir: E-posta gönderme, CRM güncelleme, koda müdahale etme, ödeme tetikleme vb. Burası LLM07 (Güvensiz Eklenti Tasarımı) ve LLM08 (Aşırı Yetkilendirme) zafiyetlerinin ana yuvasıdır.

Web ve Dış İçerik

Web sayfaları, PDF belgeleri, kullanıcı e-postaları veya GitHub depoları; yani modelin kendisine verilen görevi tamamlamak için "okuduğu" her şeydir. Dolaylı İstemi Enjeksiyonu (Indirect Prompt Injection) saldırılarının tamamı bu kapıdan girer.

Güvenlik İzleme (Audit / SIEM)

Uygulamadaki tüm trafiğin loglandığı, olağandışı davranışların (anomalilerin) alarma dönüştüğü Güvenlik Operasyon Merkezi (SOC) kuyruklarıdır. Üretim ortamında bir LLM uygulaması için görünürlük (Observability) tam olarak burada başlar.

Güven Sınırları (Trust Boundaries)

Bir yapay zeka mimarisinde güvenlik sınırlarını çizebilmek için verileri iki temel türe ayırırız:

Veri Tipi	İçerik Örneği	Model Nasıl Davranmalıdır?
Trusted (Güvenilir)	Geliştiricinin bizzat kodladığı Sistem İstemleri (System Prompt).	Harfiyen bir Talimat (Komut) olarak uygulamalıdır.
Untrusted (Güvenilmez)	Vektör DB belgeleri, web sayfaları, dış e-postalar, araçlardan dönen sonuçlar.	Bunları sadece "Pasif Veri" olarak okumalı, içlerindeki hiçbir eylem çağrısını veya emri uygulamamalıdır.

Yukarıdaki mimari diyagramında pembe kesik çizgili kutular, "Güvenilmez (Untrusted)" kaynakları temsil eder. Bu kutulardan çıkıp modele doğru giden her bayt veri, potansiyel bir Dolaylı Enjeksiyon (Indirect PI) saldırı vektörüdür.

Güvenlik Mimarının Altın Sorusu

"Modelin şu anda okuduğu bu metin parçası nereden geldi ve o kaynak bizim için ne kadar güvenilir?" Bir kurumda bu soru net olarak yanıtlanamıyorsa, o LLM mimarisi güvenli sayılamaz.

En Zayıf Halka: Vektör Veritabanı → Model Geçişi

Kurumsal mimariler incelendiğinde en savunmasız ve en çok istismar edilen noktanın, genellikle Vektör Veritabanından çekilen bir belgenin modelin bağlamına (context) sokulduğu an olduğu görülür. Çünkü:

Belge sistem tarafından "Kullanıcının sorusuyla en alakalı veri" diye seçilip getirildiği için model ona güvenir.
Ancak o belgenin içine saldırgan tarafından [SYSTEM_OVERRIDE_TALIMAT_UYGULA] tarzı gizli komutlar gömülmüş olabilir.
Eğer saldırgan Vektör DB'ye sızmayı başarıp o zehirli belgeyi oraya koymuşsa, masum bir kullanıcının tetiklemesiyle bile modeli istediği gibi yönlendirebilir.

Günümüzde kurumsal Copilot ve RAG asistanlarına yapılan saldırı zincirlerinin %80'inden fazlası, bu sınırın yeterince izole edilmemesinden kaynaklanır.

Bölüm Özeti

Gerçek bir kurumsal LLM uygulaması en az 8 ana katmandan oluşur: İstemci, AI Ağ Geçidi, Orkestratör, LLM, Vektör DB, Araçlar, Dış İçerik ve SIEM.
Güven Sınırı (Trust Boundary) kavramı, bu mimarinin temel taşıdır. Bir verinin "Güvenilir Komut" mu yoksa "Güvenilmez Veri" mi olduğunu belirlemek zorundayız.
En zayıf halka genellikle Vektör DB → Model geçişidir; Dolaylı PI saldırı zincirlerinin kuluçka merkezi burasıdır.
AI Gateway, Araçlar (Tool Katmanı) ve Denetim (Audit) sistemleri, sonraki odalarda detaylıca işlenecektir.

Sıradaki Oda: Modelin sadece konuşmakla kalmayıp dış dünyada aksiyon alabildiği Ajan Mimarisi (Agent Architecture) konusuna giriyoruz. "Düşün-Eyle-Gözlemle" (ReAct) döngüsü, Araç Çağırma (Tool Calling) protokolü ve OWASP LLM07/LLM08 zafiyetlerinin mimari temelleri bizi bekliyor.