AI Gateway ve Policy Katmanı

Klasik web mimarilerinde API Gateway (Ağ Geçidi) standart ve vazgeçilmez bir bileşendir. Tüm trafiği tek bir merkezden geçirir, kimlik doğrulaması (Auth) yapar, istek sayısını sınırlar (Rate-limit) ve güvenlik logları (Audit Log) üretir.

Son iki yılda kurumsal Yapay Zeka (LLM) uygulamalarının patlamasıyla birlikte, bu klasik mimarinin yapay zekaya uyarlanmış yepyeni bir sürümü doğdu: AI Gateway.

Bu odada, AI Gateway mimarisinin neden yeni endüstri standardı haline geldiğini ve daha önceki modüllerde işlediğimiz savunma katmanlarını (Input, Output, Mimari) tek bir merkezde nasıl topladığını inceleyeceğiz.

Neden Ayrı Bir Gateway'e İhtiyaç Var?

"Sistemimizde zaten güçlü bir API Gateway var, o yetmez mi?" diyebilirsiniz. Ancak LLM trafiğinin klasik web trafiğinden çok farklı ve kendine özgü sorunları vardır:

Maliyet Birimi İstek Değil, Jetondur (Token): Klasik rate-limit (saniyedeki istek sayısı - req/s) LLM maliyetlerini kontrol etmekte yetersiz kalır. 1 istek 10 token da tüketebilir, 100.000 token da.
Çoklu Sağlayıcı (Multi-Provider) İhtiyacı: Kurumlar tek bir modele (Örn: Sadece OpenAI) bağımlı kalmak istemez. İstekler anlık olarak Anthropic'e, Azure'a veya şirket içindeki Llama modeline yönlendirilmelidir (Failover, Maliyet Optimizasyonu).
Anlamsal Filtreler (Prompt Classifier): Klasik WAF'lar (Web Application Firewall) sadece Regex ve SQLi/XSS imzası arar. Ancak "Zararlı bir roleplay başlat" şeklindeki bir prompt'u yakalamak için ML tabanlı anlamsal sınıflandırıcılara ihtiyaç vardır.
Veri Maskeleme (PII Redaction) Çift Yönlüdür: Klasik WAF'lar genelde giren veriyi denetler. LLM sistemlerinde ise modelin ürettiği çıktının da (Output) sansürlenmesi (Redaction) şarttır.
Streaming (Akış) Protokolleri: LLM yanıtları genelde Server-Sent Events (SSE) ile kelime kelime akar. Bu protokolün özel olarak yönetilmesi gerekir.

İşte bu yüzden, klasik API Gateway'in üstüne ya yapay zekaya özel yeni bir modül yazılır ya da doğrudan hazır bir AI Gateway ürünü konumlandırılır.

AI Gateway'in 7 Temel Görevi

Bir AI Gateway, uygulamanın güvenlik ve operasyon katmanını tek bir merkezde (Single Point of Control) toplar:

1. Kimlik ve Yetkilendirme (Auth & RBAC)

API Anahtarı, OAuth ve SSO ile kimlik doğrulama.
Kullanıcı, uygulama veya departman bazlı Rol Bazlı Erişim Kontrolü (RBAC).
Model Seviyesinde Yetkilendirme: "Stajyer hesabı sadece ucuz gpt-3.5 kullanabilir, Yönetici hesabı gpt-4o kullanabilir."

2. Rate Limiting ve Kota Yönetimi

Saniyedeki istek sınırı (DDoS'a karşı klasik önlem).
Jeton (Token) Bütçesi: Kullanıcı veya proje başına aylık/saatlik harcanabilecek token sınırı.
Maliyet Kotası (Cost Limit): Kullanıcı başına aylık maksimum dolar ($X) limiti.
(OWASP LLM04 - Model DoS saldırılarına karşı en güçlü savunma katmanıdır).

3. Girdi Sınıflandırıcı (Input Classifier)

Lakera Guard, Llama Guard veya Prompt Guard gibi ML tabanlı güvenlik süzgeçlerini çalıştırır.
Gelen prompt'u "Zararlı / Zararsız" olarak skorlar ve şüpheliyse doğrudan reddeder.

4. Model Yönlendirme (Smart Routing)

Maliyet Optimizasyonu: Basit bir çeviri isteğini ucuz modele, karmaşık bir kod yazdırma isteğini güçlü/pahalı modele yönlendirir.
Failover (Hata Devri): OpenAI API'si çöktüğünde trafiği otomatik olarak Claude'a veya Azure'a kaydırır (İş sürekliliği).
A/B Testi: Trafiğin %10'unu yeni fine-tune edilmiş modele gönderip başarı oranını ölçer.

5. Veri Maskeleme (PII / Output Redaction)

TC Kimlik, Kredi Kartı numarası veya telefon gibi kişisel verileri maskeler (Redact).
Sistem istemindeki şirket sırlarını, kod adlarını sansürler.
Çıktıdaki Markdown linklerini (URL) güvenlik kontrolünden geçirir (Indirect PI Veri Sızdırma savunması).

6. Denetim Logları ve SIEM Entegrasyonu

Sistemden geçen her prompt ve her cevap detaylıca loglanır (Kim, Hangi model, Ne kadar maliyet?).
Bu loglar gerçek zamanlı olarak Kurumsal SIEM'e (Splunk, Elastic, Sentinel vb.) akar.
Anormal kullanım örüntüleri (Pattern) yakalandığında SOC (Güvenlik Operasyon Merkezi) ekibine alarm üretilir.

7. Önbellekleme (Caching)

Sık sorulan aynı sorulara (Örn: "Şifremi nasıl sıfırlarım?") modeli tekrar çalıştırmadan önbellekten cevap döner.
Hem API maliyetinden devasa tasarruf sağlar hem de gecikmeyi (latency) düşürür.

Endüstrideki Popüler AI Gateway Araçları

Sektörde sıklıkla karşılaşacağınız bazı ürünler şunlardır:

Araç	Açık Kaynak?	Öne Çıkan Özelliği
LiteLLM	✓ Evet	100+ farklı sağlayıcıya tek bir API formatıyla bağlanır. Kurumsal projelerin en popüler başlangıç noktasıdır.
Portkey	Freemium	Cloud veya Self-host seçenekleri. Gözlemlenebilirlik (Observability), Fallback ve Caching konularında çok güçlüdür.
Kong AI Gateway	Freemium	Klasik dev Kong API Gateway'in yapay zeka eklentisidir. Mevcut kurumsal Kong altyapılarına kolay entegre olur.
Cloudflare AI Gateway	Freemium	Edge (CDN) seviyesinde çalışır. Kurulumu son derece basittir ancak özellik seti biraz daha temeldir.
Helicone	Freemium	Gözlemlenebilirlik ve Loglama (Observability) ağırlıklıdır. Tüm kullanım detaylarını görselleştirir.

Özellikle LiteLLM, çoklu sağlayıcı yönetimi ve yönlendirme (routing) yetenekleriyle günümüzde adeta bir endüstri standardı haline gelmiştir.

Mimari Karşılaştırma: Gateway Olmadan vs. Gateway İle

Tüm trafik tek noktadan (Choke Point) geçer. **Kimlik doğrulama, token kotaları, güvenlik sınıflandırıcıları, veri maskeleme, SIEM loglaması ve akıllı yönlendirme (routing)** sadece bu merkezde uygulanır. Bu mimari operasyonel olarak yönetmesi çok daha kolay ve siber güvenlik açısından **çok daha güvenlidir.**

Yeni Bir Saldırı Yüzeyi: Gateway'in Kendisi

Güvenliği tek noktada toplamanın en büyük riski şudur: AI Gateway, tek arıza noktası (SPOF) ve sistemin en değerli saldırı hedefi haline gelir.

Sistemin Ele Geçirilmesi (Compromise): Eğer saldırgan Gateway'i hacklerse, şirket içindeki tüm AI trafiğini, tüm gizli prompt'ları ve tüm cevapları düz metin (plaintext) olarak görebilir.
Yanlış Yapılandırma (Misconfiguration): A müşterisinin trafiği yanlışlıkla B müşterisinin kotasına eklenebilir veya daha kötüsü A'nın RAG dokümanları B'nin cevaplarına sızabilir.
Log Sızıntısı: Prompt'ları ve cevapları şifresiz veya maskelemeden loglarsanız, Gateway'in log veritabanı yepyeni ve devasa bir Veri İfşası (Data Breach) noktasına dönüşür.

Siber Güvenlik Kuralı

Güvenlik katmanınızın (Gateway) kendisini de bir Tehdit Modeline (Threat Model) dahil etmek zorundasınız. Gateway en kritik bileşendir ve en sıkı şekilde sertleştirilmelidir (Hardening).

Bölüm Özeti

AI Gateway, modern kurumsal yapay zeka uygulamalarının merkezi omurgası ve yeni endüstri standardıdır. Tüm trafiği tek bir noktada toplar ve ortak güvenlik politikaları (Policy) uygular.
7 Temel Görevi vardır: Kimlik (Auth), Kota/Rate-limit, Girdi Sınıflandırma, Model Yönlendirme (Routing), Veri Maskeleme (PII), Denetim Logu (Audit) ve Önbellekleme (Cache).
Bu yapı uygulandığında spagetti mimari biter, Merkezi Yönetim başlar.
Ancak unutmayın; Gateway'in kendisi de devasa bir veri deposudur ve hacklendiğinde tüm AI trafiğini riske atar.

Sıradaki Modül: Artık mimariyi, saldırıları ve savunmaları biliyoruz. Şimdi tüm bunları bir araya getirip profesyonel bir Tehdit Modellemesi (Threat Modeling) yapacağız. Klasik STRIDE metodolojisini yapay zeka çerçevesi MITRE ATLAS ile nasıl birleştireceğinizi saha pratikleriyle öğreneceğiz.