Transformer
İngilizce: Transformer
Modern LLM'lerin temel sinir ağı mimarisi; "attention is all you need" makalesinden gelir.
Self-attention mekanizması ile her tokenin diğer tokenlerle ilişkisini paralel hesaplar. RNN/LSTM'in aksine sıralı değildir, GPU'da hızlı ölçeklenir. Saldırı yüzeyi açısından önemli değil ama attention mekanizmasındaki anomaliler bazen jailbreak'lerin neden çalıştığını açıklar.