| https://www.fatihyildirim.tr |
|
|
|
|
|
|
|
|
|
|
|
| |
Yapay Zeka Kaynaklı Siber Tehditleri |
|
| |
Yapay Zeka Kaynaklı Siber Tehditler (2026) |
|
|
|
|
|
|
| |
|
💡 Nasıl Korunabilirsiniz? |
|
|
|
|
|
|
|
| |
OWASP LLM Top 10
List |
|
|
|
|
|
|
|
| |
Gölge Yapay Zeka riskleri |
|
|
|
|
|
|
|
| |
|
🚨 Gölge Yapay Zeka'nın 7 Büyük
Riski |
|
|
|
|
|
|
| |
|
🕵️ Saldırganlar Gölge
Yapay Zeka'yı Nasıl Kötüye Kullanıyor? |
|
|
|
|
| |
|
🛡️ Korunma ve Yönetim
Stratejileri |
|
|
|
|
|
|
| |
|
🔮 Gelecek Perspektifi |
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
| |
Son Güncelleme: 10.05.2026 r.01.01 |
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
| Yapay Zeka
Kaynaklı Siber Tehditler (2026) |
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Yapay zeka, özellikle
de üretken yapay zeka (GenAI), siber güvenlik alanında bir
"çığır açıcı" niteliği
taşımaktadır. Saldırganlar artık daha önce
yalnızca devlet destekli aktörlerin yapabildiği karmaşık
saldırıları, yapay zeka sayesinde çok daha düşük
maliyetle ve yüksek hızda gerçekleştirebilmektedir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
İşte mevcut ve yakın gelecekteki en
kritik YZ kaynaklı siber tehditler: |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Tehdit Kategorisi: Açıklama ve
Örnekler |
|
| |
1. Yeni Nesil Sosyal
Mühendislik: AI, sosyal mühendislik
saldırılarını (phishing, deepfake) inanılmaz
derecede kişiselleştirilmiş ve ikna edici hale getiriyor. |
|
| |
2. Prompt Enjeksiyon
ve Model Manipülasyonu: OWASPa göre LLMlerin en büyük
güvenlik açığıdır. Kötü niyetli komutların modele
gizlice enjekte edilmesidir. |
|
| |
3. Otonom ve
Polimorfik Kötücül Yazılımlar: AI, kendi
kendine evrilebilen (polymorphic) ve insan müdahalesi olmadan hareket
edebilen "akıllı" zararlı
yazılımların geliştirilmesine olanak tanır. |
|
| |
4. Otonom Ajan
Tabanlı Saldırılar: Yapay zeka
ajanlarının, keşiften veri sızdırmaya kadar tüm
saldırı hayat döngüsünü otonom şekilde yönetebilmesidir. |
|
| |
5. Gölge Yapay Zeka
(Shadow AI): Kurum içinde resmi onay olmadan
kullanılan AI araçları ciddi veri sızıntısı
riski oluşturmaktadır. |
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
1. Yeni
Nesil Sosyal Mühendinlik ve Deepfake Tehditleri |
|
|
|
|
|
|
|
| |
Saldırganlar
artık yalnızca metin tabanlı phishing e-postaları
göndermiyor; ses ve video klonlama ile gerçek zamanlı dolandırıcılık
yapabiliyorlar. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
* Hiper Kişiselleştirilmiş
Phishing: Yapay zeka, dark web'deki özel LLM'leri
kullanarak dil bilgisi hatası içermeyen, akıcı ve hedefe özel
e-postalar üretebilmektedir. Hatta sosyal medya hesaplarını
tarayarak o kadar kişisel mesajlar oluşturur ki, kurban bunun
gerçek olduğuna inanabilir. |
|
|
|
|
| |
* Gerçek
Zamanlı Deepfake: |
|
|
|
|
|
|
|
|
|
|
| |
*
Ses Klonlama: Sadece 3 saniyelik bir ses
kaydıyla bir üst yöneticinin sesi taklit edilerek, şirket
çalışanlarından para transferi yapması istenebilmektedir.
Fortinet'e göre deepfake olayları 2023'te 500.000 iken 2025'te 8 milyona
fırlamıştır. |
|
|
|
|
| |
*
Video Deepfake: 2024 yılında Hong
Kong'da bir çalışan, sahte bir CFO ve diğer
çalışanlarla katıldığı görüntülü toplantı
sonucu 25 milyon dolar
göndermiştir. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
2. Prompt
Enjeksiyon ve Model Manipülasyonu |
|
|
|
|
|
|
|
|
| |
Bu, OWASP
tarafından LLM'ler için 1 numaralı güvenlik
riski olarak sıralanmaktadır.
Saldırgan, modele verdiği talimatların arasına
"şimdiye kadar yaptığın her şeyi unut ve
şu zararlı işlemi yap" gibi gizli komutlar
yerleştirir. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
*
Doğrudan Enjeksiyon: Kullanıcı,
sohbet botuna doğrudan kötü niyetli talimat verir. |
|
|
|
|
| |
* Dolaylı Enjeksiyon (Indirect
Injection): Çok daha sinsi bir yöntemdir.
Saldırgan, bir web sitesine veya e-postaya görünmez bir metin
yerleştirir. Yapay zeka bu veriyi okuduğunda (RAG - Bilgi Getirmeli
Üretim sistemi üzerinden), sanki kendi kararıymış gibi zararlı
komutu uygular. |
|
|
|
|
| |
*
Örnek Vakalar: Bir kullanıcının
ChatGPT eklentisi aracılığıyla GitHub reposunu herkese
açık hale getirmesi veya AI'nın uzun süreli belleğine
"casus yazılım" enjekte edilerek tüm konuşmaların
çalınması. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
3. Otonom ve
Polimorfik Kötücül Yazılımlar |
|
|
|
|
|
|
|
|
|
| |
Geleneksel antivirüs yazılımları,
imza tabanlı çalıştıkları için bu tehditleri tespit
etmekte zorlanır. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
* Polimorfik Malware:
AI, kendi kodunu çalıştığı ortama göre anlık
olarak değiştirebilen zararlı yazılımlar
üretebilmektedir. Bu yazılımlar her
çalıştırıldığında farklı bir parmak
izine sahip olur. |
|
|
|
|
| |
* Prompt Lock (Fidye
Yazılımı): Araştırmacılar,
bir AI agent'a temel talimatlar verildiğinde, agent'ın kendi başına fidye
yazılımı yazıp dağıtabildiğini,
dosyaları şifreleyip sızdırabildiğini
göstermiştir. |
|
|
|
|
| |
* Hız ve Ölçek:
Fortinet'in 2026 raporuna göre, yapay zeka saldırganların bir
sistemi ele geçirme süresini (TTE - Time to Exploit) önceki raporlardaki 4.76 günden 24-48 saate
düşürmüştür. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
4. Otonom
Ajan Tabanlı Saldırılar |
|
|
|
|
|
|
| |
AI'ler artık sadece araç değil, eylem yürütücü (agent) olarak
hareket ediyor. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
* Otonom Operasyonlar:
Saldırganlar hedef belirler, ardından AI agent'ı devreye
sokar. Agent; keşif yapar, zafiyetleri tarar, sömürür ve verileri
dışarıya aktarır. Anthropic (Claude'un
yapıcısı) buna benzer bir saldırıda AI'ın
görevin %90'ını otonom tamamladığını bildirmiştir. |
|
| |
* Zero-Click Saldırıları: E-postalara gömülü zararlı talimatlar,
kullanıcı bir şey yapmasa bile AI agent tarafından okunup
uygulanabilir ve veriler sızdırılabilir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
5. Gölge
Yapay Zeka (Shadow AI) ve Tedarik Zinciri Riskleri |
|
|
|
|
| |
Bu tehdit, kurum içi kontrollerin
zayıflığından kaynaklanır. |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
* Veri Sızıntısı: Çalışanların, şirket bilgilerini üçüncü
taraf AI modellerine (ChatGPT gibi) yapıştırması, o
verinin AI sağlayıcısı tarafından eğitim için
kullanılmasına veya bir saldırgan tarafından ele
geçirilmesine yol açabilir. IBM, "Gölge AI" içeren veri
ihlallerinin maliyetinin yaklaşık 670,000
dolar daha fazla olduğunu tespit
etmiştir. |
|
| |
* Tedarik Zinciri:
Saldırganlar, birçok AI uygulamasının alt yapısında
kullanılan açık kaynak araçları (LiteLLM gibi) hedef alarak
toplu veri sızıntılarına neden olabilmektedir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
🌐
Öne Çıkan Gerçek Dünya Örnekleri (2025-2026) |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
OWASP'ın ilk çeyrek
raporuna göre, bu tehditler artık teoride değil, sahada: |
|
|
|
| |
* Meta Internal AI Agent Data Leak: Meta'nın iç AI ajanı, yetki yönetimindeki bir
zafiyet nedeniyle veri sızdırdı. |
|
|
| |
* Vertex AI
"Double Agent": Google'ın Vertex AI
platformunda ayrıcalık kötüye kullanımı tespit edildi. |
|
| |
* Claude Code Source Leak: Anthropic'in kodlama aracının kaynak kodunun bir
kısmı malware kampanyaları için kullanıldı. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
💡 Nasıl Korunabilirsiniz? |
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Uzmanların 2026 için önerdiği temel
stratejiler şunlardır: |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
1. Zero Trust ve Kimlik Yönetimi: Artık sadece insan kimlikleri değil, AI ajanlarının (non-human identities) yetkilerini de sıkı bir şekilde yönetin. |
|
| |
2. AI Yönetişimi (Governance): Kurum içi "Gölge AI" kullanımını
engelleyecek ve hangi verilerin hangi modele gönderileceğini
düzenleyecek politikalar geliştirin. IBM,
kurumların %60'ının hala bir AI güvenlik politikasına
sahip olmadığını belirtmektedir. |
|
| |
3. Çalışan Eğitimi: Deepfake'lerin tespiti neredeyse imkansız hale
geldiği için, çalışanları olağandışı
para veya veri taleplerini alternatif bir
kanaldan (örneğin yüz yüye veya telefonla)
doğrulamaya teşvik edin. |
|
| |
4. Teknik Savunmalar:
Yapay zeka destekli EDR (Uç Nokta Tespit ve
Müdahale) çözümleri ve Prompt
Injection'a karşı özel olarak
tasarlanmış güvenlik duvarları kullanın. Yeni
araştırmalar, giriş ön işleme tekniklerinin %60-80
oranında tespit başarısı sağlayabildiğini
göstermektedir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| OWASP
LLM Top 10 List |
|
|
|
|
|
|
🔝 |
|
|
| |
OWASP, teknolojinin evrimiyle birlikte yeni alanlara da
odaklanmaktadır. Özellikle Generative AI
Security Project, büyük dil modelleri (LLM) ve
üretken yapay zeka uygulamalarındaki güvenlik risklerini ele almak için
oluşturulmuştur. |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
Proje kapsamında LLM Top 10 listesi
yayınlanmıştır. Bu liste, yapay zeka
uygulamalarındaki kritik riskleri sıralar: |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| |
1. Prompt Injection
Kullanıcı girdileriyle model davranışının
manipüle edilmesi |
|
|
|
|
|
|
|
|
|
|
| |
2. Hassas Bilgi İfşası Modelin eğitim verilerindeki gizli bilgileri
sızdırması |
|
|
|
|
|
|
|
|
|
|
| |
3. Tedarik Zinciri Zafiyetleri
Üçüncü taraf modellerin veya veri setlerinin güvenliği |
|
|
|
|
|
|
|
|
|
|
|
| |
4. Eğitim Verisi Zehirlenmesi Zararlı verilerle modelin manipüle edilmesi |
|
|
|
|
|
|
|
|
|
|
| |
5. Çıktıların Yanlış
İşlenmesi Model
çıktılarının doğrulanmadan alt sistemlere iletilmesi |
|
|
|
|
|
|
|
|
|
|
| |
6. Aşırı Otonomi
Modelin yetkisiz veya zararlı eylemler gerçekleştirmesi |
|
|
|
|
|
|
|
|
|
|
| |
7. Sistem Prompt Sızıntısı Modelin sistem seviyesindeki talimatlarının
ifşa olması |
|
|
|
|
|
|
|
|
|
|
| |
8. Güvensiz Eklenti Tasarımı RAG (Retrieval-Augmented Generation) sistemlerindeki
zafiyetler |
|
|
|
|
|
|
|
|
|
|
| |
9. Aşırı Güven
Modelin ürettiği hatalı içeriklere (halüsinasyonlara) güvenilmesi |
|
|
|
|
|
|
|
|
|
|
|
| |
10. Model Hırsızlığı Modelin kopyalanması veya çalınması |
|
|
|
|
|
|
|
|
|
|
| |
Detay: |
2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| Gölge Yapay Zeka Riskleri |
|
|
|
|
|
|
🔝 |
|
|
| |
Gölge Yapay Zeka (Shadow AI) Riskleri: Detaylı
Analiz |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Gölge Yapay Zeka
(Shadow AI), bir kurum içinde BT ve güvenlik ekiplerinin bilgisi
veya onayı olmadan kullanılan yapay
zeka araçlarını, modellerini ve özelliklerini ifade eder. Bu,
çalışanların üretkenliği artırmak amacıyla
kişisel ChatGPT hesaplarını iş verileriyle
kullanmasından, geliştiricilerin güvenlik incelemesinden
geçmemiş LLM API'lerini projelere entegre etmesine kadar geniş bir
yelpazeyi kapsar. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
📍 Gölge Yapay
Zeka, geleneksel "Gölge BT" (Shadow IT) sorununun çok daha tehlikeli bir evrimidir. Shadow IT'de
veriler onaylanmamış bir depolama alanına giderken (örneğin kişisel Dropbox),
Shadow AI'da veriler dışarıya akmaktadır - yapay zeka modellerine gönderilmekte, bu modeller
tarafından öğrenilmekte, saklanmakta ve başka
kullanıcılara sunulabilmektedir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
📊
Gölge Yapay Zeka'nın Boyutu ve Etkisi |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Sorunun büyüklüğünü rakamlarla anlamak
mümkündür: |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Veri / Kaynak |
|
|
|
|
|
|
|
|
| |
Çalışanların %80'inden
fazlası işyerinde
onaylanmamış AI araçları kullanıyor / Teramind, OffSec |
|
| |
Kurumların %86'sı AI araçlarına
veri akışının nasıl olduğu konusunda
görüşe sahip değil / Reco "State
of Shadow AI Report" |
|
| |
Her 5 kurumdan 1'i zaten Shadow AI kaynaklı bir ihlal yaşadı / IBM 2025 Cost of a Data Breach Report |
|
| |
Shadow AI ihlallerinin maliyeti, standart ihlallere
göre $650,000+ daha fazla / IBM |
|
| |
Kurumların %83'ü AI araçlarına veri sızmasını önleyecek
temel kontrollerden yoksun / Cisco 2025 |
|
| |
Ortalama bir kurum AI uygulamalarına ayda 8.2 GB veri yüklüyor / Netskope |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
📍 Deloitte
verilerine göre çalışanların AI'ye erişimi 2025
yılında %50 oranında
artmıştır. Gartner ise 2030 yılına kadar
kurumların %40'ından fazlasının doğrudan Shadow AI
kaynaklı güvenlik veya uyumluluk olaylarıyla
karşılaşacağını öngörmektedir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
🚨 Gölge Yapay Zeka'nın 7 Büyük
Riski |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
1. Veri
Sızıntısı ve Fikri Mülkiyet Kaybı |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
En acil ve en yaygın
risk, çalışanların hassas verileri AI araçlarına
yapıştırmasıdır. |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- Gerçek Dünya
Örneği: Samsung çalışanları, hata
ayıklama yardımı almak için gizli kaynak kodunu ChatGPT'ye
yapıştırdı. Bu veriler, modelin eğitiminde
kullanıldı ve potansiyel olarak diğer kullanıcılara
sızdırıldı. |
|
| |
- Araştırma
Verileri: Çalışanların %77'si hassas
verileri AI prompt'larına yapıştırmaktadır;
bunların %82'si bunu şirket denetimi olmayan hesaplardan
yapmaktadır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
📍 Kritik Nokta:
Kullanıcılar genellikle prompt'un
kendisinin bir istihbarat değeri
taşıdığının farkında değildir. Bir
saldırgan prompt'lara eriştiğinde, kurumun hangi sorunlar
üzerinde çalıştığını, stratejik önceliklerini
ve hatta zafiyetlerini öğrenebilir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
2. Kimlik
Bilgisi ve API Anahtarlarının Açığa Çıkması |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
| |
Geliştiriciler, güvenlik incelemesi olmadan LLM
API çağrılarını kod tabanlarına entegre etmektedir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- API
anahtarları, kimlik doğrulama token'ları ve servis kimlik
bilgileri, denetimsiz bir şekilde repository'lere, CI/CD
pipeline'larına veya üretim ortamlarına eklenebilmektedir. |
|
| |
- Açığa
çıkan tek bir API anahtarı, bir saldırgana kurumun tüm AI
altyapısına ve bu modellerin erişebildiği hassas verilere
doğrudan bir yol sunar. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
3. AI
Ajanları ve Otonom Sistemler |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Yapay zekanın en yeni ve belki de en riskli
boyutu, otonom AI ajanlarıdır (Auto-GPT, CrewAI gibi). |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- Bu ajanlar,
kendilerini devreye sokan kullanıcının tüm
yetkilerini miras alır ve hassas sistemlere
otonom erişim kazanırlar. |
|
| |
- Netskope,
kurumların %5.5'inde kullanıcıların LangChain gibi
framework'ler aracılığıyla AI ajanları
çalıştırdığını tespit etmiştir -
çoğu zaman hiçbir güvenlik denetimi olmadan. |
|
| |
- Bir AI ajanı
30 saniye içinde yüzlerce komut çalıştırabilir ve bu da tespit
ve müdahale için gereken süreyi dramatik şekilde azaltır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
4.
Tarayıcı Tabanlı Tehditler ve AI Uzantıları |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Günümüzde AI tehditlerinin en hızlı
büyüyen alanı, tarayıcı içinde
çalışan AI araçlarıdır. |
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- **AI
Uzantıları**: Tarayıcıya eklenen AI
uzantıları, genellikle "tüm sitelerdeki verileri
okuma/değiştirme", "panoyu inceleme" gibi yüksek
ayrıcalıklar talep eder. Bu yetkilerle, kurumsal verileri fark
edilmeden dışarı sızdırabilirler. |
|
| |
- Dolaylı Prompt
Enjeksiyonu (Indirect Prompt Injection): Saldırganlar,
bir web sayfasının görünmez bir bölümüne (HTML yorumu, gizli div,
CSS alanı, e-posta gövdesi) kötü niyetli talimatlar gizleyebilir.
Tarayıcının AI asistanı bu sayfayı okuduğunda,
talimatı "yerine getirir" - hassas verileri özetleyip uzak bir
sunucuya gönderebilir veya kötü amaçlı bir OAuth
akışını başlatabilir. Tarayıcı
zafiyeti gerekmez. AI'ın bir şeyi okuması yeterlidir. |
|
| |
- Session ve Identity
Tehditleri: AI asistanları,
kullanıcının farkında olmadığı session
çerezlerini, kimlik doğrulama token'larını ve dahili URL'leri
işleyip sızdırabilir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
5. Tedarik
Zinciri Saldırıları ve Eklenti Zafiyetleri |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
AI araçları, güvenlik ekiplerinin görüş
alanı dışında kalan yeni bir tedarik zinciri riski
oluşturmaktadır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- AI
uzantıları ve eklentileri otomatik olarak güncellenir.
Zehirlenmiş bir güncelleme, tüm kullanıcıları anında
tehlikeye atabilir. |
|
| |
- Üçüncü taraf AI eklentileri,
doğrulanmamış script'ler yükleyebilir. |
|
| |
- Ajan framework'leri, başlangıçta uzaktan
talimatlar getirebilir. |
|
| |
- Bu süreçlerin hiçbirinde versiyon kontrolü, yama
yönetimi veya SOC görünürlüğü yoktur. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
6. Uyumluluk
ve Mevzuat İhlalleri |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Shadow AI, kurumları ciddi düzenleyici
risklerle karşı karşıya bırakmaktadır. |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Düzenleme Risk |
|
|
|
|
|
|
|
|
| |
GDPR Kişisel verilerin
onaylanmamış AI araçlarına gönderilmesi, veri işleme
yükümlülüklerini ihlal eder. Verilerin hangi yargı bölgesinde
işlendiği bilinemez. |
|
| |
HIPAA Hasta verilerinin AI
modellerine sızması, sağlık sektöründe ciddi cezai
yaptırımlar doğurur. |
|
| |
SOC 2, ISO 27001 Denetim izi olmadan uyumluluk
kanıtlanamaz. |
|
| |
EU AI Act AI sistemlerinin
kullanımına dair şeffaflık ve dokümantasyon
zorunluluğu getirir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
📍 Sorunun
temelinde denetim izinin olmaması yatmaktadır. Verilerin nerede işlendiğini,
nasıl kullanıldığını ve kimler tarafından
görüldüğünü kanıtlayamıyorsanız, uyumluluğu da
kanıtlayamazsınız. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
7.
Operasyonel ve Karar Verme Riskleri |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
AI'dan gelen çıktıların kontrolsüz
kullanımı, iş kararlarını olumsuz etkileyebilir. |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- Hatalı Kod: AI ile
oluşturulan kod düzgün incelenmezse, ürünlere sömürülebilir hatalar
eklenebilir. |
|
| |
- Yanlış
Bilgi (Hallucination): AI modelleri, gerçek
dışı veya taraflı çıktılar üretebilir. Bu
çıktılarla alınan iş kararları (örneğin
yatırım, işe alım) ciddi zararlara yol açabilir. |
|
| |
- Veri Zehirlenmesi: Eğitim verileri manipüle edilmiş bir model,
bilinçli olarak yanlış yönlendirmeler yapabilir. |
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
📍 AI'ya
aşırı güven (over-reliance),
OWASP'ın LLM Top 10 listesinde önemli bir
risk olarak yer almaktadır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
🕵️ Saldırganlar Gölge
Yapay Zeka'yı Nasıl Kötüye Kullanıyor? |
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Ulus devlet aktörleri
ve gelişmiş siber suç grupları, Shadow AI'ın
yarattığı görünmez alanı aktif olarak hedef
almaktadır: |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Saldırı Vektörü Açıklama |
|
| |
LLM API'leri ile Veri
Sızdırma
Tehdit aktörleri, ele geçirilmiş bir geliştirici
ortamında kurumun kendi AI entegrasyonlarını kullanarak hassas
verileri sızdırabilir. Bu, verilerin "normal AI kullanımı"
gibi görünmesini sağlar. |
|
| |
Prompt Enjeksiyonu
ile AI Manipülasyonu
Eğer bir sistem AI kullanarak alarm üretiyor, ticket'ları
yanıtlıyor veya log analizi yapıyorsa, saldırgan
prompt'ları zehirleyerek modeli yanıltabilir - uyarıları bastırabilir,
yanlış yönlendirmeler ekleyebilir. |
|
| |
AI Ajanları ile
Tedarik Zinciri Zehirlenmesi CI/CD araçlarına, cloud API'lerine
veya altyapı-kod repository'lerine erişimi olan AI ajanları
manipüle edilerek güvensiz varsayılan ayarlar eklenebilir, arka
kapılar oluşturulabilir. |
|
| |
Açık Kaynak
Model Dağıtımlarının İstismarı Self-hosted ortamlarda, kurumlar genellikle
model endpoint'lerine erişimi kısıtlamaz. Saldırganlar
internete açık LLM'leri tarayabilir, kimlik doğrulaması
olmadan sorgulayabilir, saklanmış bellek ve sistem
prompt'larına erişebilir. |
|
| |
Kötü Amaçlı AI
Eklentileri Birçok tarayıcı tabanlı AI
üretkenlik aracının pano içeriğini, tuş
vuruşlarını veya gezinme verilerini topladığı
tespit edilmiştir. Saldırganların ağa sızmasına
bile gerek kalmayabilir - kullanıcının yanlış bir
şeyi kopyalayıp yapıştırması yeterlidir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
🛡️ Korunma ve Yönetim
Stratejileri |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Uzmanlar, Shadow AI
ile mücadelede "yasaklama" yaklaşımının işe yaramadığı
konusunda hemfikirdir. Software AG araştırmasına göre,
çalışanların %48'i şirketleri açıkça yasaklasa bile
AI araçlarını kullanmaya devam edeceğini söylemektedir.
BlackFog'un araştırmasına göre ise çalışanların
%65'i denetimsiz AI kullanımının kabul edilebilir
olduğuna inanmaktadır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Yasaklama işe
yaramaz çünkü AI'ın sağladığı üretkenlik
kazanımları çok büyüktür. Çözüm, görünürlük,
yönetişim ve kontrollerin birlikte
uygulandığı kapsamlı bir stratejidir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
A.
Keşif ve Görünürlük (Discovery & Visibility) |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Kontrol edemediğinizi görmezsiniz. Gölge AI
varlıklarını tespit etmek için: |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
1. Saas Keşif Araçları (CASB): Bulut trafiğini izleyerek onaylanmamış AI
servislerine erişimi tespit edin. OAuth yetkileri ve giriş
desenleri üzerinden yeni uygulamaları belirleyin. |
|
| |
2. Ağ Trafik Analizi: AI
domain'lerine (OpenAI, Cohere, Anthropic vb.) tekrarlayan dış
bağlantı desenlerini inceleyin. Şifreli trafik ve
tarayıcı tabanlı araçlar bu yöntemde zorluk çıkarabilir. |
|
| |
3. AI Odaklı DLP (Data Detection and
Response): En etkili yöntemdir. Hassas verilerin ne
zaman AI prompt'larına
yapıştırıldığını veya
onaylanmamış servislere yüklendiğini gerçek zamanlı
olarak tespit eder. |
|
| |
4. Güvenli Kurumsal Tarayıcı (Secure
Enterprise Browser): Tarayıcı içinde AI
araçlarına yapılan kopyala-yapıştır
işlemlerini, uzantı kullanımını ve prompt
aktivitelerini izleyin. Bu, Shadow AI'nın en yoğun
yaşandığı katmandır. |
|
| |
5. Düzenli AI Denetimleri ve Anketleri: Çalışanlara hangi araçları
kullandıklarını sorun. Anonim anketler, ekiplerin hangi
kişisel araçlara güvendiğini ortaya çıkarır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
B. Politika
ve Yönetişim (Policy & Governance) |
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
1. Net AI
Kullanım Politikaları: |
|
|
|
|
|
|
|
| |
- Hangi AI
araçlarının onaylı olduğu |
|
|
|
|
|
|
| |
- Hangi
veri türlerinin (PII, kod, finansal veriler, stratejik planlar) kesinlikle yasak olduğu |
|
|
| |
-
"İnsanın döngüde olması" gereken durumlar
(Human-in-the-Loop) |
|
|
| |
2. Onaylı AI Alternatifleri Sunun: Shadow AI, çalışanlara resmi bir seçenek
sunulmadığında ortaya çıkar. Microsoft Copilot veya
güvenli hale getirilmiş internal LLM'ler gibi onaylı
araçlar sağlayın. |
|
| |
3. Açık İletişim Kültürü: Korku kültürü yerine, çalışanları hangi AI
araçlarının işlerini
kolaylaştırdığını paylaşmaya teşvik
edin. Shadow AI ne kadar erken yüzeye çıkarsa, güvenlik ekipleri o kadar
erken rehberlik edebilir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
C. Teknik
Kontroller (Technical Controls) |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Kontrol Açıklama |
|
|
|
|
|
|
| |
AI Gateway /
Proxy Tüm AI API çağrılarını
merkezi bir noktadan yönlendirin. Prompt'ları ve yanıtları
denetleyin, hassas veri desenlerini engelleyin, kullanıcı
bazında erişim kontrolleri uygulayın. |
|
| |
Prompt-level DLP AI
prompt'larını gerçek zamanlı analiz edin. Hassas veri tespit
edildiğinde eylemi engelleyin veya denetleyin. Microsoft Purview, bu
yeteneği Edge for Business'da sunmaktadır - engellenen bir prompt
kullanıcıya bildirilir ve onaylı Copilot'a yönlendirilebilir. |
|
| |
Tarayıcı
Tabanlı Kontroller AI uzantılarını beyaz
listeye alın, hassas sitelerde AI kullanımını
kısıtlayın, prompt enjeksiyonuna karşı koruma
uygulayın. |
|
| |
Identity ve
Erişim Yönetimi Kimlik verilerini
kullanarak AI araçlarına erişimi bağlamsal olarak kontrol
edin. Non-human identity'leri (AI ajanları, servis hesapları) insan
kimlikleriyle aynı sıkılıkta yönetin. |
|
| |
Güvenli AI
Sandbox'ları Geliştiricilerin
ve kullanıcıların prompt'ları test etmeleri ve modelleri
değerlendirmeleri için kurumsal verileri riske atmadan güvenli bir ortam
sağlayın. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
D.
Çalışan Eğitimi (Awareness) |
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Shadow AI ile mücadelede
insan en zayıf ama aynı zamanda en önemli
halkadır. Eğitimler şunları
içermelidir: |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- Samsung örneği gibi gerçek dünya
vakaları |
|
|
|
|
|
|
| |
- Prompt'ların kendisinin neden
"istihbarat" olduğu |
|
|
|
|
|
| |
- Deepfake tehditleri ve doğrulama
protokolleri (bir AI talebi geldiğinde farklı bir kanaldan teyit
etme alışkanlığı) |
|
| |
- Onaylı araçların nasıl
kullanılacağı ve yardım için nereye
başvurulacağı |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
E. Olay
Müdahalesi (Incident Response) |
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Geleneksel olay müdahale playbook'larını
AI'a özgü senaryolarla güncelleyin: |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
- LLM kullanımı yoluyla veri
sızıntısı tespiti ve kapsamının belirlenmesi |
|
|
|
| |
- Ele geçirilmiş AI ajanlarının
etkisiz hale getirilmesi |
|
|
|
| |
- Manipüle edilmiş otomatik iş
akışlarının geri alınması |
|
|
|
| |
- Tarihsel prompt'ların ve model
etkileşimlerinin adli incelemesi |
|
|
|
| |
- AI ile ilgili güvenlik olaylarının
nasıl raporlanacağı |
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
🔮 Gelecek Perspektifi |
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Gartner, 2026
itibarıyla kurumların %30'unun AI governance için özel bütçeler
ayıracağını öngörmektedir. Agentic AI sistemlerinin
yükselişi (McKinsey'e göre kurumların %23'ü halihazırda otonom
agentic sistemler dağıtmaktadır), Shadow AI riskini daha da
artıracaktır. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
Başarılı
kurumlar, AI yasaklayanlar değil, AI'ı güvenli bir şekilde
"mümkün kılanlar" olacaktır. Bu,
üretkenliği engellemeden riskleri yöneten, görünürlük ve kontrolleri
birlikte sunan bir platform yaklaşımını gerektirir. |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
#OWASP LLM 10 List, #AI cyberSecurity, #Shadow AI, |
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|