Yapay Zeka Trafiğinde Otonom Yük Devretme: Ollama Key Failover Proxy
Özet: Ollama Cloud API isteklerini yöneten, hata (401/429) durumunda API anahtarları (API keys) arasında otomatik geçiş yapan ve tükenen anahtarları geçici olarak bellekte (RAM) karantinaya alan yüksek performanslı bir proxy sistemi.
Proje Hakkında: Yapay zeka servislerine yapılan yoğun istekler, sıklıkla API limitlerine (429 Too Many Requests) takılır veya yetkilendirme hatalarına (401 Unauthorized) yol açar. Geliştirdiğim bu altyapı, tek bir API anahtarına bağımlı kalma sorununu ortadan kaldırarak süreci tamamen kesintisiz hale getiriyor. Docker üzerinde OpenResty (Nginx + Lua) mimarisiyle çalışan bu sistem, tanımlanan API anahtarlarını sırayla dener. Eğer bir anahtar limit aşımı veya yetki hatası verirse, o anahtarı 5 saat boyunca RAM üzerinde kara listeye alır ve anında çalışan diğer anahtara geçer. Minimum gecikme (latency) için disk I/O işlemleri tamamen kapatılmış, loglama iptal edilmiş ve tüm geçici tampon bellekler (buffer) doğrudan RAM (/dev/shm) üzerinde çalışacak şekilde optimize edilmiştir.
Öne Çıkan Özellikler:
- Akıllı Yük Devretme (Failover): Tanımlı API anahtarları arasında (Key1 → Key2 → Key3) otonom ve kesintisiz geçiş.
- Dinamik Karantina (RAM Blacklist): 401 veya 429 HTTP hata kodları alındığında, ilgili anahtarı 5 saat boyunca bellekte kara listeye alma.
- Sıfır Disk Gecikmesi (Zero Disk I/O): Nginx ve Docker loglarının tamamen kapatılması; temp ve buffer dosyalarının doğrudan RAM (
/dev/shm) üzerinde tutularak maksimum hıza ulaşılması. - İzole ve Güvenli Ağ Mimarisi: Dışarıya kapalı iç ağda (127.0.0.1) Caddy ve OpenResty haberleşmesi; dış dünyaya erişimin ise Cloudflare Tunnel üzerinden güvenli HTTPS katmanıyla sağlanması.
- Hafif Konteyner Yapısı: “Alpine” tabanlı OpenResty imajı ile tek bir Docker container üzerinden minimum kaynak tüketimiyle çalışma.
Kullanılan Teknolojiler:
- OpenResty (Nginx tabanlı web sunucusu)
- Lua (Yönlendirme ve kara liste algoritmaları)
- Docker & Docker Compose (Konteynerizasyon)
- Caddy (Ters Vekil Sunucu / Reverse Proxy)
- Cloudflare Tunnel (Güvenli HTTPS İletimi)
- Debian Linux (Sunucu İşletim Sistemi)
