Altı hafta. İşe dâhil edildiğimiz gün ile, ulusal bir kampanyanın, sıradan bir maaş gününde bile zorlanan bir sisteme platformun olağan trafiğinin yaklaşık yirmi katını yönelteceği Cuma sabahı arasındaki tüm süre buydu. Reklam kuşağı ayrılmış, bütçe harcanmış ve lansman tarihi kımıldamayacak bir sözleşmeye sabitlenmişti. Değişime hâlâ açık olan tek şey, alttaki mimariydi — o da yalnızca hem dikkatli hem de hızlı olursak.
Müşteri bize tek bir yalın soru sordu: Dayanacak mı? İçeri girdiğimiz gün, dürüst yanıt hayırdı. Böylece görev, hırstan triyaja daraldı — neyi güçlendireceğimize, neyi erteleyeceğimize ve neyi ne pahasına olursa olsun koruyacağımıza karar vermek.
Durum
Müşteri, Körfez'de (GCC) orta ölçekli bir tüketici platformuydu — birkaç milyon kayıtlı kullanıcı, tanınan bölgesel bir marka ve ürünü, gelecek olan yüke değil sahip olduğu yüke göre iyi inşa etmiş küçük ama yetkin bir mühendislik ekibi. Sistem, tek bir birincil veritabanına dayanan tek bir uygulamaydı; ödeme ve hesap akışları buna karşı senkron çalışıyordu. Normal bir günde bu tamamen yeterliydi. Ancak kampanya, talebi bir haftaya yaymayacaktı; onu tek bir hafta sonunda birkaç saate sıkıştıracaktı — ve sistemleri bozan şey, ham hacim değil, yoğunlaşmadır.
Zorluk
Her gerçek kısıt aynı yönü işaret ediyordu. Yeniden yazım için ne zaman ne de iştah vardı. Tarih kımıldayamazdı. Ekip o kadar küçüktü ki devreye aldığımız her ne olursa olsun, geride bırakacağımız bir uzman müfrezesi tarafından değil, hâlihazırda nöbette olan kişiler tarafından işletilebilmeliydi. Ve ürünü her gün zaten kullanan müşteriler için deneyimi geriletemezdik. Bizden şirketin üç yıl sonra ihtiyaç duyacağı platformu inşa etmemiz istenmiyordu. Bizden istenen, ardından gelen elli bir hafta sonunu bozmadan tek bir hafta sonunu doğru geçirmekti.
Yaklaşımımız
Lansmanı, katı bir son tarihi olan bir kapasite sorunu olarak ele aldık ve o an en acil hissettiren her neyse onu düzeltmek yerine, kasıtlı bir sırayla çalıştık.
- Herhangi bir şeye dokunmadan önce ölçün. Gerçekçi trafiği yeniden oynatan ve bir şeyler bozulana dek zorlayan bir yük testi düzeneği kurduk; böylece platformun gerçek tavanını — panodakini değil — ve tam olarak hangi bileşenin ilk arızalandığını öğrendik.
- Para yolunu koruyun. Ödeme ve tahsilatın etrafına kalın bir çizgi çektik ve baskı altında geri kalan her şeyi pazarlık edilebilir olarak ele aldık.
- Zarif bozulma (graceful degradation) için tasarlayın. Amaç asla her isteği tam zenginlikte karşılamak değildi; amaç, temel olmayan özellikler sessizce kenara çekilirken çekirdeği çalışır tutmaktı.
- Yalnızca kodu değil, o günü de prova edin. Bir çalışma kılavuzu (run-book) ve canlı bir provalı gün (game-day), herhangi tek bir teknik değişiklik kadar önemliydi.
Ne yaptık
Tavan haritalandığında, müdahaleler kapsamlı değil, hedeflenmiş oldu. Ağır okuma yollarının önüne bir önbellek (caching) katmanı koyduk ve statik ile medya varlıklarını bir CDN'e taşıdık; bu tek başına yükün büyük bir kısmını kaynaktan (origin) kaldırdı. Gezinme ve raporlama trafiğinin yazma işlemleriyle rekabet etmesini durdurmak için okuma replikaları (read replica) ekledik. Ödeme yazma işlemlerini senkron tuttuk; neredeyse geri kalan her şeyi — bildirimler, analitik, sadakat güncellemeleri — zirve anının hemen ardından işlenmek üzere bir kuyruğun arkasına taşıdık. Kırılgan alt sistem çağrılarını devre kesicilerle (circuit breaker) sardık ve deneyimin temel olmayan kısımlarına feature flag'ler koyduk; böylece ateş altında kod dağıtmak yerine yükü saniyeler içinde azaltabildik. Durumsuz (stateless) katman otomatik olarak yatay ölçeklenecek şekilde ayarlandı. Sonra prova ettik: üretime benzer bir yüke karşı tam bir provalı gün; tüm ekip, lansman sabahı izleyecekleri panoların aynısını izliyordu.
Sonuç
| Metrik | Öncesi | Sonrası |
|---|---|---|
| Arıza olmadan emilen zirve trafiği | Normalin 2–3× katına yakın çöktü | Normalin kabaca 20× katına dayandı |
| Zirvede p95 yanıt süresi | Birkaç saniye | Bir saniyenin altında |
| Yük anında hata oranı | Çift haneli | %1'in oldukça altında |
| Yük altında ödeme başarısı | Güvenilmez (~%70) | %99'un üzerinde |
| Ani yükselişten sonra toparlanma | Manuel, saatler | Otomatik, dakikalar |
Kampanya hafta sonu, bir olay değil, sıradan yoğun bir gün olarak geçti. Trafik, pazarlamanın öngördüğü yere kabaca ulaştı, platform onu emdi ve nöbet kanalı, ekibin geceyi yangın söndürerek değil grafikleri izleyerek geçirecek kadar sessiz kaldı. Aynı derecede önemlisi, eklediğimiz hiçbir şey öncesindeki ya da sonrasındaki haftalarda günlük deneyimi bozmadı.
Farkı yaratan neydi
Üç şey diğerlerinden daha fazla ağırlık taşıdı. Birincisi, inşa etmeden önce ölçtük; yük testi, gerçek darboğazın, ekibin sezgisinin işaret ettiği uygulama katmanı değil, veritabanı olduğunu gösterdi — ve bu haftalar kazandırdı. İkincisi, zarif bozulma, kaba kuvvet kapasitesine üstün geldi: temel olmayan özellikleri bir flag ile azaltabilme yeteneği, yalnızca doğru tahmin etmeyi umabileceğimiz bir zirve için kaynak ayırmaktan daha ucuz ve çok daha güvenilirdi. Üçüncüsü, prova, ürünün ta kendisiydi; provalı gün, aksi hâlde canlıda karşılaşacağımız iki arıza modunu ortaya çıkardı ve gergin bir ekibi sakin bir ekibe dönüştürdü.
Geride bıraktığımız mimari, platformun nihai biçimi değil — ama artık bir sonraki ani yükünü bir kumar olarak değil, planlı bir olay olarak karşılayabilecek bir mimari.