CallCell

Yazı

Tek Noktada Kesinti: Çağrı Merkezinde Yedeklilik Dersleri

Tüm hatların kesildiği bir çağrı merkezi kesintisinden çıkan dersler: sunucu konumu, ağ yolları, yedekliliğin gerçekten bağımsız olması ve veri kaybını önleme

Bir çağrı merkezi için en büyük risk, tek bir arızanın tüm operasyonu durdurmasıdır. Yaşadığımız kesintide hatların bir anda kesilmesi bunu açıkça gösterdi: çağrı akışı durdu, CRM dahil uygulamaların hiçbiri çalışmadı ve operasyon saatlerce beklemek zorunda kaldı. Bu yazıda olayın genel hatlarını ve çıkarılan dersleri paylaşmak istiyorum.

Ne yaşandı?

Tüm hatlar aynı anda kesildi. Bunun sonucunda çağrı akışı tamamen durdu ve temsilciler müşteriye hizmet veremez hale geldi. Uygulamalar, CRM dahil, merkezdeki sunuculara bağlı olduğu için onlar da çalışmadı. Sorunu çözmek için merkezdeki sunucuların yeniden ayağa kalkması beklendi. Bu bekleme saatlerce sürdü.

Operasyonun bir bölümü merkezi ağ üzerinden değil, doğrudan kendi ağına bağlanıyordu. Bu farklı yol, ortak bir arıza noktasının etkisini azaltmak yerine, sorunun nerede olduğunu anlamayı ve çözümü zorlaştırdı.

Yedek sistemler farklı bir lokasyonda bulunuyordu. Ama oradaki sunucular da sorun yaşadı. Yani yedek var gibi görünüyordu, ancak yedeğin bağımsızlığı yeterince sağlanmamıştı.

Olayın en ağır sonucu veri kaybıydı. Hem çağrı verisi hem başvuru verisi olmak üzere 50.000'den fazla kayıt kaybedildi.

Ders 1: Sunucular nerede olmalı?

Sunucuların çağrı merkezinin kendi lokasyonunda mı, yoksa başka bir yerde mi olması gerektiği sık tartışılan bir konu. Bu olay bana şunu düşündürdü: önemli olan sunucunun nerede durduğundan çok, tek bir yere bağımlı olup olmadığıdır. Çağrı merkezine yakın bir birincil sistem, gecikmeyi düşük tutar ve çağrı karşılama tarafında avantaj sağlar. Ancak bu birincil sistemin tek başına çalışması ve tek bir binanın, tek bir ağın, tek bir enerji hattının arızasına açık olması kabul edilemez.

Bu yüzden önerim iki ayrı coğrafi lokasyon: birincil ve ikincil. İkincil lokasyon sıcak yedek olarak çalışmalı, yani veriler sürekli kopyalanmalı ve gerektiğinde kısa sürede devreye girebilmelidir. Hangi lokasyonun birincil olacağı, gecikme ve yönetim ihtiyaçlarına göre belirlenebilir.

Ders 2: Yedeklilik ağ yollarında da olmalı

Yedek sunucu ayrı bir yerde olsa bile, aynı ağ yolunu kullanıyorsa iki sistem aynı arızadan etkilenebilir. Her lokasyon için en az iki bağımsız ağ bağlantısı, mümkünse iki farklı sağlayıcı üzerinden, ve trafiği otomatik yönlendirecek bir yapı planlanmalıdır. Ayrıca merkezi ağ ile doğrudan bağlantı arasındaki farkların bilinmesi ve belgelenmesi gerekir. Kimse bu farkları bilmiyorsa, kesinti anında doğru noktayı bulmak saatler alır.

Uydu bağlantısı: son çare yedek yol

Karasal ağların tamamı kesildiğinde, deprem, sel ya da altyapı arızası gibi afet durumlarında tek bir karasal yedek yeterli olmaz. Bu nedenle uydu bağlantısı, karasal yolların hepsinden bağımsız bir son çare olarak planlanmalıdır. Uydu bağlantısının bant genişliği sınırlı ve gecikmesi yüksektir. Bu yüzden tüm operasyonu taşımak için değil, kritik akışları ayakta tutmak için kullanılmalıdır: acil durum hatları, temel veri erişimi ve kayıt senkronizasyonu gibi.

Uydu bağlantısı, sistemlerle birlikte önceden kurulmalı, düzenli olarak test edilmeli ve hangi trafiğin bu yoldan geçeceği tatbikatlarda netleştirilmelidir. Acil durum anında kurulumu başlatmak, yedeği işe yarar hale getirmez.

Ders 3: Çağrı karşılama, sistemler çalışmasa bile sürmeli

Bu olayın en önemli dersi, operasyonun tamamının tek bir sisteme bağımlı olmamasıdır. Telefon hattında bir kesinti olursa, farklı bir sağlayıcı üzerinden yedek çağrı yolu devreye girmeli. Sesli yanıt sistemi (IVR) kesinti durumunda müşteriye kısa ve net bir bilgilendirme yapabilmeli. CRM çalışmazsa temsilcilerin hangi bilgiyi ve hangi formu kullanacağı önceden tanımlanmış olmalı.

Bu duruma "bozulmuş mod" (degraded mode) denir: sistem tam kapasiteyle çalışmasa bile temel hizmetin sürdürülebildiği önceden hazırlanmış bir çalışma biçimi. Bu prosedürler yazılı olmalı, temsilcilere eğitimle öğretilmeli ve en az yılda bir kez denenmelidir.

Ders 4: Yedek veri, geri yüklenebilen veridir

Yedek almak tek başına yetmez. Yedeklerin nerede tutulduğu, ne sıklıkta alındığı ve geri yüklenip yüklenemeyeceği bilinmelidir. Genel bir kural olarak 3-2-1 yaklaşımı önerilir: üç kopya, iki farklı ortam ve bir kopya ayrı bir lokasyonda. Yedeklerin değiştirilemez (immutable) saklanması, fidye yazılımı gibi tehditlere karşı koruma sağlar. En önemlisi, geri yükleme düzenli olarak test edilmelidir. Test edilmemiş yedek, yedek değildir.

Ders 5: Hedefleri sayıya dökün

Felaket senaryoları için iki temel hedef tanımlanmalıdır:

  • RTO (kurtarma süresi hedefi): Sistemin en fazla ne kadar sürede ayağa kalkması gerektiği.
  • RPO (veri kaybı hedefi): En fazla ne kadarlık veri kaybının kabul edilebilir olduğu. Örneğin "son 15 dakikanın verisi"

Bu olayda RPO hedefi tanımlı olsaydı, kaybedilebilecek veri miktarı baştan sınırlanmış ve kayıp ölçülebilir olurdu. Hedefler belirlendikten sonra, yapılan her tatbikatta gerçekleşen değerler bu hedeflerle karşılaştırılmalıdır.

Ders 6: Tatbikat yapmadan yedek yoktur

Kurtarma planı kağıt üzerinde mükemmel görünebilir. Asıl sınav, gerçek bir arıza anıdır. Bu yüzden yılda en az iki kez, planlı bir "devretme" (failover) tatbikatı yapılmalıdır. Tatbikatın sonunda üç soruya cevap aranmalıdır: Sistem ne kadar sürede çalıştı? Ne kadar veri kaybedildi? Hangi adım beklenenden farklı işledi?

Sonuç

Yedekliliği yalnızca "ikinci bir sunucu" olarak düşünmek yanıltıcıdır. Gerçek yedeklilik, bağımsız lokasyon, bağımsız ağ yolu, bağımsız telefon altyapısı, test edilmiş veri kurtarma ve yazılı bir bozulmuş mod prosedürüyle sağlanır. Bu olaydan çıkan en önemli ders de budur: yedek olduğunu bilmek yetmez, yedeğin gerçekten çalıştığını kanıtlamak gerekir.

Çağrı merkezi hizmetinin sürekliliği ile ilgili temel kavramlar için SLA ve CRM sözlük sayfalarına bakabilirsiniz.

← Tüm yazılar