Zákazníci společnosti Casablanca INT se od pondělního dopoledne potýkají s výpadky služeb. Na webu firmy, která poskytuje internetové, datové a hlasové služby, se nejprve objevilo jen stručné oznámení o výpadku. Nebylo přitom zřejmé, jaké konkrétní služby problémy postihly, ani co se vlastně stalo.
Firma o výpadku části služeb neurčitě informovala na webu a ujišťovala, že na odstranění závady její zaměstnanci intenzivně pracují.
Teprve v pondělí pozdě večer společnost na firemní stránce na Facebooku přiznala, že část datacentra byla zaplavena vodou (celé vyjádření viz níže). V odpovědi na dotaz jednoho ze zákazníků zástupci firmy uvedli, že společně s dodavatelem intenzivně pracují na odstranění výpadku. Pro další informace doporučují kontaktovat technickou podporu společnosti.
TIP: Rozhovor s ředitelem společnosti Milanem Šváchou. Jak se z odstupem času dívá na řešení události?
Podle nejnovějšího vyjádření z úterního večera (celé je najdete níže) se firmě po zprovoznění hlavního datového úložiště nezdařilo obnovit data z primární zálohy, proto je začala obnovovat ze zálohy sekundární. "Jednotlivé služby budou nabíhat z tohoto sekundárního úložiště postupně, nicméně vzhledem k velkému objemu dat na tomto úložišti bude obnova dat nabíhat v horizontu 3-4 dnů," píše firma.
Průběh výpadku jsme zaznamenali v postupných aktualizacích tohoto textu:
Aktualizace: 20.1.2014 20:45 - Podle pracovníků technické podpory se jedná o havárii diskového pole, její odstranění je otázkou několika hodin,
uvedl na FB Casablanky jeden ze zákazníků.
Aktualizace 20.1.2014 22:45 - Vyjádření společnosti Casablanca INT:
Dne 20. ledna 2014 cca v 11:13 došlo ve vzdálených prostorách budovy Stimbuilding k havárii vodovodního potrubí. Bohužel voda vnikla do sálu č. 8 a poškodila nejen několik zákaznických technologií, ale i náš cloud BIG BLUE ONE. V současné době probíhá rekonstrukce cloudového datového pole a obnova uložených dat ze záložního řešení našimi specialisty ve spolupráci s expertním týmem dodavatele.
Data v současné době bohužel nejsou dostupná.Obnovu funkčnosti řešení BIG BLUE ONE předpokládáme během zítřejšího dne.
Zákaznické technologie jsou v současné době přestěhovány do sálu č. 7. Kompenzace způsobených problémů se bude řešit formou pojistné události. Celé události je nám velmi líto, nicméně nebylo v našich silách jí zabránit.
Aktualizace 21.1.2014 9:30: Firma na facebookové stránce oznámila, že během dnešního dopoledne začne s obnovou dat ze záloh:
Vážení zákazníci, momentálně dokončujeme opravu a obnovu primárního datového úložiště poškozeného havárií. Jakmile obnovu dokončíme, měli bychom během dopoledních hodin zahájit obnovu dat ze záložního úložiště a začít aktivovat jednotlivé zákaznické servery a služby. Technici dělají vše, co je v jejich silách a věříme, že služby obnovíme co nejdříve. Děkujeme za pochopení.
Aktualizace 21.1.2014 14:15: Firma stále pracuje na obnově zákaznických služeb a zvažuje další právní kroky, včetně podání trestního oznámení.
Podle Petra Šimpacha z obchodního oddělení, zaměstnanci firmy Casablanca INT stále velice intenzivně pracují na obnově všech zákaznických služeb. S klienty, kterých se výpadek týká, komunikují zaměstnanci individuálně.
"Zvažujeme další právní kroky, a to včetně podání trestního oznámení," uvedl Šimpach.
Zákazníkům doporučil sledovat firemní profil na Facebooku a internetovou stránku http://www.casablanca.cz/informace/, kde jsou průběžně zveřejňovány informace o výpadku služeb.
Jakmile obnovíme provoz všech
služeb, budeme o vzniklé situaci informovat detailněji oficiální cestou,
slíbil Šimpach.
Aktualizace 21.1.2014 16:10: Firma na facebookové stránce oznámila, že se jí podařilo ve spolupráci s dodavatelem nahradit veškerý vadný hardware.
TECH INFO: Díky intenzivní spolupráci s dodavatelem (HP) je veškerý vadný hardware nahrazen novým a je již provedena úspěšná reinstalace vSphere Hypervisoru a probíhá 1. replikace storage, kde je uložený kompletní management systemu (Vcentrum).
Následovat bude obnova infrastruktury (virtuální servery) a replikace zákaznických úložišť. O dalším postupu Vás budeme informovat v následujících příspěvcích.
Aktualizace 21.1.2014 20:00: Firma na facebookové stránce zveřejnila oficiální tiskovou zprávu, ve které shrnuje, co za výpadkem služeb stojí a rekapituluje dosavadní průběh odstraňování závady. Technický ředitel firmy Michal Mráz přiznal, že obnova dat bude nabíhat v horizontu 3 až 4 dnů. Jednatel společnosti Milan Švácha zase ujistil, že firma dělá v posledních 36 hodinách vše pro to, aby se provoz všech zasažených zařízení obnovil v co nejkratší možné době.
(Praha 21.1.2014) - Společnost Casablanca INT vydala dnes oficiální oznámení ke vzniku včerejší havárie, stavu jejího řešení a následné obnově zálohovaných dat. Současně si dovoluje uvést na pravou míru i některé kolující dezinformace. Prohlášení je vydáváno právě až ve chvíli, kdy je celá situace kompletně zdokumentována, je znám rozsah i způsob a přibližná doba odstraňování závad.
V prostorách budovy Stimbuilding došlo včera před polednem k havárii vodovodního potrubí této budovy a následnému průsaku vody do prostor našeho DataCentra, konkrétně sálu č. 8. Podobné havárii šlo předejít jen stěží, neboť k ní došlo zaviněním třetí strany. Bohužel, voda poškodila nejen několik zákaznických technologií, ale i cloudové řešení BIG BLUE ONE. Okamžitě po zjištění nastalé situace byla provedena veškerá nutná opatření tak, aby nedocházelo k dalším škodám a specialisté společnosti Casablanca INT začali ihned pracovat na rekonstrukci cloudového datového pole a obnově uložených dat ze záložního řešení. Obsluha zákaznické linky byla informována svými kolegy z místa havárie průběžně o aktuálním stavu, a tak mohli být v určitých fázích zákazníci volající na zákaznickou linku informováni, že celková obnova zálohovaných dat je otázkou několika hodin. Ve spolupráci s expertním týmem dodavatele se však bohužel rychlá obnova nepodařila ani v průběhu noci. Až během dne se zdařilo zdokumentovat kompletní rozsah poškození a na jeho základě určit přibližnou dobu trvání obnovy úplného provozu.
„Během dnešního dne se nám podařilo opravit primární datové úložiště, které bylo postiženo havárií. Zároveň jsme se snažili o obnovu části dat na primárním úložišti tak, abychom zkrátili dobu výpadku služeb dotčených havárií právě na tomto primárním úložišti. To se bohužel nepodařilo, a proto jsme přistoupili ke kroku kompletní obnovy zálohovaných dat ze sekundárního úložiště. Jednotlivé služby budou nabíhat z tohoto sekundárního úložiště postupně, nicméně vzhledem k velkému objemu dat na tomto úložišti bude obnova dat nabíhat v horizontu 3-4 dnů. Je pravděpodobné, že první zákaznická data budou obnovena již během dnešní noci, následně pak budou postupně přibývat další během dne,“ uvádí technický ředitel Michal Mráz.
„Jsme si naprosto a plně vědomi vážnosti nastalé situace, a chceme informovat nejen naše klienty, ale i širokou odbornou veřejnost, že celý tým společnosti Casablanca INT dělá v posledních 36 hodinách vše pro to, aby se provoz všech zasažených zařízení obnovil v co nejkratší realisticky možné době. Prosíme ty klienty, jichž se situace týká, aby kontaktovali svého obchodníka, a chci je osobně ubezpečit, že jsme připraveni řešit jejich dočasnou ztrátu dat a způsobené provozní problémy vždy individuálně s co nejlepším přístupem,“ informuje Dr. Milan Švácha, jednatel společnosti.
Kontaktovat společnost Casablanca INT můžete také na telefonní lince 270 000 235, případně na e-mailu: obchod@casablanca.cz
Souvislosti: Fotogalerie, která dokumentuje vytopení serverovny.
ČLÁNKY DO MAILU