Chtel bych Vam vylicit jak jsem sledoval ja jako zakaznik, ktery nevi kdy bude jeho server dostupny a za jak dlouho se dostanek velice dulezitym datum.
V utery rano jeste server fungoval bez problemu a celou povodnovou situaci jsem vnimal jako hruzu, ktera se nas snad az tolik nedotkne. Kolem devate hodiny ranni jsem zjistil, ze se nikdo z firmy nemuze dostat na firemni web a zacal jsem zjistovat kde je problem. Protoze spravuji v IOL hned nekolik serveru, zacal jsem je jeden po druhem testovat. Trochu se mi ulevilo, kdyz jsem nevidel ani jeden, protoze to znamenalo, ze neni chyba v me praci, ale problem je nekde v IOL. Obcas se stava, ze servery nejsou dostupne, pro zmeny v smerovacich nebo upgrade HW v IOL. Ale i tak jsem nelenil a vytocil linku 0800 - 123456 (nikdy si nepamatuji primo jejich linku a tak me vzdycky poradi tady) a nasledne jsem volal 0800 - 184084 primo do IOL. Zde se jiz ze zaznamniku ozvyal znamy vzkaz zakaznikum o tom, ze aby IOL predeslo skodam neni v soucasne dobe nikdo k dispozici ani na telefonu. To me trosku vydesilo a zacal jsem shanet informace o tom co se vlastne v IOL deje. Bohuzel web byl presmerovan nekam na Quick a tak jsem znovu zavolal na 0800 - 123456 a tam jsem se domahal odpovedi. Po cca 5 minutovem rozhovoru jsem byl znovu odkazan na 0800 - 184084 se slovy ze nejsou prepojovatelky a vic mi poradit neumi. To uz ubehla minimalne hodina a zacalo me zajimat co se vlastne vubec deje. Nastesti se mi pres zname z telekomu podarilo ziskat cislo 0800 - 222222, na kterem mi slecna jen tak mimochodem sdelila, ze Karlin byl evakuovan. Trosku me to nastvalo, ze nikdo nebyl schopen me o tom informovat jiz drive, ale rikal jsem si, ze asi najizdi generatory o kterych je na strance http://www.iol.cz/cze/sluzby/object.asp?cat=2161&objdef=34&obj=110&ts=7ec15 psano. Bohuzel se tak nestalo a byl jsem smiren s tim, ze se cela situace vyresi do dalsiho dne. Bohuzel ani tak se nestalo a zacal jsem se vice mene smirovat s tim, ze dokud voda neopadne nikoho do Karlina nepusti. Behem ctvrtecniho dopoledne se mi podarilo dovolat se na zakaznickou linku IOL na cisle 0800 - 184084, kde me ubezpecili, ze v patek privezou generator a jiste vsechny servery zprovozni. Bohuzel v sobotu se novy operator divil jak to nekdo mohl slibit a rekl, ze to vsechno pobezi az v sobotu vecer. Nicmene bohuzel ani tak se nestalo a v nedeli rano jsem byl opet ujistovan, ze nedele je ten pravy den :-) Navic me operator tvrdil, ze problem muze byt take u naseho serveru, ze nenabehl s napajenim a dalsi podobne zalezitosti, ale nechtel jsem mu vysvetlovat, ze tech serveru je pet a ze maji oddelene systemove a datove filesystemy a urcite by nabehl, alespon jeden z nich. A kopodivu po druhe hodine odpoledni jsem zacal videt vsechny servery hostovane v IOL. Nasledoval presun zaznamu v DNS zpet na paterni servery a mapovani skod. Nastesti vsechna data obstala bez problemu a nic zavaznejsiho ze systemoveho pohledu se nestalo.
Tim jsem jen chtel upozornit na to, ze se situace alespon z pohledu tri zakazniku kterym servery spravuji jevila ponekud odlisne nez je popisovano ze strany IOL. Myslim, ze by me vic pomohla informace o tom, ze generatory nemaji dostatecnou kapacitu a provoz bude zahajen az cca za tyden nez soustevne ubezpecovani, ze zase vecer, rano nebo odpoledne. Pres tohle vsechno myslim, ze si to technici docela uzili a odvedli vynikajici praci a cely problem byl asi ve vedeni IOL a politice k poskytovani informaci.
... no, nechapu jak muze IOL s gigantem CT v zadech vymyslet koniny s privezenim generatoru. S tou optikou, co maji k dispozici musi byt schopny pretahat obsah vsech serveru na backup zdroje mimo Karlin behem nekolika hodin a zmenit DNSka taky netrva 3 dny.
SVET.NAMODRO nebezi stale, myslim ze REDBUS uz taky muze pozmenit svuj byzplan :(
Jeste mne napada, ze IOL ZADNE ZALOZNI PROSTORY JEDNODUSE NEMA :(((
Problem je v tom, ze nemaji pristup k tem serverum jako spravci a myslim, ze tohle by asi nebylo v lidskych silach zkoumat stroj po stroji co na nem bezi, jake je heslo atd.
Tohle se resi ve slusnych firmach tim, ze se udelaj komplet image disku, nejlepe denne a odvazeji se na zalozni misto. Me to prislo naprosto prirozene pote co sem zil na Floride (hurikany) a ted v Californii (zemetreseni), off-site zalohy (a zdaleka nejen dat, ale komplet serveru) sou naprosto bezna vec.
Vzhledem k tomu, že hostingové centrum IOL je ve 4.
a 5.patře, kam se voda nedostala, úplně by stačilo,
kdyby projektant HC vyřešil maličkost, a to záložní
napájení el. sítě (cca 1 km dlouhý kabel ze Žižkova,
a centrum mohlo běžet dál čili opravdu on-line.)
Nehledě k tomu, že ČTc má na Olšanské postaveno další
HC a to NAGANO.
To byl takový neřešitelný problém v pondělí kontaktovat správce těch pár zpravodajsých serverů (MAFRA),
a ty přesunou jinam? Ostatní zákazníci by to pár dnů
zcela jistě přežili.
Avšak fungování zpravodajského serveru při jakékoli
mimořádné události považuji za naprosto přirozenou věc,
a redakce IDNES také udělala všechno, aby jejich server
běžel- byť v nestandardním, téměř amatérském grafickém
prostředí, ale to v tuto chvíli nebylo podstatné.
Důležitá byla informovanost, a tu MAFRA zajistila.
A vedení IOL ? To naprosto selhalo !!!!
To se samozřejmě netýká techniků, ti určitě za daných
podmínek dělali co mohli.
Třeba MAFRA po této zkušenosti kontrakt s IOL přehodnotí.
Já osobně bych takovýto kontrakt okamžitě vypověděl.
Hlavně, že maji na tyto služby uzavřená SLA !
Ćlánek paní Voňavkové spíše vyznívá, že v IOL byl
jako obvykle pěkný zmatek a kompetentní se báli rozhodnout!´
Ano, stale nefunguji Svet Namodro ani treba GameZone, kteri patri Telecomu - ti zamestnanci tam musi mit opravdu radost, ze prioritu ma par jinych serveru nez jejich vlastni velky weby/sluzby
To ale vubec nebylo to co sem chtel rict - muj point byl v tom, ze ty zalohy maj byt delany prubezne aby se v situaci kdy se k serveru nejde z jakehokoli duvodu dostat mohly nastartovat zalozni servery. Co by proboha delali kdyby treba v te budove vybouchl plyn? Nebo do ni naboural nakladak s benzinem? Nebo na ni spadlo letadlo? Nebo o dve patra vys prasklo potrubi a odcerpavaci system by to nezvladl? To by proste o vsecho prisli? To je dost spatny, ne?
To jo, ale ber si, ze takhle jsou proste ty sluzby nastaveny ve vetsine pripadu. U uplne malejch zakazniku za 4-6.000 Kc neni v cene skoro "nic". U velkych jako jsou portaly a podobne zase plati, ze si chteji skoro vsechno delat sami, sami si distribuji zalozni servery k ruznym ISP a podobne, ale neni v silach stavajicich ISP delat takovyhle zalohy vsech serveru, navic ochota platit za tyhle VAD sluzby je miziva zatim.
Trpny rod je velmi ozehava vec. Zalohy "maji byt delany" nijak nevymezuje odpovednost. Jak muze udelat zalohu provozovatel sluzby server housing, to fakt nechapu.
Mě osobně veškeré služby IOL vyhovují a byl jsem s nimi doposud spokojen. To co me na cele situaci vadilo je ta neinformovanost technicke podpory a neochota priznat, ze proste jako maly zakaznik se server FARM mame smulu a pujde to az za tyden. Co se tyka zaloh, ty si provadime sami a v tom problem neni, ale vedet ihned v utery, ze to nepojede tyden sel bych koupit novy server a postavil bych ho jinam a bylo by vyreseno, ale po kazdodennim ujistovani, ze opravdu vecer, zitra, odpoledne apod. jsem doufam, ze nekdy termin dodrzi.
Pridam svuj pohled zakaznika. Vypnuti elektriny v utery rano bez alespon mailoveho upozorneni jsem opravdu naprosto nepochopil, rozesilani informaci zakaznikum housingu pro IOL nikdy predtim nebyl problem, takze to umi. Nicmene po sledovani katastrofickeho prubehu zaplav v mediich jsem se rozhodl nikoho na IOL neobtezovat a nechat je zit. Obcas jsem nahledl na www.iol.cz jestli nas nebudou informovat a cosi se tam objevilo - dopis pana reditele. Tak jsem si rekl maji to tezke. Ve ctvrtek se rozjel server iol a idnes, podivil jsem se, ze stale nemam od IOL zadnou informaci co delaji pro nas bezne zakazniky. V patek rano jsem nevydrzel a volam na zelenou linku, rikaji do obeda bude generator a vse pojede. Hura rikam si, pockam do pul jedne a volam znovu na zelenou linku, tentokrat chci mobil jednoho z hrdinu IOL a kupodivu mi ho daji. Tak uz mluvim primo s hrdinou, jehoz hlas se ozyva nepritomne jakoby z velke dalky, na pozadi huci generator, mluvi jako zombie, zrejme je tesne pred zhroucenim. Rika ano generator jede, tak ja Vam ty vase servery teda skocim zapnout, hned to bude. Za hodinu nic, tak mu volam znovu a rika ano stale jsem na ceste zapnout vam ty servery a po dalsi pul hodine, svete div se jedou! Proste kdo kricel, jel, kdo byl trpelivy ten cekal, tak uz to v zivote chodi..
Kroniku hrdinu na IOL sem si precetl ten den odpoledne a mohl jsem si rict, panecku, ja s takovym hrdinou opravdu mluvil!
CTc ma fungl nove webhostingove centrum (tzv. "Nagano"), ktere (zatim) ziva vicemene prazdnotou, ale co na tom, ze to stalo mnoho set milionu, v ramci rivality mezi IOL a CTc se nechavaly servery tak dlouho nesmyslne v Karline, az se ucho utrhlo. Inu - kdo chce kam, pomozme mu tam. Staly se pri povodnich mnohem horsi veci, nez jdou servery IOL.
U světa namodro je kuriozní hlavně to koliki Dočeakl vždy má keců kolem všeho a všech a nakonec to bude snad poslední server, který se na Internetu rozběhne. Nemám ani tak pocit, že IOL žádné záložní prostory nemá, ale u některých jimi provozovaných služeb nemá ani zálohy nebo ne ve stavu, že by je byl dostatečně rychle použít. Je to bída.
Ps. RedBus - co se tam stalo, že by měli měnit byzplan?
No, to ze slo o servery zakazniku se tam nikde nepise, naopak se zminuji o prevozu serveru na jine misto, tim padem k tem serverum maji fyzicky pristup coz bych u server housingu moc nevital, proc maj vsichni servery zavreny v klecich kdyz do nich stejne kdekdo muze? Ja mel dojem ze nejde o cizi servery ... Pokud slo, tak samozrejme selhaly firmy co vlastni ty servery, ne IOL.
vazeny pane, zakaznici maji u nas svoje servery, do ktery nemame zadny pristup. Nevim jak si predstavujete odstehovat behem nekolika malo hodin v radu nekolika stovek serveru nekam jinam. Nehovore o tom, ze my nemame zadna prava z temi servery manipulovat. Nevim, jak byste resil situaci, kdyby Vas po prevezeni serveru zakaznik zazaloval, ze jste mu znicil pocitac nebo zboural databasi za nekolik milionu.
Vazeny pane, v den kdy doslo k zaplave Karlina, jsme nemeli pro 300 zamestnancu ani misto kam si sednout natozto nekam telefonovat. Evakuovali jsme uplne vsechny lidi, proto taky nefugovala nase 0800 184 084, atd. Nemohli jsme obvolat v radu stovek zakazniku a a nikdo netusil, jak dlouho servery nepojedou resp. jak tam bude dlouho voda a co bude dal. Jeste ani dnes nikdo nevi, kdy normalni lidi pusti do svych domu v Karline.
prave ze lide z TOP managmentu v riflich za neuveritelnych podminek na nafukovacim clunu s nejak ziskanym povolenim se pokusili a nakonec uspesne prevest dva servery nasich zakazniku na clunech. Dalsi pokusy tohoto tipu jsme zastavili ...
Tak takto se choval TOP managment, ktery jako prvni organizoval vsechno deni a napriklad dnes v noci (pondeli/utery) to byl zase jeden z nich kdo prepojoval dieslagregad (nastesti bez vypadku).
A podekujte mnoha technikum, kteri pracovali bez prestani nekolik noci bez spanku v totalne evakuovanem Karline a doslova rozdychavali a dnes jeste tam rozdychavaji elektrinu.
Ale, ale... firma, která má baráky po celý republice a digitální ústředny, není schopná udělat záložní hot-line?! To tedy znamená, že nemá ani postup pro podobné krize?! Tahle potopa byla extrém, ale stačí malý požár, že. Obvolat zákazníky jste nemuseli, stačilo poslat maily. IOL selhal jako systém, těch pár zachraňujících jedinců je něco jiného.
Pokud by zákazníci dostali včas informaci o skutečném stavu, jistě by vám právo na převoz poskytli. Ale absence záloh padá jednoznačně na vaši hlavičku... Kdo z šéfů uslyší: máte padáka?! Začal bych Klímou...
ad redbus - jak si asi myslite, ze se ted budou prodavat jejich sluzby, kdyz totalne vyhoreli - nemajic fci. backup alespon elektriny v podobe funkcnich generatoru?
pokud se nepletu - ale mozne to je - sidli v thamovce ve stejne budove jako IOL.
Vazeny pane, psal jsem to i jinde, ve chvili kdy sla voda, stihli jsme evakuovat vlastnich cca 300 zamestnancu, pro jsme nemeli misto k sezeni/praci natoz, aby nekdo nekam telefonoval (i nase Call Centrum bylo evakuovano).
Sluzba zalohovani dat je v nasi nabidce. Vy asi vubec nechapete, co je COLOKACE-SERVER HOSTING, vy asi nevite, ze mi poskytujeme zakaznikum pouze umisteni a pripojeni serveru. Nestarame se o software ani o data nasich zakazniku (to ani neni dost dobre mozne). Tedy pokud oni sami neprovadeji zalohovani nebo pokud oni nejsou schopni jinde vyinstalovat a pripravit system, my to za ne udelat nemuzeme. Strucne nase sluzby konci nekde na IP vrstve.
BTW: Zalohovani na nase media je nase sluzba a divim se, ze si ji malokdo ze zakazniku objednal (asi za 200 Kc/1GB prostoru mesicne), asi setrili.
To, že si páni ředitelé či manažeři obléknou rifle nebo montérky je sice chválihodné. Avšak není to systémové, ale jen následné řešení problému. Kdo z vás (z TOP managementu IOL)si po Vašich nástupech do funkcí zjistil jakým způsobem
je v IOL zabezpečen BPR(Business Recovery Plan) a jak jsou
nastaveny procesy a kompence při jakémkoli havarijním
stavu hostingového centra ? Upřímně, ruku na srdce....
No, to tam mate pekne zorganizovane plany pro krizove situace, tim bych se snad radsi "nechlubil" ani pred znamymi, natoz takhle tady verejne. :-OOO Opravdu se potvrzuje, ze "rizeni" tohohle molocha je jeden velky chaos. Katastrofa. A Mrs. Vonavkova se tady jeste prezentuje svoji svodkou, jakej tam mate bordel. To je teda sila. :-)))
ČLÁNKY DO MAILU