Vlákno názorů k článku
Česká pošta kvůli údržbě datacenter na několik dní zavře pobočky a vypne služby
od toto - Jak nekde v Kongu :D
Hahaha. Tohle jsem jeste...
-
neviděl? Běžná taktika v našich korporátech, schválně se podívej na zprávy od operátorů nebo z bank, kdy ti píšou o plánovaných odstávkách. Někdy to trvá hodiny, někdy dny. Víkend je oblíbený termín.
Mimo weby je občas složité dělat CD, zejména, když člověk upgraduje na novější verzí databází/serverů/komponent.
-
udivuje mě, že nevíš, co budou dělat, ale přesně víš, že to je na hodiny práce.
Bezpečnostní průser? Vždyť tuhle odstávku dělají pravidelně každý rok v květnu/červnu.
Je spousty aktivit, které se lépe dělají při odstávce, nemluvě o tom, že dělat úpravy infrastruktury, aktualizace firmwarů, výměny serverů za provoz s sebou nese určité riziko, že něco rozbiješ, udělat odstávku je prostě bezpečná varianta a preferovaná v momentě, kdy tu možnost máš, šetří to peníze a snižuje riziko.
-
Z dnesniho pohledu uz je to mimo. Jedina velka odstavka, co jsem na 5000 serverech za 5 let delal byla upgrade postgresu na 2h. A to jen kvuli tomu, ze je slozity ho replikovat (jedna baremetal instance proste) - to jsou takove ty blbe veci z minulosti, kde souhlasim, ze to jinak nejde.
Vsechno ostatni se dnes snazi delat master-master, cluster, nebo v loadbalancingu pres BGP/DNS, tak aby to neco prezilo. Ty veci co pises se na serverech delaji za provozu kazdy den.
Ani to neni o budgetu, spis o schopnostech tymu a mindsetu. My jsme drzeli co nejvetsi uptime na vsem. -
Ale jak velka ta databaze byla uz nenapisete. Tyhle polovicaty informace :-) Jasne, u mensich databazi to muze byt task na dve hodiny, zejo. A samozrejme jinak se chova Postgres, jinak MariaDB/MySQL a jinak treba Oracle. Delat podobny soudy bez znalosti skutecneho prostredi dost dobre proste nemuzete.
Banky maji podobne odstavky zrovnatak... kupodivu kolem nich neni tolik kecu.
-
počet serverů ale zrovna není rozhodující. Zkus si třeba dělat údržbu páteřních switchů, sice je máš v HA, ale při údržbě jeden odpojíš a během ní nemáš žádné HA a tím výrazně zvyšuješ riziko. Stejně tak to je, pokud máš zdvojená DC, při údržbě jednoho nesmíš mít další výpadek, pak můžeše dopadnou jako nedávno Master Internet. Mít vše trojmo zase není tak běžné a přináší to jisté technické problémy a vyšší ceny.
Někdy jsi z mnoha důvodů nucený provozovat aplikace, které nemáš plně pod kontrolou nebo potřebuješ měnit infrastrukturní věci.
Dělání plánových výpadků a nedostupností služeb patří do kategorie řízení rizik. Jak vidíš, výpadek se nedotýká samotných datových schránek, protože tam Česká pošta smluvně garantuje nějakou dostupnost, umí dělat údržbu i bez výpadků, ale podívej se jak vypadají smlouvy a ceny, které si za to účtuje.
S železnou pravidelností, když mi někdo tvrdí, jak dělá údržbu za provozu bez výpadků, prakticky to znamená, že má vždy v infrastruktuře věci, které jsou dlouho neaktualizované, nerotuje technická hesla a klíče.
Ono i řízení přístup do DC je problém. Pokud mám garantovat určitou úroveň fyzické bezpečnosti, je to složitější v případě, kdy mi běžně v DC běhají různí lidé a řeší servis různých věcí, snadno se v tom něco ztratí, snadno se stane chyba.
Bavit se o tom, jestli to je zbytečné nebo rozumné má smysl, až když obě strany znají podrobnosti, což v tomhle případě neplatí, nerozumím tomu, proč tak pevně tvrdíš, že to není problém a je to amatérismus z jejich strany.
-
Uz jsem neco zazil. Asi ne jeste tolik jako DC technici kteri na sajtach travi vetsinu casu. Ale z pohledu sysadmina vcetne realnych DR pri katastrofach mezi nekolika datacentry, stehovani storagi, celych DC za ziva, zlamani vsech FC cest ke kritickym serverum, recovery po zaplavach,tornadu zemetreseni, migrace monoliticke appky s TB dat jen pomoci syncu filesystemu a naskoceni na druhe strane atd. To jen co si pamatuji.
Ruzne slozite systemy kde vse souvisi se vsim a napric aplikacnimi tymy se resi presny postup praci a nahozeni zpatky. Dlouhe vypadky v ramci dni vzdy svedci o zpusobu vedeni IT ve firmach. Negativne. Malo lidi, nizke platy,bordel, chybejici DR planovani.
Pokud se vse radne naplanuje, vypadky v ramci dni je amaterismus. Hodiny jsou akceptovatelne. Jsme v bananistanu tak rekneme 24h do zrudnuti manazera... Daji se narychlo pronajmout kapacity nebo primo hw na zajisteni behu.Snad mi nechcete rici ze ceska posta ma nekolik pater velke storage + mainframy v jedne lokaci a tohle vsechno startuje ze tmy po nejake nepredpokladane chybe:-P
V me praxi dokazaly sluzby v ramci dni polozit jen dve udalosti. Ransomware a problem s dodavatelskym retezcem (mezitim se odporoucely systemy se specifickym non-x86 hw). Coz byla pochopitelne chyba planovani protoze se nedrzely nahradni dily a spolehalo se po americku na JIT. Takze x dni bez sluzby a nakup na ebayi... a riskovani kyberutoku neproverenymi komponenty zevnitr :-/ Pekne jsem si to za odejiteho manazera vyzral.
Jiz jsem se odnaucil vymluvy ceskych manazeru na podobne excesy. V radnem vedenem IT na cele dni odpojim maximalne jidelnicek nebo diskusni forum "Volejte rediteli".
-
Je to holt jejich strategie, jak se vypořádat se stabilitou, nechtějí dělat údržbu za provozu a nést riziko částečné nefunkčnosti, vše směřují na kompletní odstávku. Teď mají snad manipulovat se sítěmi, v březnu mimořádně dělali patche všech OS. Týká se to i zásahu na pobočkách, kterých mají k 600 a využívají tyhle odstávky k údržbě.
Ne, Česká pošta používá enterprise SW, který je často tak trochu neflexibilní a rozhodli se to řešit na téhle bázi s kompletní odstávkou.
I jako dodavatelé musíme akceptovat jejich plán odstávek a veškeré zásahy nasměrovat do tohoto okna.
Zase tady zopakuji, co jsem už psal, nelze říct, že to dělají špatně dokud nemáš před očima podrobný plán, co vlastně dělají. Pak se o tom dá diskutovat. V opačném případě to je jen plácání v diskuzích o ničem. Znám také spousty fungující případů, ale také některé, kde to nefunguje správně.
-
To neni zrovna moudre delat v jeden okamzik ruzne veci. Jeste pres dodavatele coz se blbe kontroluje a zpetne proveruje.
Muze nastat problem izolace problemu. Komplexita vzrusta exponencialne a z vikendovky je pak tyden.
Nejaka nekompatibilita klient/server?Hrozne rad bych ten plan videl... ale to bude asi tajne/need to know basis.
Hrozne by mne zajimalo jestli si nekdo polozi otazku: Co delat aby podobna dlouha odstavka uz nenastala.
ČLÁNKY DO MAILU