5.8.: V case 18.30 - 18.42 doslo k vypadku ~ 20% IP konektivity v datacentru TTC. Pricinou byl samovolny reboot sitoveho boxu.
Nasleduje:
V 18.42 jsme presunuli veskery provoz na jiny sitovy box. Jednalo se o jine zarizeni, nez-li v pripade vypadku dvojice boxu z 30.7.2015.
Velmi vtipna redundance - a verte tomu, ze neslo o stejne boxy :D
To že jste s Cedrou a spol neměl ještě problém jen znamená, že jste měl štěstí.
Viz příspěvky ostatních, od začátku působení na internetu supernetwork dělá jen zlo v internetu. Až se divím, že ještě stále není zavřený ve vězění.
Vidírání, neplaceni (viz czfree), mlžení, kradení domén a pak jejich prodej právoplatným majitelům (zaregistrovaní podobných doménových jmen jako známé české firmy je dost na to aby se dal nazvat zloděl a vyděrač), přesměrování provozu pomoci BGP za účelem vydírání zákazníků jiných poskytovatelů aby přešli k nim.
A to je jen malý výčet praktik co SH děla, to že to nevíte, jen dokládá že žijete v blahé nevědomosti.
A že vás zajímá jen cena? To mi připomíná přísloví "vrána k vráně sedná".
Já osobně bych si od zloděje nic nekoupil. Nebo vy byste šel za mafiánem a koupil si od něj pračku a pak vyhlašoval, že to máte levnější?
Vyhozen z NIXu, nebyl kvůli tomu, že si založil jiný peering, ale za mafiánské praktiky, které tu popisují všichni co s ním měli něco do činění.
Ostatně jiných peeringu existuje víc a koexistence s NIXem není problém. Takže to není tím, že by někoho naštval založením konkurence NIXu.
"Divne" se choval uz pred 10ti lety http://czfree.net/forum/showthread.php?s=&threadid=11524
Jakéžeto zákonné povinnosti má propojovací uzel ?
V případě společnosti s ručením omezeným například to, že každý rok se má dle zákona zveřejnit účetní závěrka. Že na to sere kdekdo není argument obhajující fakt, že peering.cz v tomto bodě jednoznačně formálně pochybil. Asi pro to mají důvod :-)
Co je na peering.cz neprůhledného ?
Viz výše. NIX publikuje každoročně výroční zprávu, jejíž součástí je také účetní závěrka. O peering.cz se dozvíte vše maximálně z marketingových prezentací.
NIX úplně stejně konkuruje na Slovensku SIXu tím, že připojuje zadarmo (resp. za 50EUR), takže tyhle dva subjekty si nemají co vyčítat.
Srovnáváte nesrovnatelné - NIX to své cenové promo transparentně publikuje a je časově veřejně ohraničené, zatímco o připojení do peering.cz zcela zdarma vědí jen zasvěcení, žádná taková nabídka na webu není - ceník se tváří tak, že platí všichni...
Výpadek vadí u každé služby, ale jak jsem psal výše pro VIP klienty (kde je smuvně garantována nějaká dostupnost a samozřejmě platí víc) je záložní lokalita a pro ostatní co jdou po ceně je služba levnější s rizikem výpadku. Pokud mám službu která je můj core bussiness nikdy nedopustím aby její funkčnost závisela na jednom dodavateli. A udělat si zálohu vlastními silami je výhodnější než platit třeba i násobně víc někomu jinému za jeho sliby že zálohu má. Krom toho u záložního řešení vytvořeného inhouse je možnost mít jistotu že bude skutečně fungovat, jelikož to není ochodníkem vychválený blackbox ale vidím dovnitř a vím kdo a jak ho udržuje.
O tom že to zdůvodnění výpadku je marketingová pohádka se nepřu je víc než zjevné že přinejlepším se dozvídáme jen část skutečnosti. Celou pravdu se veřejně nedozvíme ostatně stejně jako u většiny podobných případů. To platí prakticky u všech firem, jelikož příčinou zpravidla bývá tak neuvěřitelně lamerská chyba/lemplovství/neznalost obsluhy že to zveřejnit není možné. Kdyby byla všechna zdůvodnění výpadků pravdivá tak by se cisco routery musely sypat víc než nejlevnější čínský switch za 200,- ale moje již poměrně dlouhá zkušenost říká že poměr výpadků způsobených lidským faktorem a těch způsobených selháním techniky je úplně jinde než by se podle oficielních popisů výpadků zdálo.
Ostatně u vytopení serverovny casablancy jsme se taky oficielně nedozvěděli jak se stalo že nad serverovnou byla trubka kde stačilo otočit kouhoutkem, nicméně vzhledem k tomu jaké je české IT neuvěřitelná drbárna nepochybuji o tom že do měsíce informace prosákne :)
Pokud je ta dosavadní spolehlivost způsobená jenom štěstím, nikde nemáte zaručeno, že to zítra nevypadne znovu. Vzít nějaký úsek v historii a zjistit, kolik tam bylo výpadků, umí každý trouba - ale moc se z toho nedozvíte. Vy ale v době objednávky potřebujete vědět (tedy alespoň odhadnout), jak to bude v budoucnosti.
Osobně si těžko představuju placené kamerové dohledy, VPN koncentrátory nebo zálohy s takovým datovým tokem, u kterých zároveň nevadí, že dvě hodiny nefungují. Ale asi mám malou fantazii.
Krizová komunikace, alespoň to, co je popsané v článku, vypadá na české poměry docela dobře, to nezpochybňuju. Ale to podrobné vysvětlení problémů už je divné. Třeba když popis problémů začíná tím, že nějaký provoz ze sekundárního routeru převzal primární router, dřív než dočtu tu větu do konce, bliká mi v hlavě otazník, kde se vzal ten provoz na sekundárním routeru, případně pokud daný provoz má běžet primárně přes něj, proč je nazýván sekundární router. (A je možné vysvětlení třeba to, že normálně jde většina provozu přes primární router, ale část jej jde záměrně přes sekundární, třeba proto, aby bylo jasné, že ten router funguje - ale to vysvětlení v textu není.) No a zacyklený routovací proces, který se přenáší mezi routery, ten mne také zaujal. VMware a další řeší, jak přenést běžící virtualizovaný systém bez výpadku z jednoho hostitele na druhý, a Cisco to přitom zvládá v routerech s jednotlivými procesy... Chyba se stane, i ta popsaná topologie je celkem pochopitelná, ale to vysvětlení - řekl bych, že v tom vínu ještě něco plave.
Vaše schopnost udělat s minimem informací, nicneříkajícími grafy a věšteckou koulí jediný správný závěr a s ním dál pracovat je epochální.
Možná kdyby jste se trochu rozhlédl zjistil by jste že existují i různé jiné služby jako třeba kamerové dohledy, iptv, vpn koncentrátory na propojení poboček firem, zálohy a pod, které také potřebují velké stabilní datové toky a jsou hostovány u superhostingu. A některé z těch služeb velmi slušně vydělávají, ale platit za stejnou konektivitu víc jinde jen nepotřebují, proto jsou u superhostingu. To je normální byznys kde rozhoduje především ekonomická stránka věci a ne nějaká osobní zášť. Tu si dovolí tak maximálně nějací sluníčkáři, ti však ve světě ekonomickou mocí naštěstí nevládnou, takže o dodavatelích nerozhodují.
Jelikož jak tu někdo psal, to že superhostingu síť několik let nevypadla může být náhoda, jenže mě jako zákazníka nezajímá jestli spolehlivost služby co dostávám je způsobená štěstím poskytovatele nebo jeho schopnostmi, Podstatný je výsledek. A pokud mi někdo nabídne stejně spolehlivou službu za míň peněz jdu tam a je mi jedno jestli mají profi řešení za miliony nebo to bastlí na koleně z čísnkých kopií. Mě jde o výsledek jak si to dodavatel zařídí jeho věc.
naštval lidi založením peeringu a rozbitím monopolu nixu
Srovnáváte nesrovnatelné. Nix je transparetní sdružení vzájemných konkurentů na trhu. Peering je neprůhledná firma, která ani neplní své základní povinnosti dané zákonem. O nějaké transparentnosti fakt nemůže být řeč.
Je levnější? Opticky možná. Zatím konkuruje hlavně tím, že zákazníky do Peeringu připojuje zadarmo.
Provozujeme projekt, který potřebuje 20GBit linku, jelikož reálně z něj 10-18Gbit většinu dne teče.
Takže fastshare, hellshare, ulož.to, webshare.cz, nebo nějaký jiný podobný warez sharing. Nic jinýho ve větších objemech ze Superhostingu neleze.
Rozhodně by se nám nevyplatilo kvůli hodině a půl výpadku platit dva a půl roku několikanásobek ceny, vždyť je to rozdíl v milionech.
Jasně, taky služba sama lavírující na hraně zákona moc nevydělá, právníci taky něco stojí, takže někde se ušetřit musí. Lidi se hodinu a půl bez svýho warezu obejdou, to je jasný :-)
Klidně prodají 20GBit ačkoliv mají pro celou svoji síť jen 10Gbit do NIX + 1Gbit transitu.Superhosting prý nepotřebuje NIX vůbec a přitom se zbaběle dodnes schovává za jiné poskytovatele (ISP Alliance, Poda). Čtvrteční výpadek je tam dobře vidět :-)
Tohle se může stát velice snadno. Pokud jsou DNS servery na dvou různých místech za dvěma routery a oba routery vypadnou tak nejde nic. Servery jdou sice dostupné ale jenom přes ip adresu, tj. pouze pro toho kdo má tu adresu v dns cachi.
Tenhle typ výpadku se prostě občas stane.
Do čtvrtečního výpadku všechno běželo dva a půl roku (od zprovoznění lokality) bez jediného problému, takže co se týče kvality problém s tím zjevně není.
Tohle měřítko kvality rozhodně není. Výpadky jsou statistická záležitost, a klidně se může stát, že někdo s otřesnou kvalitou náhodou nebude mít žádný výpadek.
že naštval lidi založením peeringu a rozbitím monopolu nixu sice určitě spoustě lidí sebralo levné peníze z přepálených marží za nic
To opravdu není ten důvod. Navíc přebíráte jeho zkreslený popis. Kdyby rozbil monopol, asi nebude potřebovat používat nátlakové metody proto, aby získal zákazníky pro svůj peering.
nenávist vůči wedosu mezi webhostingáři, ti mu taky nemůžou přijít na jméno a to čistě jen kvůli tomu že stáhnul marže na doménách o stovky procent
To je zajímavé, že můj registrátor domén má ceny domén stejné nebo nižší než Wedos, stejnou hladinu cen (vůči nákupním cenám) drží dlouhodobě, mnohem déle, než existuje Wedos. A není sám. Vy docela rád věříte pohádkám těchhle podnikatelů, že?
Takže ten hate na Cendru vidím jako zcela typicky čecháčkovské nepřejícné zapšklovství, možná ještě s trochou problémů s vlastní rozbitou bábovičkou.
To svědčí pouze o vaší neinformovanosti.
Do čtvrtečního výpadku všechno běželo dva a půl roku (od zprovoznění lokality) bez jediného problému, takže co se týče kvality problém s tím zjevně není. Rozhodně by se nám nevyplatilo kvůli hodině a půl výpadku platit dva a půl roku několikanásobek ceny, vždyť je to rozdíl v milionech. A takovou škodu jeden výpadek nanadělá, zvlášť když pro VIP klientelu máme záložní lokalitu. Takže z našeho hlediska je superhosting co do poměru ceny a kvality rozhodně na trhu nejlepší nabídka.
A toho že by se Cendra choval nějak divně jsem si nevšiml, já jsem s ním problém nikdy neměl a to že naštval lidi založením peeringu a rozbitím monopolu nixu sice určitě spoustě lidí sebralo levné peníze z přepálených marží za nic, ale nenávidět ho za tohle je stejné jako nenávist vůči wedosu mezi webhostingáři, ti mu taky nemůžou přijít na jméno a to čistě jen kvůli tomu že stáhnul marže na doménách o stovky procent a ukončil jejich bezpracné zisky za nic. Přitom ani jeden z nich ten svůj byznys nezbudoval z EU dotací nebo státních zakázek. Takže ten hate na Cendru vidím jako zcela typicky čecháčkovské nepřejícné zapšklovství, možná ještě s trochou problémů s vlastní rozbitou bábovičkou.
Popsal jste ale jenom polovinu problému. Jedna věc je, že SuperHosting možná dokáže poskytnout 20 Gbit linku za pětinu ceny, druhá věc je, jak je to s kvalitou. Přičemž samozřejmě existují projekty, které potřebují vysokou kvalitu a musí ji zaplatit, a vedle toho existují projekty, které na kvalitě raději ušetří.
To, že spousta lidí Cendru nemá ráda, není ve většině případů konkurenční závist, ale je to dané tím, jak se Cendra choval a chová.
Provozujeme projekt, který potřebuje 20GBit linku, jelikož reálně z něj 10-18Gbit většinu dne teče. To jinde než u superhostingu rozumně nepořídíte. Konkurence která na to má kapacitu sítě nabízí ceny několikanásobně vyšší (klidně i 5x a víc) a pak jsou různí malí taky hostingáři srandisti kteří nabídnou cenu podobnou jako superhosting, ale klidně prodají 20GBit ačkoliv mají pro celou svoji síť jen 10Gbit do NIX + 1Gbit transitu.
Přijde mi že na českém internetu je akorát spousta lidí kteří z nějakého důvodu Cendru strašně nenávidí (že by konkurenční závist ?) a kdykoliv to jde vypustí jedovatou slinu.
Současný výpadek samozřejmě neobhajuju, to zvorali a veřejné vyjádření o výpadku10Gbit karty je zjevně jen marketingová pohádka pro veřejnost. Nicméně alespoň nějakou komunikaci měli, většina firem výpadek popírá co to jde, pak zlehčuje jeho rozsah a nakonec radši ani žádné vyjádření o příčinách nevydá. Nedávno jsme to viděli třeba u casablancy a jejich vyplavení serverovny kdy ještě 10 hodin poté co byly servery pod vodou jejich podpora připouštěla akorát "drobné výpadky na síti" nebo čerstvě u francouzského OVH a jejich "výpadku několika switchů" po kterém nahození všech služeb trvalo dva dny. Takže v tomhle superhosting nijak nevybočuje. Jakákoliv veřejná komunikace je vždycky marketing a je taky třeba k ní tak přistupovat.
Podobnou v čem? V čistě marketingových desítkách gigabitů, které jsou absolutně k ničemu zejména v momentě, kdy vlastně jen upadne jeden propoj v důsledku chyby linkové karty, respektive dle vyjádření se porouchají pouhé dvě desetigigabitové karty? :-)
Holt přehnané úspory se na kvalitě projeví. A je zjevné, že v honbě za co možná nejlevnější službou Superhosting velmi šetřil. Kvalita holt něco stojí. Kdypak takto zhasnul celý hosting třeba u GTS? :-)
"Důvod ztracení konfigurace po reloadu routeru je dle informace od Cisco podpory vzácná chyba a prakticky ji nelze předcházet."
Zajímavé odůvodnění paniky administratorů (nebo jen administrátora?) :D I kdyby se konfigurace ztratila, obnova konfigurace ze zálohy je otázka sekund, copy & paste v terminálu...
"Souběžně s memory leakem záložní router přestal komunikovat s jednou z linkových karet s 8 x 10G porty, kterou používáme jako jeden z uplinků mezi datacentry Sitel a TTC"
A co druhý uplink téhož routeru, který to měl tedy převzít? :-) Redundance se holt odflákla :D Hlavně že v marketingových schématech je vše zdvojené a redundantní. Chyba jednoho propoje mezi datacentry způsobí takovou paseku? :D
"Provoz ze sekundárního routeru automaticky převzal primární páteřní router (Cisco 6509), který měl dostatek kapacity a do té doby odbavoval přibližně 80 % provozu, avšak z důvodu zacyklení routovacího procesu na výše zmíněném sekundárním routeru došlo k zacyklení provozu i na primárním prvku."
To mají hoši z toho, že se snaží svou vlastní překombinovanou routovací politikou vydírat (především menší) ISP :-) Cisco 6509 není mašina na tyhle výmysly v dnešní době :D
"Bohužel chybou na naší straně v návrhu, kdy prefix 95.168.192.0/20 propagujeme pouze z dvojice páteřních routerů v TTC, jsme v daný moment měli oba BGP routry offline, nebyl agregovaný prefix DNS serverů vidět v internetu."
Těch prefixů bylo více, ale budiž :D Takže i zákazníci, co nejsou závislí na DNS Superhostingu byli... v pr***i :-)
"Nedostupnost se nedotkla služeb, které poskytujeme v datacentru Sitel"
Dotkla se serverhostingových služeb zde poskytovaných - další lež a mlžení :-)
V Superhostingu pracují amatéři, ale to zjevně odběratelům jejich služeb nevadí :-) Hlavně že to mají levné. Možná i zadarmo :D
Nevím a neřeším, co mají za routery a switche. Ale co vím, tak¨
- deklarovaný připojení k vnějšímu světu má 35x vyšší kapacitu, než jim údajně zdechlo.
- co letí z routeru, musí vletět i do routeru. Pokud router nerozesílá jeden paket na 10 adres, nemá na straně LAN cenu 10Gb a na WAN 3x 40Gb.
Takže možnosti jsou:
- Lžou o konektivitě
- Mají chabrus vnitřní síť
- Nebo jsou ty kartu k jednomu neredundantnímu DNS serveru/switchi pro DNS, je to metalika a poškození železa je sejmulo současně.
Ani jedno bych z pozice zákazníka nebral moc pozitivně...
a co je za problém si ty stránky z nich vykopírovat? https://puck.nether.net/pipermail/cisco-nsp/2014-November/097534.html
Takových dotazů tam najdete více. Některé problémy by TAC řešil výměnou karty.
IP prefixy Superhostingu se kolem 16 hodiny zcela vytratily z globálních routovacích tabulek. Takže i zákaznické servery umístěné v CE Colo fungovat nemohly. To není jen část webhostingu.
Usuzujete tak z emailu " Thu Nov 6 03:24:47 EST 2014 " ? No tak, takhle se ptám na forech taky a to mám koupenou podporu od Cisco. Vás SH něcím našval (filozofická otázka, nežádám odpověď)?
Mimochodem, to co s tom emailu řeší jsem řešil taky. Ani Cisco TACař nepřišel na to, proč některý provoz, který by měl být switchovaný na úrovní hardware je poslán na route processor.
Muze to byt napriklad kreativita vykaznictvi.
To, ze ma nekdo kapacitu XXX do sveta, nerika, kolik mu tam doopravdy tece, ani jak to pocita (pokud mate nekolik vlastnich projektu).
Je to pomerne "dobre zazita tradice", uz v roce 1998 bylo par ISP, kteri meli tranzit XX Mbps, ale jejich celkova kapacita site byla nasobne mensi.
Pročpak se ze Superhostingu vyptávájí na své problémy po internetu? Nejspíš podporu od Cisca zakoupenou ani nemaj.
Teď to bude sakra vypadat, jako když se tu SH zastávám. Ne, nemám s SH vůbec nic společného, občas jsem jezdil autobusem kolem datacenta.
7600 výběhový možná ano, pokud zrova teď se snažíte stavět datacentrum. Ale jak vidíte, tak jej lze koupit do léta 2016 a technická podpora je do 2021. Koupit si 7600 dneska pro datacentrum které spustím příští rok je nesmysl, ale SH provozuje datacentrum už nějakou dobu.
Ještě jsem našel nějaké foteky na Twitteru používají pro internet taky 6506-E https://twitter.com/superhosting/status/537177961074790400 . Je dobré si asi uvědomit, že výpadek části web hostingu, který je dost vidět a exponovaný neznamená nutně výpadek celého datacentra a veškeré konektivity. Ono SH si občas podle mě ty čísla o provozu taky lehce nadhodnocuje a míchá jabka s pomeranči, ale do toho mi nic není.
7600 je u Cisca výběhový typ. Morálně zastaralý je už dlouho. To jen v Superhostingu se zastavil čas a ještě se tím chlubí :D
https://stat.ripe.net/widget/bgplay#w.resource=88.86.96.0%2F20&w.starttime=2015-07-30T12%3A00%3A00&w.endtime=2015-07-31T16%3A00%3A00
https://stat.ripe.net/widget/bgplay#w.resource=88.86.96.0%2F19&w.starttime=2015-07-30T12%3A00%3A00&w.endtime=2015-07-31T16%3A00%3A00
Tolik redundantních konektivit, tolik vnitřní kapacity. A přesto nám SuperHosting zcela zmizl z routingu s výpadkem dvou 10GE karet.
Příliš se unášíte vlastní představivostí.
Nechci spekulovat co vlastně zdechlo konkrétně, to ví (snad) technici Superhostingu. Datacentrum není jen hromada serverů. Kapacita, kterou SH obsluhuje není jen těch několik serverů, které začaly být nedostupné po výpadku jejich router portu. Šance že vypadne na úrovni hardware jak primár tak i záloha je extrémně malá, ale bohužel tohle jsem už taky viděl v praxi. Myslím že SH a asi Cisco (teď spekuluju, ale SH se chlubil nákupem Cisco řady 7600 a 5500) mají při pátku hromadu práce najít skutečnou příčinu.
Pokud dobře počítám, tak deklarují 770 Gbps do světa. Jak to můžou, kua, sestřelit dvě 10GBps karty (2,6% kapacity)?
Další věc, peak pod stovkou. Takže využití linek kolem 12%, maximum 16%. Ztráta 2,5% kapacity by tam nebyla poznat.
Ani kdyby šlo o 100Gbps karty, tak to je 26% deklarovaná kapacity do venkovního světa. 84% deklarované kapacity by zůstalo, ve špičce 70% nevyužito. A interně by u stovek spadlo propojení jednoho DC na polovinu, takže by to rozhodně nebylo mrtvý...
Anebo vlastně ne. Můžou mít pravdu. Ty karty mohly být na routerech ze strany lokální sítě a mohla jim kleknout vnitřní síť, Tam kapacitu neuvádí. Asi nabušený lajny ven, ale po datacentru "desítka"...
Pokud vim maji peak nekde pod stovkou (https://www.superhosting.cz/novinky/konektivita-superhosting-120-gbps - ten graf dole), stovky Gbps dava peering.cz
Kazdopadne, taky se mi to oficialni vyjadreni moc nezda - podle schematka (https://www.superhosting.cz/img/superhosting_schema_site_big.jpg) by to ztratu 2x10GB melo v pohode ustat... Treba se vysypalo jeste neco dalsiho, uvidime zitra s cim prijdou.