Máme tady opět a zase situaci která se opakuje pořád dokola. Buď to jsou přetížené servery nebo teď prý DDoS útok. No za službu za kterou platím bych očekával spolehlivost.
Dnes jsem byl vytočený do nepříčetnosti, když jsem si chtěl pustit na PC čtvrtfinále hokeje a nemohl jsem se přihlásit do O2 TV. Na co takovou službu???? To si raději pořídím novou anténu na střechu a přes pozemní vysílání mám alespoň jistotu, že to pojede, když potřebuji. O2 TV ruším už toho mám fakt dost....
"Krátké výpadky mohli bohužel zaznamenat také diváci, kteří hokejový zápas sledovali prostřednictvím iVysílání."
No já ti nevím... Třetí třetinu jsem už vzdal, zkoušet co půl minuty obnovovat stránku s chybovou hláškou mne nebavilo. Ale alespoň už vím, jak vypadá "krátký výpadek". ;)
Tu cenovou politiku já neznám, ale tipl bych, že pronájem infrastruktury jen na těch cca 4–5 nejvytíženějších zápasů by cenově mohlo být zajímavé. Aspoň vzhledem k úspoře nákladů po zbytek roku, kdy by provoz ČT zvládlo vlastními silami bez nějaké zbytečně předimenzované základny.
A úzké hrdlo opravdu není po cestě – když se pomalu nenačte ani web ČT a streamu vypadává zvukový kanál.
Jasně, DDoS útok a předpokládám že ho způsobili zákazníci co se rozhodli že budou používat službu co si platí.
To je taky pěkná drzost používat to co si platím. Dneska s tím firmy vůbec nepočítají a doufají že bude vždy platítí většina, která zaplacené zdroje nevyužije. Těch systémů které nezkolabují v okamžiku kdy je skutečně všichni platící zákazníci využijí bude naprosté minimum.
Naopak, poskladat ten system po desetigigabitech umoznuje moc hezky izolovat pripadne problemy :-)
Napriklad kdyz mate node, ktery obsluhuje jen zakazniky ISP XY, muzete klidne zakazat veskerou komunikaci vne toho ISPcka (a to nemluvim o tom, ze pak muzete pracovat i s anycastem, takze Vas to nestoji zadny traffic na zarizenich, ktere filtruji provoz).
viz prispevek vyse, CT zverejnila 234Gb/s
DDOS vetsinou spociva v mnozstvi requestu vyslanych paralelne v kratkem casovem okamziku vedle sebe, nikoliv trafficu - cimz dojde k pretizeni nejake vrstvy, ktera requesty zpracovava:
HTTP - web server
TCP (syn attack apod.) - kernel
atd.
tak nix je jediné, co je veřejné a pokud při posledním zápase O2 v tiskovce napsali, že tok byl 220Gbit/s a v nixu byl vidět nárust 130, očividně toho více jak polovinu odbavuje.
Ale ano, bez dalších informací nejsme schopni se nikam dopracovat a můžeme jen odhadovat.
Pokud byl k útoku použit nějaký koupený botnet, což je nejdostupnější k pronájmu, mohl být útok vedený i zevnitř a to mohlo naprosto obejít ochrany, které si O2 připravilo nebo aspoň odstínění výrazně zkomplikovalo.
Asi si nerozumíme. Já jsem nezpochybňoval distribuované řešení, ale distribuované řešení postavené na velkém množství poddimenzovaných komponent. Root DNS servery jsou slušné stroje se slušnou konektivitou, není to milion RPi, které s vypětím všech sil vyřídí jeden dotaz. Řešení postavené na „šrotu“ používá třeba Google, ale ten to má všechno unifikované a automatizované, takže výpadek uzlu řeší automaticky. Takového způsobu řešení nedocílíte, když na pár dní poskládáte kapacitu po troškách od spousty operátorů. Protože pak DDoS postihne každého operátora jiným způsobem a s každým to budete muset řešit zvlášť a jinak.
V tomto případě nejde o stroje, ale o tu konektivitu.
Nehlede na to, ze pro vetsinu poskytovatelu v CR je 10 Gb/s vic, nez zvladnou zaplnit ...
Jinými slovy, u většiny poskytovatelů budete mít zbytečnou velkou rezervu, takže celková instalace bude třeba 250 % toho, co by bylo potřeba. Což bude také odpovídajícím způsobem dražší. Navíc při tom řešení „server pouze pro danou síť“ bude ta rezerva nepoužitelná z jiných sítí, a výpadek v jedné síti bude znamenat nedostupnost pro všechny její uživatele. A na internetu pak budeme číst „opět vypadával“ a v diskusích „mně to fungovalo bez problémů, mně to nefungovalo vůbec“. Mám pocit, že tohle už jsem někde četl.
A prave to, ze mate system automatizovany, Vam umozni udelat rychly deployment.
Není mi moc jasné, jak by se automatizovaně řešila konektivita s desítkami poskytovatelů tak, aby reakce byla v řádu jednotek sekund, takže na ten jeden pársekundový výpadek uživatel zapomene.
Pokud Vam neni jasne, jak byste resil presmerovani v radu sekund, pak doporucuji ke studiu zpusob dorucovani dat pres HLS pripadne kombinovane s anycastem (a ano, DNS neni dostatecne flexibilni).
BTW reseni "server pro danou sit" nebylo v dostatecne skale (tj. desetigigabitovy node ve vetsich sitich) v CR nikdy nasazeno. Duvod je jenom jeden - financni.
Jinymi slovy - problem "vypadky" byl v nekterych pripadech financni. Pokud by nekdo nasypal u predchoziho poskytovatele tolik penez do infrastruktury, kolik jich nasypala O2, tak by nasmlouvana kapacita byla s velkym overheadem - radove stovky procent.
O2 bohuzel nema moc samci dat svoje "cache" servery do siti jinych operatoru - je jejich primym konkurentem.
No, ono je otazkou, co takovy cloud v cechach znamena. Ono neni zrovna levna zalezitost koupit si 250Gb/s treba u Akamai, AWS apod. (mimochodem, Netflix z tohoto duvodu odesel na vlastni). Navic by to stejne slo nekde pres peering z nekolika vybranych AS a datacenter (nevim, ze by u operatoru byly nejake hromadne cache servery). A budovat vlastni cloud pro jistotu? To by asi CT nezaplatila.
1-Nangu.TV jako dodavetel tohle absolutne nestiha. Ono vubec cela ta jejich neodladena platforma na midlewaru, a co jsem mel moznost vide pred rokem je silenost, ma neotestovane jadro.
2- Problem nema Hanousek, ale ta parta okolo S.Housteckeho. Chteli po Nangu.Tv resize HW kvuli cene, maji to co chteli. Setreni za kazdou cenu.
3 - Nangu setopbox je shit. Levny kram z asie.
4 - Kazdy vaginal z o2 je ale nejvetsi borec, Kelner by to mel vymlatit a vyrezit sebranku obeznich jelit. Premiere L mi jede kazdy vikend pred VPN z UK v pohode a tady se nezvladne takova kravina. Hlavne ze je kazdy super mega cool hero v umastene kosili.
podle čísel v nixu ten hokejový zápas potřebuje nějakých 130Gbit/s, skládat bych to opravdu nechtěl, kromě Seznamu nikdo jiný takovou kapacitu nemá.
s DDoS je problém, že nemusí být útok na přetížení linky a nemusí to jít poznat z grafů peeringu, což je nejspíš i tenhle případ.
Asi jsem naivní, ale nevěřím, že O2 si DDoS vymýšlí, ano běžně se na něj vymlouvají malé eshopy, které naprosto nemají žádné technické znalosti, natož technologie, aplikace jim jeden na jednom serveru a nic jiného nemají.
Podivejte se na reakci CT kolik tam teklo (a taky do verejneho tendru na ivysilani, kolik je pozadovano a zaplaceno)
http://www.lupa.cz/clanky/boj-o-prvni-misto-ve-skupine-strhal-rekordy-sledovanosti-prenos-ale-padal/
Proč se pro tyto účely nepoužívá multicast? Je to vůbec na této úrovni možné? (Chápu, že nejde o LAN, ale přece možnost se k MC přihlásit, když jde o živé ivysilani (hokej), jde většinou z CR, ne?) Nebo jsou tam nějaké právní důvody, které by multicast šíření streamu nesplňovalo?
To se tu uz resilo x-krat i minuleho roku. Problem s multicastem je ze se da pouzit jenom v managovane siti. To znamena ze v takomto pripade by CT musela mit smlouvu s kazdym ISP v Cechach a nejake zarizeni v jejich siti, ty ISP by na to museli vynalozit prostredky k konfiguraci sve site ktere jim nikdo nezaplati.
A ve vysledku si tam koncovy uzivatel da svuj wifi router ktory nebude na to nakonfigurovany a nepojede mu to.
Zjistete si jak multicast funguje nez o nem zacnete neco psat. Zadna vlastni zarizeni v cizich sitich netreba ani zadne smlouvy. Je to standardni soucast IP. A pokud by steam v multicastu k dispozici byl (idealne jeste ipv6 only), oni uz by se ISP sami postarali aby to jejich zakaznikum fungovalo a jim nezatezovalo linky zbytecne.
kdyz ma nekdo na to zaplatit si n x 10 Gbps, tak to je teprv ficak. ne nejaky sranda botnet na dialupu.
skoda, ze O2 neukazalo grafy z tranzitu, na tom nixovem tezko poznat, co je co (muze byt klidne 100% real provoz).
chtel bych videt, jak to vypada. mozna i nejakou technickou analyzu s obsahem packetu a tak ;) z takove tiskovky prd poznat. ("piratsky utok".. i kdyz vlastne flood ma taky cosi spolecneho s vodou :-)