Vlákno názorů k článku Výpadek TTC ochromil 200 tisíc e-mailových schránek Seznamu od J - Asi takhle, doma mam router samozrejme nastaven tak,...

Asi takhle, doma mam router samozrejme nastaven tak, ze se pri obnoveni napajeni zapne, ale v datacentru je A) vzdy obsluha B) neni zadny velky problem realizovat to automaticky.

V tech vice "homemade" datacentrech se pouzivaji naprosto bezne dnes uz snad vyhradne ATX zdroje, MB ... proste bezna PC. Neni problem si od kazdeho vytahnout ten spravny kusdrat a dovest jej na panel s tlacitky + pripadne pridat nejakou trivialni elektroniku ktera nebude mit na starost nic vic, nez se po nabehu napeti pocka po definovany cas (nekdy jak znamo to padne opakovane v kratkych intervalech) a pak zacne v definovanych intervalech spoustet jednotlive stroje. Signalizace uspesneho startu je pak uz otazkou trivialniho scriptu.

Nepochybuju, ze je totez mozne u profi HW do racku. Pripadne pripada v uvahu trivialni reseni pomoci stykacu pro jednotlive racky.

Jak to je jinde:
Pri beznem testu jednoho DSA doslo k poruse na DSA, odesel
generator.
V patek mel bagrista provadet skryvku zeminy, bohuzel se mu
pokazil bagr a tak to delal v sobotu, kdy nebyli jaksi lide
na kontrolu. Prestoze mel delat skryku zeminy tak skryval tak, ze sundal jedno 22kV vedeni, aniz by si toho vsiml.
(ony se ty vedeni nekde sbihaji a tam provadel skryvku)
Za chvilku sundal i to druhe, toho uz si vsiml.
Pri najezdu druheho DSA se zadrel pastorek starteru
(taky bezne prochazi kontrolou startu a behu),zustal v kole a sundal DSA.
Tak to jelo cca 1hod. z baterek.
Co myslite ze bylo pote :(
Lokalitu radeji neuvedu, mam duvod.

To že bagrista překopne 22 kv kabel a nevšimne si toho je poměrně nereálné, mohlo by mu být nápadné proč má v lžíci vypálený díry :-D

Asi na tom něco bude, ale u bodu 6 je jasný zádrhel 200% je málo.
Pulzní zdroj při zapnutí hází velkou špičku, a to při tom množství serverů musí být pěkná rána to by chtělo dimenzovat aspoň 1000%
Připojení serverů najednou musí bejt pěknej šok pro UPS
Ani se nedivím že to neutáhne...
Nedivíte se že když zapnete počítač tak blikne žárovka?
Proudový náraz je opravdu velmi velký zařízení se musí
připojovat postupně.

Nojo taky mám všechny servery tak nastavený... :-) Hned se zapnou, těžko říct co je dobrej nápad.
Každopádně obcházet tolik serverů vypnout je a pak zase postupně nahazovat asi není zrovna velká legrace. Když jsem dělal u jistého soukromého rádia tak bylo normální že celej barák jel na hranici možností a jakýkoliv výpadek proudu znamenal všechno vypnout a postupně zapínat. Velká UPSka taky vydržela 40 minut, ale zapínání pulzních zdrojů neměla v oblibě. Vždycky na ní mrklo přetížení :) ošklivej pocit obzvlášť když jsem to měl na starosti tak se člověk skoro modlil ať nechcípne.

Jak to je jinde:
Pri beznem testu jednoho DSA doslo k poruse na DSA, odesel
generator.
V patek mel bagrista provadet skryvku zeminy, bohuzel se mu
pokazil bagr a tak to delal v sobotu, kdy nebyli jaksi lide
na kontrolu. Prestoze mel delat skryku zeminy tak skryval tak, ze sundal jedno 22kV vedeni, aniz by si toho vsiml.
(ony se ty vedeni nekde sbihaji a tam provadel skryvku)
Za chvilku sundal i to druhe, toho uz si vsiml.
Pri najezdu druheho DSA se zadrel pastorek starteru
(taky bezne prochazi kontrolou startu a behu),zustal v kole a sundal DSA.
Tak to jelo cca 1hod. z baterek.
Co myslite ze bylo pote :(
Lokalitu radeji neuvedu, mam duvod.

Hm, já bych řekl, že ke správnému náběhu serverů může sloužit třeba IPMI nebo sériová konzole, a nikdo nemusí servery obcházet, ne?

I ty nejlevnější servery za pár korun tuto výbavu mají, třeba tyhle 1U: http://www.msi.com.tw/program/products/server/svr/pro_svr_detail.php?UID=551

Nevšiml jsem si, jestli tady někdo dával odkaz na tiskovou zprávu APC TTC Teleport: Tam, kde nikdy nevypadne elektřina

Je tam poměrně podrobně popsáno, jak je zálohování TTC Teleportu uděláno. Pár nejasností ale zbývá:

Do objektu jsou přivedeny dvě nezávislé vysokonapěťové přípojky 22kV. To vypadly (nebo byly podle IL okolo 20 h plánovaně odpojeny) obě dvě? A jsou pak opravdu nezávislé?

Podle TZ APC je zálohování zajištěno dieselagregátem s výkonem 1 MW a zásobou nafty na 10 hodin, pro překlenutí jeho náběhu jsou použity dvě UPS 240 kW, která každá zvládne až 200 % zátěž pod dobu 1 minuty. Kapacita baterií má vystačit na 30 minut provozu.

No a co se (údajně) přihodilo:
1. Byly odpojeny obě vysokonapěťobé přípojky 22 kV.
2. Po dobu náběho motorgenerátoru jedou UPS jen z baterií, což pro ně není snad žádný problém, když jsou online?
3. Naběhne motorgenerátor a po 20 minutách se přehřeje a automaticky vypne.
4. Zátěž opět přebírají UPS (mají vydržet 30 minut)
5. Ve skutečnosti jsou ale baterie vybité už za 10 minut, a celá serverovna zrácí napájení bez toho, aby byly servery korektně shozeny. (UPS jsou dvě, vypadly obě současně?)
6. Poté, co po 12 minutách ve 20:47 naběhla síť, jedna z UPS nevydržela vysokou zátěž při zapnutí (Jak je to s tou 200% odolností? Jaká je skutečná zátěž při zapnutí?)
7. Nějakou blíže neurčenou dobu tedy běžela serverovna na jednu 240 kW online UPS a druhá část byla zřejmě připojena napřímo (UPS má "Automatic internal bypass").

Takže je nejasné, jak je to s tou nezávislostí dvou VN přípojek a k čemu vlastně jsou, jak je to s výdrží UPS (10 nebo 30 minut?) a proč jedna nevydržela náběh.

Z hlediska uživatelů by bylo zajímavé vědět, jestli je k dipozici z těch UPS nějaká signalizace, umožňující včasný shutdown, pokud ne, tak je to myslím podstatná chyba, pokud ano, tak proč nebyly servery korektně vypnuty?

Seznam také asi mohl a měl udělat mnohem víc - minimálně u serverů a diskových polí, které jsou kriticky závislé na korektním vypnutí, měly být instalovány malé inteligentní UPS s řízeným náběhem, které by zaručily dodávku proudu po dobu shutdownu.

Máte někdo nějaké informace, ať už co se skutečně přihodilo a jak je to zařízené v TTC Teleport, nebo jak se to dělá jinde?

Hmm, na 230V je inrush při zapnutí opravdu velký. Někteří výrobci udávají pětinásobek maximálního trvalého štítkového příkonu spínaného napájecího zdroje, podle mého je tahle hodnota stejně podle palce. Vstupní odpor vybitého zdroje prakticky odpovídá "pár drátům do zkratu", a PFC na tom nic nemění.
Pomalý náběh (nabíjení vstupního kondíku) jsem u počítačového zdroje ještě nepotkal.

Jakékoli konkrétní číslo ve stovkách procent je podle mého lehce nepodložené, zatížené "dělením nulou". Takové naddimenzování výkonových částí není úplně jednoduché zařídit, hlavně to není levné. Podle mého to není správný přístup k problému.

Teoreticky by se to na straně UPS dalo ošetřit tak, že by UPS měla omezení výstupního proudu a definovaný provoz do zkratu po nějakou omezenou dobu (jednotky sekund). Těžko říct, nakolik by to bylo obvodově složité a uregulovatelné.
Pro počítačové UPSky všech výkonových kategorií by to rozhodně dávalo smysl.
Fakt je, že prakticky jsem takovou UPS taky neviděl.

Terminologická poznámka: "smart" UPSky od APC jsou "smart" v tom smyslu, že zvládají komunikaci nějakým protokolem po RS232, tj. nikoli pouze primitivní diskrétní/logickou signalizaci přes režijní modemové signály sériového portu jako levnější modely. Nevím o tom, že by menší "smart" UPSky měly nějakou explicitní podporu pro omezení inrush špičky.

Fakt je, že větší počet malých UPSek by se s inrush špičkou mohl vyrovnat lépe než jedna velká. Zejména malé offline UPSky, které obsahují klasické trafo na 50 Hz dimenzované na cca 20-50% jmenovitého výkonu, mají omezení výstupního proudu jaksi v základní výbavě :-)

Mimochodem, to přetížení UPSky po opětovném naběhnutí po výpadku je druhotný problém. Obsluha to zjistí, obejde počítače, vypne vypínače, nahodí jističe a jede se dál. Primárním problémem je sám výpadek proudu - ten způsobil narušení souborových systémů.

Na okraj:
Technici "od Internetu", když si kupují server s ATX zdrojem, obvykle požádají o BIOS předkonfigurovaný tak, aby server po výpadku napájení rovnou naběhl - aby nemuseli po výpadku cestovat do serverovny.

Mluvil jsem na toto téma s člověkem, který má na starosti nějaké méně důležité servery v atomové elektrárně - a ten naopak tvrdil, že žádá vždy server předkonfigurovaný tak, aby po výpadku napájení hlavně zůstal vypnutý - že je lepší, když obsluha servery obejde, po jednom nahodí a zkontroluje úspěšný start.

Ajta - objevil jsem ve svém příspěvku nepřesnost. ATX zdroj hodí inrush špičku po výpadku i v případě, že je BIOS nakonfigurovaný, aby se stroj automaticky nezapínal. Tohle soft zapínání totiž funguje z větve standby power, která v každém případě potřebuje nabitý vstupní kondík, a ten se v každém případě připojuje silovým kolébkovým vypínačem na zadní straně zdroje, pokud ho zdroj vůbec má...

Odpusťte mi to rýpnutí na téma Internet vs. atomová elektrárna, problém s inrushem bude v obou případech.

Rozdíl bude až v následném zvýšeném odběru při rozběhu(nabíjení výstupu zdroje, roztáčení disků apod.). Tento odběr by neměl překročit štítkový odběr zdroje.