Šílený.. Více než týden a stále má řada zákazníků nefunkční weby. Support pořád nejede, lidi nadávají a domény a hosting u Gransy s.r.o. ubývá..
https://wladass.cz/subreg-hacknut-timeline/
Měl jsem tam několik domén. S jednou byly vždy problémy a podpora veškera žádná. Jen nějaký líný čobol na telefonu. Problém: Prý zavirovaný systém, a odstavení bez jakéhokoliv avíza. Prý to spustí, až si problém odstrtraním. Ale bez možnosti přístupu. A rada nad zlato: Prý si mám stránky prohlédnout AVG.. Tak mu říkám, ať mi řekne, jak, jestli se nezbláznil. Podpora, odpovědnost žádná, sami buzerujou, problém mají před očima v logu, ale nesdělí, jen házejí klacky pod nohy. Webhosting jsem okanžitě převedl a paráda. Ale nepřevedl jsem všechno. To přijde v zápětí. A nebudu sám. stránek jsem tam klientům spravoval hodně. Naprosto neprofesionální přístup. A tohle, to je jen ukázka neschopnosti a laxního přístupu..
Já jsem ale nepsal, že externí záloha znamená, že má útočník právo přepisovat zálohy. Nicméně zálohy se obvykle rotují v čase, takže i kdyby útočník technicky nedokázal starší zálohy přepsat nebo smazat, pokud se mu podaří dostatečně dlouhou dobu posílat zálohy, které jsou k ničemu, postupně si je přepíše sám provozovatel záloh. Resp. zbydou mu nějaké dost staré zálohy.
Ako píšu ostatní, pri zálohovaní na vzdialený server je tých možností hneď niekoľko. Ak by sme chceli ísť do extrému, tak máme WORM média (v tomto prípade zmysel nedávajú). Ale aj pri lokálnom stroji by malo ísť ochrániť zmazanie súborov cez SELinux (zrejme by to šlo aj bez neho, čisto cez devicemapper ale to je skôr teoretické riešenie).
Tak jo, maj fakt velký problém. Ještě jim to nejede. Včera odpo se domény odmlčely spustě lidem (nevím, zda vypršel soa, nebo zda to provedli oni sami přegenerováním všech dns záznamů).
Co, šlo, tak jsem změnil ns jinam. Bohužel u domén, kde byl zapnutý dnssec, se ukázal problém. Vypnout ho nešlo a jiný ns se nebraly v potaz (neseděl podpis). Jediným řešením v tu chvíli bylo zmigrovat i domény jinam (někam, kde je platba kartou, aby to bylo rychlý). Ještě teď jim to nejede (cz domény fungují, ale jiné tld asi ne, aspoń né ty, co používám já), takže migrace bylo správné rozhodnutí.
Nechtěl bych být v kůži těch adminů.
Zdar Max
Už to zasáhlo tolik lidí a společností, že už by to mohlo konečně skončit.. Ale konec pořád v nedohlednu.
https://wladass.cz/subreg-hacknut-timeline/
Externí neznamená off-line. Externí znamená, že je to na jiném zařízení, ideálně v jiné lokalitě. Off-line záloha je trochu nepraktická, protože když chcete zálohovat, musíte z ní udělat on-line, což se moc nesnese s automatickým zálohováním. A naopak pokud to připojení off-line umíte udělat automaticky, hrozí, že to zvládne i útočník. Takže pokud máte skutečně off-line zálohu, ideálně read-only (třeba DVD), asi nebude zrovna čerstvá.
Podle komentářů lidí na FB Subreg pod tímto jejich statusem:
UPDATE 17:00
DNS zony se stale jeste generuji, nyni mame hotovo odhadem tak 80%.
Na obnove ostatnich sluzeb stale jeste pracujeme.
to vypadá, že spíš problém zhoršují, než aby ho opravovali.
Myslím, že Wedos, Ignum a další aktuálně posilují kapacity v očekávání várky nových klientů...
Další update od Subreg:
UPDATE 13:00
Sluzby Subreg az na mensi drobnosti by meli byt funkcni.
Aktualne resime prioritne dve veci:
- DNS (zde se generuji jeste nektere zony - abecedne jsme u Ar*, Br*, Co*, Dv*, Mo*, Po*, Sm*, Tu* - ostatni jsou jiz hotove) + obnovu zbylych nameserveru.
- Emaily - kolegove aktualne dopripravuji napojeni DB na emailove reseni
Mezitim resime samozrejme i konfiguraci webserveru pro spusteni webhostingu, zde nam to ale komplikuje casova narocnost reinstalaci a obnov.
A lidi už jsou docela nakrknutý:
"Ze nám stále nejede web, to ještě přežijeme, ale zvládnete do dnešní večera ty maily zprovoznit? Tady už přestává legrace."
"no, legrace prestala jiz vcera v 8 rano"
Zkráceno na pohled běžného návštěvníka webu "Server nenalezen"...
15. 9. 2020, 14:20 editováno autorem komentáře
U nějakého WordPressu to tak určitě funguje, ale systém, který má škálovat, z nějakého image neobnovíte. Navíc představa, že můžete všechno jen tak snapshotnout a někam nakopírovat je úplně naivní. Už jen těch 10 TB dat byste po 1 Gbps lince kopíroval 22h za cenu degradace IO výkonu. Na rychlejší lince by ty stroje už nedělaly nic jiného než je zálohování.
Aktualizuji postupně časovou osu všech událostí včetně informací od ostatních společností: https://wladass.cz/subreg-hacknut-timeline/
Předem díky, že se s námi o svá zjištění podělíte: https://www.lupa.cz/.well-known/security.txt
Dodatečné informace, že některé servery nebyly postiženy, protože "vyuzivaji jiny zpusob zabezpeceni prihlaseni" ... to skoro vypadá, že někomu unikly ssh klíče.
Nějak tomu nerozumím, považoval jsem Gransy za technicky na úrovni. Navrhuji a realizuji systémy nad unixem již dlouho a vždy předpokládám kompletní shoření serverů. Snad se inspirují i ostatní poskytovatelé.
Tady mají HW k dispozici, stejně tak data, částečná obnova by měla zabrat čas potřebný k nahrání posledních záloh a studenému startu databází. Chápu, že se to takhle jednoduše řekne, ale těch systémů už jsme pár museli obnovovat a nemuselo se o tom dva dny psát...
Image a offline záloha jim nic neříka :(
Prostě každý víkend kdy tam na podpoře někdo paří onlinovku tak připoji 10TB nebo větší disk a uděla backup a postaví do poličky za sebe...
Je to přece poskytovatel není to garážová firma....
Je to stejné jako si brát hosting od firmy co na svých stránkách potápi počítače do oleje jako chlazení ....
Utok byl ale zrejme zcela cileny k desktrukci, protoze doslo k cilene likvidaci nasich zaloznich dat
- Jo měly ji ... na stejném serveru ve složce /backup
Bohuzel jak jsem zminil, ve vetsine pripadu to odnesli nase slozky /etc, /var, /usr ... zaroven je nutne kompromitovane servery reinstalovat.
- a nikoho neznervozňuje ,že někdo se procházel s právem ROOT po serveru... co si asi odnesl ?
Mame nastavene priority od nejkritictejsich sluzeb a intenzivne to resime.
- bohužel není priorita jako priorita třeba nefunguji Ačkove záznamy jen MX bez SRV,SPF atd...
data pro hostingy (stare) jak g-hosting a station jsou v poradku a netknute
- nikdo neví ,ale jestli tam někdo nenahrál nějaké trojany....
Co NIC a naše Cyber Hunter oddělení ?
Jako mít v dnešní době maily a hosting u registratora nechápu...
Mate přece zdarma firmy.seznam.cz ... A hostingu je také hodně.
Ale pokud registrator domén nezprovozní DNS do hodiny od útoku to nechápu vždyť je to jeden BIND soubor ne ? Jejich priorita ma bejt DNS třeba i bez administrace a pak ať si hrajou s ostatním.. stejně jejich obnoveny hosting bez DNS je k ničemu ...
Díky, přečetl jsem :-)
Subreg vydal stavovou zprávu ke včerejší osmé večer na FB (jak na svém, tak na station), ze které vyjímám:
"Stav je takovy, ze pokus o nahozeni ramsonware a zasifrovani vetsiny nasich konfiguraci a scriptu byl zrejme tak narocny, ze utocnik rano vyuzil lepsiho kalibru a data nam na serverech rovnou smazal.
-
Bohuzel jak jsem zminil, ve vetsine pripadu to odnesli nase slozky /etc, /var, /usr ... zaroven je nutne kompromitovane servery reinstalovat.
-
Utok byl ale zrejme zcela cileny k desktrukci, protoze doslo k cilene likvidaci nasich zaloznich dat + konfiguraci serveru v primarni rade. Proto obnoveni je velice komplikovane i prestoze mame uzivatelska data v poradku. "
To je docela velká událost pro náš trh, moc často se tak velké výpadky nestávají. Snad se jim podaří všechny data brzo obnovit a weby nahodit :)
Zde jsem situaci taky trochu shrnul https://www.atlaso.cz/subreg-vypadek/
Stav - 18 hodin:
Na adrese subreg.cz je jen krátké upozornění následujícího znění (CZ i EN):
Vážení zákazníci, stále řešíme rozsáhlý výpadek všech systémů v důsledku sofistikovaného kybernetického útoku. Prosíme o strpení, o dalším vývoji budeme neprodleně informovat .
Adresa station.cz prohlížeč vrací "server nenalezen", adresa kocogel.info rovněž "server nenalezen".
Zasáhlo to víc firem, než se na první pohled zdálo: https://geekforum.cz/topic/subreg-hacked-4756/
Někteří nemohou registrovat domény, TELE3 u nich má servery (ty už běží), hoší je to s prodlužováním domén, které expirují.. Věřím, že to dají rychle do pořádku.
Mohu potvrdit. Jinak Php 5.4 to je hodně old school. Už 5 let mrtvá verze :-D
Subject: Stav objednávky č. ....... (Renew_Domain - .....cz) byl změněn - Completed
From: "info@subreg.cz" <info@subreg.cz>
Reply-To: info@subreg.cz
MIME-version: 1.0
User-Agent: Subreg mailer via php 5.4.45-0+deb7u2
Date: Mon, 31 Aug 2020 xx:xx:xx +0200
Content-Type: text/plain; charset="utf-8"; format=flowed
Content-Transfer-Encoding: base64
14. 9. 2020, 11:41 editováno autorem komentáře
Nedávno jsem zaznamenal se na Twitteru chlubili, že mají nejrychlejší DNS.
Ale možná by bylo moudřejší mít tu DNS o něco pomalejší a trochu poladit bezpečnost a nepoužívat zastaralé technologie aby se toto nestávalo. Snad to bude nyní priorita :)
Toto je bude stát mnohem více, než to, kdyby měli o pár milisekund pomalejší DNS za kterým se stále tak honí...
Jsem rád, že jsem od Subreg nedávno odešel. Chlubit se v hlavičkách mailů s fakturama, že jsou odesílány z PHP 5.4 a Debian Wheezy něco o zabezpečení infrastruktury vypovídá...
Subject: Faktura c. XXX / Invoice n. XXX
From: =?UTF-8?B?U3VicmVnLkNa?= <info@subreg.cz>
Reply-To: info@subreg.cz
MIME-version: 1.0
User-Agent: LJs mailer via php 5.4.45-0+deb7u2