Vlákno názorů k článku Jaký osud čeká audit? od Michal Illich - To me zase dostalo :) - vubec jsem...

To me zase dostalo :) - vubec jsem netusil, ze za neco takoveho jako je DCCI audit se plati!

vzdyt se zpracovanim auditu neni zadna prace, proste se to prozene primitivnim programkem; ktery jakmile se jednou udela, muze nekolik mesicu bezet uplne bez lidskeho pricineni

tak me napada:
POKUD CHCETE, UDELAM TOTEZ, CO DELA DCCI AUDIT, A TO PRO KAZDEHO A ZADARMO
a myslim to vazne :)

a muze to bezet podstatne lip nez dcci alespon ve dvou vecech:

a) bude to hned prvniho v mesici (alespon u slusnych serveru, ktere poslou svuj log hned uderem pulnoci pri zmene mesice, coz vypada pripsanim jedine radky do crona, neco jako "mail robot@audit.server.cz </cesta/nas.log")

b) muzu pocitat i visits, pripadne i nejake veci s cookies, pokud si prislusni jedinci zapnou treba mod_usertrack nebo obdobu pro jine webservery...

tak co vy na to? :)

Ze s takovou zkrachujete a vycerpate se (nikoliv financne), nebot s tim urcite budete mit nejakou namahu a stravite s tim nejakej cas :-)

Velmi rad Vam zaslu 1.cervna mailem nasich 5 GB logu (zazipovanych) za mesic kveten. Nebo mohu poslat 60 GB nezazipovanych logu? Zas takova sranda to neni.......

mile rad vas vezmu za slovo.

mozna bych vas ale nejdriv pozadal o pusteni par prikazu na logu, napr:
# grep -v .gif -v .jpg -v ad2.atlas.cz puvodni.log > bzip >novy.log

(to zpusobi vyhazeni obrazku a velmi kvalitni zapakovani)
tim se to smrskne po zapakovani tak na 1GB, a to se da zvladnout - vzhledem k tomu, ze jste v podstate druzi nejvetsi, tak vse ostatni uz bude hracka

Zdravim,

jeste v dobach, kdy vse byvalo na www.dcci.cz jsem se dival, co se vlastne pocita a jak. Samozrejme ze nevim, v jake forme, jakymi statistickymi metodami (coz muze byt IMHO dost narocne na CPU) atd. byly LOGy zpracovavany a co vse se z nich ziskavalo, ale pokud udaje, ktere byly prezentovany i nekolikrat na LUPE a ktere jsou pouze nikoli stavem, ale i rozdilem za predchazejici obdobi, pak opravdu nevim, jak se 'razitko' od DCCI (coz pro me jako zakaznika je nejaka spolecnost s kreditem??? XY (pro mne 0)) lisi od jakychkoli WebLogAnalyzatoru, ktere jsou casto tyto udaje schopny realizovat on-line, nebo s minimalnim zpozdenim (zalezi spise na vykonu/zatizeni serveru).

A pokud tedy vychazim ze zverejnovanych udaju a z toho, ze je 90 serveru, pak mi opravdu silne, ale velmi silne unika proc jsou servery ochotny platit 5000 za par sekund strojoveho casu.Vedel jsem, ze se za to plati, ale tolik...

Nejsem poskytovatel obsahu, proto se na veci nedivam z hlediska reklamy, 'naparovani' pred reklamnimi agenturami atd., ale ciste z hlediska technickeho reseni. Co mi unika nejvice je delka zpracovani... - kdyz moc, je to prace na par (rozumej jednotky) hodin i pri objemech desitkach TB za mesic... - uzke hrdlo v tom pripade vidim spise v prichodnosti Inetu nez zpracovani...

Par vterin, zrejme by jste si mohl neco zkusit treba by jste pak neplacal takove hlouposti (par vterin je u me 1-60) vterin CPU time.

"PaJaSoft" ma pravdu - ten program, ktery to zpracovava je naprosto trivialni a muze jet takovou rychlosti, jakou stiha disk - coz pri linernim cteni na SCSI disku je pres 5MB/s

pak i onen enormni log z Atlasu (60GB) zpracujete za tri hodiny - tzn. ze vsech 90 serveru mate za pul den hotove
(a pokud bude soubor zapakovany - coz bude - tak se to mozna jeste urychli, zalezi na pomeru rychlosti dekomprese, kompresnim pomeru a rychlosti disku, to je tezke odhadnout)

vyhazovat za toto 5000Kc je nesmysl - respektive, je to hodne drahe "razitko" (sofres ma urcitou prestiz, dcci ne)

Bohuzel s Vami nesouhlasim. Mozna si nerozumime v jedne veci ja nemluvim o auditu (viz. vyse) ale o tom co se pripravuje ..
a mezi par vterinam na precteni (jeste jednou precteni a nejake jednoduche zparsovani !!) nepovazuji 3 hodiny ! pokdu nahodou disponujete takovym velikym mnozstvim volneho strojoveho casu tak jsej nechte treba pro projekty jako RC5 (www.distributed.net) nebo si parsujte logy jen tak dokola ..
spize si myslim, ze to berete jako hracku, ale pokud od vas bude chtit nekdo profesionalni vysledky tak mu to zadarmo nemuzete zarucit (pokud ano tak vas obdivuji) jestli mte linku zadarmo pocitace vam davaji v obchode zadarmo a vasi zamestnanci pracuji zadarmo mate se asi docela dobre .. pokud ne neni neco z auditovanim zadarmo vporadku

krome penez existuji jeste veci jako dobre jmeno spolecnosti... nebo se podivejte na celou open source komunitu, ktera dela (a zadarmo) velmi kvalitni produkty.

k volnemu strojovemu casu: prumerne vytizeni vsech pocitacu na svete urcite bude pod 10% - tedy strojoveho casu je spousta...
na druhou stranu mi prijdou projekty jako RC5 nebo seti@home jako NEUCELNE vyuziti toho casu - daleko lepsi mi prijde v takovem pripade (1) spiderovat web (2) procesovat logy (3) resit sachove pozice, atd.

moje uvaha vypada takto: udelat "dcci audit 2" je vec jedineho dne... a za to ja proste NEMOHU uctovat nekolik milionu rocne!! kdo to dela, tak se podle me nechova prilis eticky

Vsak Vam nikdo nebrani udelat Audit 2 ... Dokonce Vam ani nikdo nebrani v tom, udelat to zadarmo pro servery. Tomu se rika kapitalismus :-)

Jenze vy tady mluvite ciste hypoteticky o necem, co jeste neni, za co se neplati, z ceho nejsou vysledky a co dusledne tajite. Ja vsak mluvim o stavajicim systemu, stavajicich vysledcich, stavajici narocnosti vs. financich...

Uz jsem videl hodne 'dobrych' projektu, ktere zkrachovali na nejake drobnosti - inu nebyly dobre, takze verim, ze s Vasim systemem "new II' mate vysoke ambice, cas vsak ukaze, zda-li je system uspesny. A az mi ukazete vysledky, muzeme se zacit bavit o strojove narocnosti.

Vazne pobavene sleduju, jak snad kazda alespon polostatni instituce nakupuje zelezo pro podporu IS jak dive... - a nejsou to zadna orezavatka, ale minimalne 2xPIII Xeon, 512MB RAM, 3x18GB hot swap disky, GIGA ethernet... - takovych konkurznich vyberovych rizeni se deje spousta (a tohle je jen na Wintelu, co napr. SGI'-)... - muzete mi prosim rici, na co system, ktery obsluhuje datastor potrebuje tak mohutny vypocetni vykon? To snad v kazdem statnim baraku pocitaji jaderne stepeni v realnem case, ne? Jiste, vzdy jde neco napsat/naprogramovat/vyrobit lepe... ne vzdy je to ucelne, ne vzdy je to rentabilni, ale to, co se 'prodava' jako the best of all je casto k smichu odborne verejnosti, ale co, vzdyt nejlepe se vzdy vydelavalo, vydelavat a asi i vydelavat bude na lidske blbosti, tak proc se vzrusovat, ze?

Jojo, presne tuto syntaxi Atlas zalozeny na MS Windows bez problemu zvladne :) Stejne tak my :)

Audit neni takova sranda, jak se muze nezasvecenemu stat. Jen stanovit filtrovaci pravidla je poradna prace. Jeste k tomu pripocitejte, ze co web server, to jiny log format, dale zmeny v case (i kdyz se snazim, je pravidlem, ze zapomenu nejakou zmenu nahlasit), nechtel bych se timto zpusobem zivit.