Názory k článku Nepoužívejte IP blacklisty! (1.)

Moc se v tom nevyznám, ale fakt netuším, kdo je "slušný". Exotické freemaily jsou dost často blokovány - v US třeba Seznam. Já jsem chtěl kdysi dávno v kanclu, kde jsem dělal, zablokovat Yahoo - v té době asi největší rozesílatel spamu. No nemohli jsme to udělat. Něco méně než 1% přišlé pošty bylo pro nás důležité. A musím říct, že dokud jsem používal Thunderbird, tak ve velmi krátké době snad všechen spam končil v koši a nějak si nevybavuji, že by tam končily i užitečné maily.

asi ste dost slaby inet casopis..., neviem kto vam tam chodi...

No podla terminologie "pasti" alebo "protispamove pasce" su mailboxy, ktore sa nevyuzivaju na normalnu e-mailovu komunikaciu, sluzia teda len ako zberna nevyziadanych sprav. Napriklad adresa firma@firma.com, alebo john@firma.com - tieto adresy nikde nezverejnite v citatelnej podobe. Vlozte ich vsak do spamovych databaz, registrujte sa na ne vo vsetkych moznych sluzbach, umiestnite ich na diskusne skupiny a uvidite ako sa zacnu plnit... ziskane spravy analyzujete a mate pravidla ci lokalne blacklisty.

P.s.: To autor > vzhladom na mnozstvo cudzich pojmov chyba slovnicek :))

mno...je nejaka moznost, kdyz me zabanovali na strankach www.warcraft3.cz se tam jeste dostat??? fakt nevim proc jsem bann dostal, ale hrozne bych na ty stranky chtel...

Kousek je to mozna z Plzne, ale jinak verte, ze si cenu v Nemecku dobre spocital a mluvil o tom, ze by ho to prislo draz. Uz fakt nevim, jestli mluvil o 20 000 nebo o 100 000, ale levnejsi to nebylo.
A rozhodne o tom vazne uvazoval, nez dostal vyhodnou nabidku od zdejsiho prodejce a nechal se presvedcit, ze jsou i jine barvy.
Ale to uz jsem uplne offtopic.

Tak proc, kdyz chtel svou oblibenou cervenou si ji nezajel koupit do Nemecka? Je to kousek a od naseho vlezu do EU uz neni rozdil mezi koupenim auta u nas a u nasich sousedu. Navic to auto v Nemecku koupi obvykle levneji.

Ja uz si nepamatuji na detaily. Nebylo to nic neoriginalniho, ale nestandardni. Mimo jine tam byla klimatizace+stresni okno. Byl tam pozadavek na konkretni barvu (firemni barvu) a nevim co vsechno, nejaky druh vnitrniho potahu, nesmel tam byt dieselovy motor ... Ja nevim proc mel ty pozadavky, ale mel je. Myslim, ze nakonec stejne musel cekat az mu to auto vyrobi.
Ono to s temi auty vubec neni tak jednoduche. Nedavno si otec vybiral Peugeot (ten zase trval na znacce). A 307 kombik s nejsilnejsim benzinovym motorem v nejake vybave a zjistil, ze to jde jenom v nekolika barvach (ne jeho oblibene cervene). V Nemecku by to slo koupit i v cervene, ale oficialne to do CR proste nelze dovezt. (A treba Peugeot 407 s trilitrovym motorem se neda koupit bez automaticke prevodovky.) To jenom pro ilustraci toho co je originalni a standardni.

Predpokladam, ze se bavime o originalni vybave, kterou dodava automobilka k temto vozum...

Ktere dotycne automobilky? Mel pozadavky na vybavu a ne na model a znacku.

Kdyby opravdu v teto cenove kategorii chtel kvalitu a rychlost, tak zavola na ceske zastoupeni dotycne automobilky a dotaze se na nejblizsiho autorizovaneho prodejce... spam formou vyberoveho rizeni mam opravdu velmi rad....

Jenže my se právě na veřejnosti předvádět nechceme :-))) Je spousta internetových projektů, u kterých na popularitě autorům rozhodně nezáleží :-)
Děláme to, pro pomoc lidem a taky pro to, že nás to baví... peníze z toho nemáme! Telecom je zloděj a vyděrač a nehodláme ho podporovat ani za tuto cenu!

Připadá mi to, jako kdyby jste se zeptal za 2. světové proč čeští spisovatelé nepsali raději v němčině a profašisticky - taky by se přece logicky prodalo více kusů, no ne? :-)))) LOL

Z tech co jsem testoval (viz druhy dil) mel jediny sorbs.net takhle podrobne rozlisene, za co se tam servery dostaly. Je pravda, ze v testu dopadl celkove dost bidne.
Ale ani ostatni blacklisty nebyly o MOC lepsi.

Ad 1) Predevsim moznosti a) a b). S tim, ze neni potreba smtp server, ale staci smtp klient.

Ad 2) Tady zalezi na implementaci (proto ta poznamka). Pokud se nepletu, vetsina jich testuje IP protejsku a neprohledava hlavicky mailu.

Ad 3) Prave tento clanek ma zpusobit, ze pokud uz se rozhodnete blacklisty pouzivat k tvrdemu blokovani, tak se nad tou metodikou alespon zamyslite ;-)

Ad 4) Pasti - vyse u diskuse o tom, jak se pocitac dostane na blacklist je zmineno, ze se na nej pocitace dostavaji tak, ze je z nich zachycen nejaky pocet mailu.

Spatne nakonfigurovany - to je podle jednotliveho blacklistu. Open relay, open SOCKS proxy, spatne WWW skripty umoznujici posilat mail komukoli, nekdy i servery prokazatelne vyhackovane.

Nejdřív jedna velká výhrada (všiml jsem si toho až teď): v testu používáte jen jeden blacklist na sorbs.net. Před zatracením *všech* blacklistů by bylo vhodné otestovat alespoň tři nejznámější. Já jsem dobrých výsledků dosahoval díky ordb.org.

1) Není mi jasné, co jsou to "vyhackované počítače koncových uživatelů" - jakým způsobem se z nich spam šíří. Napadá mě: a) worm, který obsahuje vlastní SMTP server; b) použití účtu uživatele daného PC (odeslání skrze Outlook apod.); c) posílání na některý open relay server; d) registrace náhodných adres na free hostingu.

2) "Stejně tak jsou blacklisty - alespoň při obvyklém způsobu implementace do SMTP serveru - neúčinné v okamžiku, kdy si do jimi "chráněné" schránky budete přeposílat poštu odjinud. Budou ji střídavě všechnu propouštět nebo naopak všechnu odmítat, podle toho, jestli je přeposílací počítač zrovna na blacklistu. A to samozřejmě zcela bez jakékoli souvislosti s počtem spamů ve vaší poště." - nejsem si jist, zda toto tvrzení platí absolutně. Nikdy jsem nezkoumal hlavičky mailů automaticky přeposílaných mezi mými účty, ale vím, že takové maily obsahovaly jako adresáta účet, ze kterého se přesměrovaly - z toho usuzuji, že by mohla být hlavička mailu zachována natolik, aby i u těchto mailů bylo možné filtrovat spam skrze blacklisty.

3) "Většinou platí, že na blacklist se počítač dostane, pokud jsou zachyceny (třeba) tři spamy z něj během jednoho týdne." - různé blacklisty mají různé metodiky. Je na zodpovědnosti správce mailserveru, aby vybral takové blacklisty, které užívají vhodnou/smysluplnou metodiku.

4) "Abyste dnes viděli alespoň nějaká čísla, uvedu výsledky blacklistů, které nepoužívají "pasti", ale obsahují počítače, které jsou špatně nakonfigurované." - netuším, co jsou "pasti"; dále netuším, co myslíte pojmem "špatně nakonfidurovaný počítač" - je to open relay SMTP server, "vyhackovaný počítač koncového uživatele", "vyheckovaný server" nebo něco jiného?

Ondřej Bouda

Duverivejsi lidi na to s velkou pravdepodobnosti odpovi. Spammer tim ziska _prinejmensim_ seznam platnych, aktivnich adres lidi, kteri jsou nachylnejsi nechat se ukecat. Kdo vi, jake dalsi moznosti si spammeri vymysli.

.. 600MB příloha .. to je asi nějaký omyl?
A pokud to není omyl, tak se to takhle přihlouple nedá řešit.
To se dělá tak, že uživatel onu přílohu umístí na svou WWW-stránku a příjemci napíše dopis "sem si klikněte na můj odkaz (ale možná si k tomu obstarejte extra klienta)"
(I když každý jiný čllověk než Krsek by to asi ještě rozdělil na kusy po 100MB. - Ale když tuší, že to příjemce neumí spojit, tak to potom možná v celku nechá.)

Pouziva, ale "inteligentne" - viz zaver druheho dilu.

Ale tys tam psal o "petabajtech" - proto jsem reagoval na diskovou kapacitu.

Jeden znamy si takto kupoval auto za "pouhy" milion korun. Ani tak nechtel usetrit, jako mel specificke prani ohledne vybavy. Protoze vedel, ze to co chce je nestandardni, tak kontaktoval velke mnozstvi (radove desitky) autoprodejcu. Mailem, protoze to bylo o dost rychlejsi, nez kazdemu z nich zavolat a minutu cekat, nez vas prepoji na nekoho kdo vam sdeli potrebne informace.

Netvrdim, ze nas touto formou nikdy nikdo nekontaktoval, ale muzu s jistotou tvrdit, ze v takovem pripade neslo nikdy o nic, co by z naseho pohledu vypadalo nejak vyznamne. Zpravidla v techto pripadech jde o kontrakty za nekolik set korun, kdy se ten, kdo obesle vetsi mnozstvi firem, ktere pozadovane oficialne nabizeji, snazi pozadovane ziskat o 50 Kc levneji, nez se to bezne nabizi. V techto pripadech by se samozrejme dotycnemu jakakoli jina forma komunikace prodrazila vic, nez by uspora tech 50 korun prinesla.

V prapadech, kdy o neco opravdu jde, nas zajmeci kontaktuji jinou, spolehlivejsi, formou, pripadne kombinaci obojiho - napr. zazvoni telefon, nekdo neznamy se predstavi a rekne : "Pred chvili jsme Vam poslal mail, ve kterem jsem pomerne podrobne popsal, co bych od Vas potreboval a zajima mne, jestli jste schopni to pro nas zrealizovat. Muzete se na to, prosim, podivat a pokud nic nedoslo, zavolat mi zpet na ...., pokusim se Vam to poslat jinou cestou".

Ani se vam nikdy nestalo, ze se objevil novy zakaznik, ktery si pozdeji objednal vyznamnou zakazku a ten zakaznik se poprve ozval mailem (bez telefonickeho overeni)?
Ze vas proste kontaktoval jako jednu z mnoha firem a nakonec si z toho byl obchod jenom diky tomu, ze jste mu vcas a spravne na mail odpovedeli co chtel slyset?

Na golfu, tenisu, nebo v kancelari se vetsinou dojednavaji blizsi podrobnosti pote, co se navaze otukavaci kontakt. A ten spousta lidi dela mailem.

No ja bych za daleko dulezitejsi z pohledu realne infrastruktury povazoval to, ze zatimco blokace na zaklade seznamu vede k odmitnuti posty uz na zaklade uvodni komunikace (minimum dat), zatimco post processing, krome toho, ze je nesrovnatelne vice narocny na zdroje, tak uz zpracovava neco, co stejne vsechny potrebne kapacity systemu sezralo, jen nebude doruceno do spravne schranky.

A jak rikam, problem s vyporadanim mailu je na stroji, ktery ho byl ochoten prijmout k doruceni, v pripade, ze ho korektne odmitnu, ma problem nekdo jiny a treba i velky problem, je to jeho vec a vec jeho politiky, klidne i politickeho rozhodnuti.

Bez ohledu na to, jak to chodi v telenovelach, muzu s klidem rict, ze nabidka na opravdu vyznamnou zakazku (nemusi jit zrovna o miliony, i par tisic muze byt dobrych) nam jeste nikdy mejlem (nebo jenom mejlem) neprisla a kdyz cokoli k vyznamne zakazce nekomu posilam mejlem ja, nikdy nezapomenu telefonicky overit, jestli mu to doslo.

Pokud jde o ten nejcastejsi zpusob, jak k tomu dochazi, nerikam, ze to musi byt zrovna na golfu nebo na tenisu, nekdy staci i posedet u kavy v kancelari.

Ruzne spamfiltry se na netu z praktickych a mne pochopitelnych duvodu staly temer nezbytnym pomocnikem pri trideni elektronicke posty a tak pri tomto druhu komunikace (zejmena pri komunikaci s jeste neodzkousenym protejskem) nikdy nespoleham na to, ze moje zprava v poradku dosla a totez samozrejme ocekavam od ostatnich.

Chtel bych videt to HW zazemi Centra, kdyby ho postihla opravdu virova pohroma (staci na vstupu). Nevim o tom, ze by Ceskou republiku nejaka takova pohroma nekdy zasahla, ten vanek, co tu obcas fouka je prochazka ruzovym sadem. Mimochodem, opravdu je Vase antivirova pruchodnost minimalne nekolik desitek e-mailu za sekundu a to trvale (o spickach se nebavim)?

Dokud budeme (ISP) uzivatelum davat nebezpecne hracky bez odpovednostniho dopadu, tak to ani jinak nepujde. Ano, myslim si, ze paralela se zbrani, na kterou nepotrebuji zbrojni pas vlozenou do ruky ditete je na miste (zbran - spam, dite - BFU). Zatimto v pripade zbrane diteti budete kricet, jak je mozne, ze byl nekdo tak nezodpovedny, ze tuto 'hracku' dal diteti do rukou, v druhem pripade povazujete za normalni (neb Centrum se s toho svinstva taky nestiti, hlavne, ze jsou z toho love) anonymni dial-up.

Pokud se bavime o tech oblastech, tak ISP infrastruktura a informovanost je na pomerne dobre urovni, co treba rozumne pripojeni s pevnou IP adresou... - to uz by spoustu veci resilo...

A ci je to problem? O tom, jak to dopada, kdyz se pocitace snazi uhodnout co tim chtel vlastne basnik rici vime sve a kupodivu i ten slovutny a mocny se nakonec obratil na pravou viru a sel do sebe.... - co myslite, proc asi?

Ano, nabidka sdelena nesrozumitelnym zpusoebm je stejne na dve veci...

No vidite, z databazi jednotlivych RIR se neda uspokojive vypozorovat, jak je uzivatel pripojen.

A jak vis, ze Centrum blacklisty nepouziva?

Pokud Centrum blacklisty pouziva, bude to pro me zajimava a prinosna informace. Predpokladam, ze takovou ifnromaci muzes potvrdit :-)

Co se tyce dimenzovatelnosti systemu - psal jsi, ze to je jen otazka disku. Jenze ona to proste jen otazka disku neni. Spousta systemu, kde lide ctou postu neni pouze MTA, ale plni nejake dalsi - treba groupwarove funkce.

Oni totiz uzivatele take zaroven chteji, aby jim normalni posta chodila, proto se musi utahovat opatrne ;-) A jak vis, ze Centrum blacklisty nepouziva?

K tomu objemu posty: Tak jsem to take myslel, kdyz jsem psal, ze system je to schopen zvladnout. System je striktne psany tak, aby byl co nejvic skalovatelny.

... ja myslim, ze oba vime, o cem je rec ...

... jeste jedna drobnost. Objem posty, ktery je dany postovni server schopen zvladnout samozrejme NENI jen o velikosti diskoveho pole. Cekal bych, ze clovek, ktery je v blizkem kontaktu s provozovatelevem velkeho freemailu, bude mit trosku poneti o tom, co by takova vec mela umet.

Ty prilohy proste uzivatele chteji a chteji je posilat jednoduse a ne je slozite (pro ne) sypat nekam na FTP. Samozrejme, ze se ty velke prilohy SMTP neposilaji.

Uzivatele chteji ledacos. Treba by taky chteli, aby jim nechodil zadny SPAM. Jedina cesta k tomu je utahnout srouby nasadit vsechno mozne, vcetne blacklistu. Tak proc je Centrum nenasadilo? UZIVATELE TO CHTEJI!

Mimochodem, jak chces poslat 600 MB prilohu jinak nez pres SMTP? Jako do nakyho web formulare?

Mimochodem, vetsina ISP ma dnes takovou sit, ktera se s tim, ze vsichni uzivatele chteji tahat, nejak vyrovna.

Shrnu své reakce do jednoho příspěvku.

Předně bych chtěl zdůraznit, že nasazení blacklistu nevylučuje použití dalších technik boje proti spamu (např. zmíněné adaptační filtry).

Snížení zátěže: Nepřijetím zprávy ušetříte přenosové pásmo, diskový prostor, čas CPU pro antivirovou kontrolu, čas CPU pro detekci spamu. A hlavně ušetřím čas, který by uživatel mohl strávit tím, že bude přemýšlet (a volat na firemní technickou podporu), zda to je či není důležitý mail. Protože bayesovský filtr samozřejmě může propustit spam.
Nasazení blacklistu je samozřejmě na Vás.

Pravděpodobnost přijetí hamu: Pokud nelze určit stroj / doménu, se kterou nikdy nekomunikuji, jednoduše není možné použít blacklist. (Doporučuji vnímat i slova jako většina, pravděpodobně, ...)

A co by z toho ti spammeri meli? Sice jejich mail dojde, ale nema to pro ne vubec, ale vubec zadny efekt. Nebo Vy nejaky vidite?

http://www.hashcash.org/ - ke kazdemu adresatovi mailu je pripocteny hash, na jehoz spocitani je treba urcity strojovy cas, obvykle mezi 0.1s-1s, prijemce si muze overit, ze odesilatel 'investoval' do zpravy urcite prostredky.

Je to spam. Jsem si 100% jist, ze to neni regulerni mail se spatne napsanou adresou.

Vim, ze nemuzu od antispamu chtit, aby tohle detekoval. Ale dal jsem to sem jako priklad spamu, na kterem Bayes selze. Myslim, ze neni az tak nepravdepodobna myslenka, ze casem zacnou spammeri pouzivat maily podobneho typu, az zjisti, ze tohle je cesta, jak se pres protispamove filtry dostat.

…zda ta IP adresa příchozí zprávy je nějaký dial-up, ADSL nebo CableTV a ze které země. Potom by mail server jednoduchými pravidly odmítnul všechny takové z celého světa mimo dialupů, ADSL a kabelovky vlastních zaměstnanců (whitelist).

Nevidím jediný rozumný důvod, proč by MTA měl něco takového dělat.

Také bych velmi jednoduše odstřihnul celou Latinskou Ameriku, Čínu, Koreu, Taiwan, Saudskou Arabii, Egypt, Indonésii, Izrael,...

A tady už vůbec ne…

> Přestože jinak na ně nadávám, tak to dělá třeba SpamCop.

SpamCop mam v testu take, priste uvidite, jak se to projevilo ;-)


> Opravdu to vypada ze ne, tak to je asi moje pamet jeste
> horsi, nez si pamatuju. A nedelo se tak nekdy v minulosti?

Mozna ano, to uz opravdu nevim.


> U filtrovani na dalsich internich serverech neexistuje dobra
> moznost jak maily odmitat, musi se bud mazat, nebo padat do
> nejakeho do spamboxu.

Ja mluvim spis o pripadech, kdy mam schranku nekde jinde (treba starou) a nechavam si z ni preposilat postu do nove schranky. (Nez o pripadu preposilani mezi jednotlivymi servery firmy.)

Tohle neni spam. Tohle je tak maximalne neco, co ma zahnojit autowhitelist nebo podobne technologie, pripadne sehnat adresy. Neni tam zadny odkaz, zadna kontaktni adresa, zadna nabidka. Myslim, ze ani neni mozna pozadovat od antispamovych nastroju, aby neco podobneho detekovaly. Mimochodem, jste si na 100% jist, ze to neni regulerni mail se spatne napsanou adresou?

>> hlasenych spamu lze porovnavat s celkovym objemem
>> odesilane> posty
>
> A dela to nekdo?

Přestože jinak na ně nadávám, tak to dělá třeba SpamCop.

>> Pokud vim, tak Centrum krome bayesovskeho antispamu...
> O tom nevim, ze by se to delo.

Opravdu to vypada ze ne, tak to je asi moje pamet jeste horsi, nez si pamatuju. A nedelo se tak nekdy v minulosti?

>> Ze pri preposilani se bud vse odmita nebo prijima - to ja takove nic proti nicemu
>To je naopak dost zasadni problem. Rict "Antispamova
>ochrana by mela byt uz na tom serveru, ze ktereho se
>preposila." je ve stylu "Prohlasime tmu za standard.".
>Mail je tu pro uzivatele a ti (ve sve vetsine) chteji,
>aby jim spam filtr filtroval i preposlane maily.

U filtrovani na dalsich internich serverech neexistuje dobra moznost jak maily odmitat, musi se bud mazat, nebo padat do nejakeho do spamboxu.

Z hlediska spamu je zajímavé, jestli je adresa dynamicky přidělovaná nebo statická, zkoumat, jestli je to fyzicky catv nebo dsl nema valny smysl. Znam nekolik firem, ktere maji garantovanou nekolikamegovou linku se statickou ip pres kabelovku a netusim, proc by to melo byt "mene duveryhodne" nez "pevna linka" treba pres nekolik wifi hopu.

To je pravda "obvykle", ale ne vzdy.

hmm pokuds nikdy nedostal pozvanku formou plakatu = obrazek obsahujici grafiku s textem, ale samotnej mail zadnej text krome predmetu neobsauje, tak te to mozna omlouva ... jinak ses totalni debil ;)

Výměna žárovky je na úrovni zrušeni účtu po odchodu zaměstance a vytvoření nového pro nově příchozího. Na to odborníka nepotřebujete, na to stačí poučený laik.

Z DNS nebo whois databáze (musela by být často aktualizována) by se mělo dát automatizovaně zjistit (jednotné rozhraní u Apnic, Ripe Arin, Lacnic, ...), zda ta IP adresa příchozí zprávy je nějaký dial-up, ADSL nebo CableTV a ze které země. Potom by mail server jednoduchými pravidly odmítnul všechny takové z celého světa mimo dialupů, ADSL a kabelovky vlastních zaměstnanců (whitelist).
Také bych velmi jednoduše odstřihnul celou Latinskou Ameriku, Čínu, Koreu, Taiwan, Saudskou Arabii, Egypt, Indonésii, Izrael,...

Větší důvěru u mně budí firmy s IP typu LL. Francouz s ADSL nebo Holanďan s kabelovkou nám nemá co nabídnout a ani my jemu ne (zatím).

Zatím to musím řešit vlastním, ručně plněným, blacklistem. Na ostatních BL se občas objeví Seznam nebo třeba Volný a to jsou potencionální zákazníci, obchodní partneři anebo zaměstnanci.

Nekoukej tolik na telenovely.
Při řešení obchodů se často využívá emailové korespondence (nemusí jít o získání zakázky, ale například zaslání technické specifikace).
Nedělá dobrý dojem, když email nepřijde.

Milionove obchody je trochu nadsazene, ale nemusi to byt moc.
Dva miliony, to jsou ctyri auta. Dokazu si dost dobre predstavit, jak nekdo rozesle hromadu mailu s pozadavky a ceka na nabidky. A protoze to jsou 4 auta, tak zacnou autosalony nabizet zajimave slevy a kupec si urcite vybere. To, ze dva neodpovedeli je mozna divne, ale dobrych nabidek je dost nato aby se jim tam volalo.
Jestli ti lide, kteri maji nakupy na starosti vi, ze maily mohou byt obcas nedoruceny je docela otazka.

ale u nas se milionove obchody domlouvaji u golfu nebo u tenisu. Mejlem si domlouvame akorat kdy se tam sejdem a kdyz nekdo dlouho neodpovida, zavolam mu telefonem.

A nebo taky rovnou sednout do letadla a zaletet tam, ze.

Neznam ted ty konkretni priklady, takze nevim, jak moc tezke je asociovat klic s emailem.

Jen mě tak napadlo - co když spamer předhodí (zřejmě po kouskách) svojí databázi emailů nějakému gpg key serveru?

ale no tak ;-) navic to nebyl exchange ale IIS a stacilo se ozvat. timto ti za takovy pristup dekuju ;-)

Ja se na to tak divam. 20% odmitnutych mailu se na zatizeni mailserveru podstatne projevuje. Kazdy mail, ktery je odmitnuty hned po navazani komunikace setri konektivitu (neprenasi se data) a neni ho potreba skenovat antivirem a antispamem.
A jako velkou vyhodu pro odesilatele povazuji to, ze se mu nedorucitelny mail VRATI a ma tak moznost reagovat. Coz u ruznych Bayesu a jinych "cernych der" na spamy proste neni zaruceno.

...pozvánka poslaná jako obrázek bez textu...

Na ty akci pro zvane pak musel byt ale naval!! :-)

Jasne, ale berte to tak, ze kofigurace mail serveru = chipovani motoru, to si taky delate sam ? (tedy pokud vite o co jde).

Ono totiz jakmile to jednou je nastaveno, nemusi se na to mesice, nekdy roky sahat. Jen je treba sledovat pripadne diry a zaplatovat a to tak jako tak proste nekdo delat MUSI a pokud tomu zamestanaci prd rozumi, tak si i jednocloveka firma najme nekoho (dam 500 sousedovi) za to ze to nastavi a udrzuje.

Tak zvednu telefon a zavolam tam ne ? To je to takovej problem ?

Treba vymenu zarovky, pojistky apod. jo.

Hm, antispam Centra jej opravdu nezachyti:

spamScore=0.303623, msgHamScore=0.553069
score: 0.249446
RESULT: HAM

Je otazka, zda by se na podobne spamy dokazal adaptovat - podle mne ano, pokud by sly odlisit od Vasi normalni posty.

Aby tu bylo neco konkretniho, tak tady je ten mail. Jen jsem zmenil hlavicku To: a odrizl par Received: (ty, ktere uz se tykaly meho serveru). IMHO by k dokonalosti zbyvalo jen odstraneni toho zbytecneho HTML.

Return-Path: <dickybernielove@hotmail.com>
Received: from [65.54.249.109] (helo=omc3-s35.bay6.hotmail.com)
Received: from hotmail.com ([64.4.51.43]) by omc3-s35.bay6.hotmail.com with Microsoft SMTPSVC(6.0.3790.211);
Thu, 19 May 2005 13:41:17 -0700
Received: from mail pickup service by hotmail.com with Microsoft SMTPSVC;
Thu, 19 May 2005 13:41:16 -0700
Message-ID: <BAY107-F33EA044AD40699DA76C2DBB4080@phx.gbl>
Received: from 64.4.51.220 by by107fd.bay107.hotmail.msn.com with HTTP;
Thu, 19 May 2005 20:41:16 GMT
X-Originating-IP: [64.4.51.220]
X-Originating-Email: [dickybernielove@hotmail.com]
X-Sender: dickybernielove@hotmail.com
From: "bryan cornish" <dickybernielove@hotmail.com>
To: xxxxxxxxxx@xxxxxxxxxxx.cz
Bcc:
Subject: re: films and filming purchase
Date: Thu, 19 May 2005 20:41:16 +0000
Mime-Version: 1.0
Content-Type: text/html; format=flowed
X-OriginalArrivalTime: 19 May 2005 20:41:16.0996 (UTC) FILETIME=[1AE3B840:01C55CB3]

<html><div style='background-color:'><DIV class=RTE>Hi. You purchased the Films and Filming magazine from me through e bay, about&nbsp;4 days ago, and I haven't heard from you since with regards to payment. I wondered if you had not received the invoice or perhaps had changed your mind! I'd be grateful if you could let me know. best wishes. Bryan</DIV></div></html>

Ja bych rekl, ze ten druhy odstavec, ze ktereho je ten citat je dost konkretni a jasne rika o co jde. Ale je mozne, ze to tam presto neni napsane dost jasne :-)

Pokud se vam nejaka terminologie nezda "dost odborna", mohl byste to specifikovat? Je mozne ze je to proto, ze se snazim, aby to bylo srozumitelne i laikum, proto ten kockopes.

Napriklad mne test Sorbs na open relay zachytil pouze 0.02% spamu... I kdyz je mozne ze je to spis problem Sorbs, ze jine open relay listy budou lepsi - take mi to prijde nejak malo.

V hlavickach je toho vic, nez jen ta tri policka. A i podle nich se da neco poznat :-)

Neznam ted ty konkretni priklady, takze nevim, jak moc tezke je asociovat klic s emailem. Navic to co uvadite budou pripady "techies" a ti nejsou vetsinou cilem spamu (i kdyz mozna pro ten "originalni software za nizke ceny"...).

Nojo, ale proc si ho ti lide z mych predchozich prikladu porizovali a nastavovali?

Naprosto souhlasím. Můj příspěvek je tu proto, že v článku chybí - článek je formulován obecně, přestože se týká specifických situací. Na začátku článku by mělo být přesně definováno, jakých situací se týká - je tam sice formulace:
"Čím větší mailový server spravujete, tím více bude vaše situace podobná té popsané.",
ale ta je velice vágní a dává článku vyznít, jako by blacklisty byly *všude* zlem (což je pochopitelně nesmysl).

> Domnivam se take, ze blacklisty poskozuji nejvice
> gigasystemy

Zcela souhlasim - pisu to i v clanku.

Ta zaloha byla jen dalsi priklad problemu, na kterem se obvykle "setri". Jinak neznam konkretni situaci, takze tezko muzu nejak realne oponovat ;) Mail Centra je virvym bourim take vystaven a obcas zpusobi nejake problemy, ale nikdy ne velke.

> Mam skoro dojem, ze je zalozena na tom, ze nabizite
> nesmyslnou kapacitu schranky, na kterou nemate realne
> technologii

Hm, a kdyz jsi konzultoval pro ISP, taky jsi jim rikal, ze musi mit dostupnou dostatecnou konektivitu pro pripad, ze vsichni jejich uzivatele zacnou najednou tahat? ;-) Jinak technologie je postavena tak ze to zvladne, jde jen o diskovy prostor.

Ty prilohy proste uzivatele chteji a chteji je posilat jednoduse a ne je slozite (pro ne) sypat nekam na FTP. Samozrejme, ze se ty velke prilohy SMTP neposilaji.

Divate se na problem z pozice male firmy. Zkuste se na nej podivat z pohledu ISP/ASP se stovkami tisic zakazniku, stejne jako se na problem diva autor clanku a nekteri komentujici. Ujistuji Vas, ze situace v takovem prostredi je RADIKALNE odlisna od toho, co popisujete Vy.

Pochopitelne zadne doporuceni neni vhodne brat absolutne. Pro malou firmicku nebo komunitni server je mozno nasadit nejen RBLka, ale klidne i zablokovat 95% celeho sveta a zadnemu z uzivatelu to neublizi. Jen je treba pamatovat na rizika.

Prosím použití přesné terminologie v článku. Ten ani-odborný-ani-laicky-srozumitelný styl je pro mě místy téměř nesrozumitelný :(
Navíc působí dojmem, že "článek smolil nějaký amatér".

1) Co se týče spam filtru, tvrzení, že kvůli odmítnutému emailu přijdu o miliony je směšné. Pokud jsem opravdu vážným kandidátem na dodavatele, pak se mi zřejmě ozvou znovu jiným způsobem, aby zjistili, proč na mail neodpovídám (všichni víme, že žádná technologie není 100% spolehlivá). A pokud nejsem natolik vážným kandidátem, aby mě kontaktovali znovu, pak není příliš pravděpodobné, že bych právě já vyhrál výběrové řízení = že jsem odmítnutím mailu utrpěl ztrátu. Jinými slovy: jeden vyhozený mail s poptávkou je (dle mého názoru) relativně zanedbatelný (záleží samozřejmě na druhu podnikání).

2) Z jiného úhlu pohledu: čas, který zaměstnanci ušetří na ručním probíráním spamu, je nezpochybnitelný okamžitý zisk - a ten v praxi obvykle více než vyváží možné (a velice nepravděpodobné!) riziko (neznámo jak velké/malé) ztráty. Ještě jednou: srovnáváme tu jistý zisk (ušetřené náklady, zvýšená produktivita práce) s hypotetickou ztrátou (přičemž pravděpodobnost velké ztráty je velice malá) - podle mě není co řešit (a před šéfem si to budu umět obhájit, popřípadě i vyčíslit).

3) Je třeba vzít v úvahu i možnosti firmy (volné prostředky) investovat do těchto technologií. Je lepší mít zdarma blacklist než žádný spam filtr, protože (dle mého odhadu) je riziko false-positive mnohem menší než riziko, že zaměstnanec se v každodením mazání spamu "překlikne" a omylem smaže reálnou poptávku (aniž by si toho všiml). Je jasné, že pokud mohu investovat do technologií více a pořídit lepší řešení (bayesovský filtr), pak to udělám - ale přesto si nejsem jist, že (po zvážení všech přímých i nepřímých nákladů) se to firmě vyplatí.

4) K účinnosti blacklistů
Spam filtr jsem řešil v minulém zaměstnání asi před rokem a půl na Exchange 2K serveru. Už rok neadminuju a ani moc nesleduju vývoj, takže je možné, že je dnes situace jiná, ale: pracoval jsem v menší firmě, kde v té době nebyly volné finance na zakoupení čehokoliv. Použil jsem proto zdarma dostupnou verzi (teď si nevzpomínám čeho) - každopádně tato free verze byla okleštěná jen na DNS black list (open relay) a white list (automaticky aktualizovaný odesílanou poštou). Příjemně mě překvapilo, že účinnost blacklistu (na open relay) byla více než 90%. Maily vyřazené jako spam se přesouvaly do vyhrazené složky v mailboxu příjemce. První tři týdny jsem tuto složku prohlížel velice obezřetně, pak už jen "zběžně"; pro jistotu jsem stejně obezřetně prohlížel poštu i šéfovi (s jeho souhlasem, pochopitelně); a nikdy jsem nenašel false positive. Blacklisty open relay SMTP bych tedy určitě nezatracoval.

Ahoj Michale,
mozna sis vsiml, ze si davam docela pozor na to, abych byl presny. Kdyz rikam, ze vysledky maji hodne spolecneho s centrem, maji hodne spolecneho s centrem.

Domnivam se take, ze blacklisty poskozuji nejvice gigasystemy (nikoliv objem postovni schranky, ale objem posty, ktery pres ne tece). Vychazi to nutne z principu, na kterych je zalozen freemail (anonymita uzivatelu, velke mnozstvi protekajicich e-mailu, zadna AUP). Mensi systemy jsou dotcene zpisem na blacklist predevsim skrz spatnou konfiguraci.

Vetsina tech nakladu, o kterych jsem psal, nebyla zpusobena neexistenci zalohy, ale proste tim, ze do systemu prislo tak velke mnozstvi posty, ze se s ni system proste nevyporadal - podotykam, ze to mnozstvi posty nebylo takove, ze by ho zvladlo zelezo za 50.000 kacek. Podotykam, ze jde o firmy, ktere na IT vynakladaji pomerne velke mnozstvi penez a tyhle penize jsou alokovany pomerne efektivne.

Nevim, na cem je zalozena image centra. Mam skoro dojem, ze je zalozena na tom, ze nabizite nesmyslnou kapacitu schranky, na kterou nemate realne technologii (budu rad, kdyz napises, kolik petabytu maji vase diskova pole), a nesmyslne velke prilohy, ktere nici uzivatelske navyky uzivatelu :-( Ale jak pises, je to politika.

Pak by se dalo orientovat jen podle hlavicek.

Osobne tomu ale neverim, protoze davat dohromady takovouto databazi a sifrovat kazdy mail zvlast by bylo dost narocne [v takovych objemech, jake ma spam dnes], takze by spammerum asi znacne stouply naklady. Rozhodne jsem neslysel o nikom kdo by to delal :-)

A s tim, ze "zitra to bude bezna vec" - to slycham dost dlouho. Relita je takova, ze na zpravy "hele, jaky vtipny obrazek jsem dostal" a "kdy pujdem zitra na pivo?" proste sifrovani neni potreba.

Dobry den,
ja jsem mala firma a auto si presto davam do servisu. Vy si auta opravujete sam?

jak funguje Bayes filtr pokud je mail (spam) podepsaný a zašifrovaný ? SMIME (SLL) nebo PGP, GPG

spamer podepíše svým soukr. certifikátem, pak zašifruje veřejnou částí adresáta (spousta lidí ji má např. na webu).
Zítra to bude běžná věc.

Predpokladam, ze si ted pripadate jako velky frajer. Konecne, proc ne. Kdo se chce pripravit o pristup tech zhruba 100.000 potencialnich ctenaru, muze. Jenom nechapu, proc se takhle predvadite na verejnosti.

Pripada mi to jako dost Cimrmanovske reseni ("Nebyly jste dnes hodne, nedam si po obede doutnik. Neplacte, samy jste si to zavinily!"). Ale kdo chce kam...

To je takový problém se domluvit s nějakým externistou co se bude stavovat na ty 3 hodiny měsíčně a zaplatí se mu jen ty 3 hodiny?

> Je to otazka pravidel pro zarazeni a vyrazeni, pocet
> hlasenych spamu lze porovnavat s celkovym objemem odesilane
> posty

A dela to nekdo?

> Pokud vim, tak Centrum krome bayesovskeho antispamu pouziva
> i dalsi kontroly, ktere lze povazovat za antispamove
> (kontrola existence domen z from a pod.).

O tom nevim, ze by se to delo.

> Ze pri preposilani se bud vse odmita nebo prijima - to ja
> takove nic proti nicemu

To je naopak dost zasadni problem. Rict "Antispamova ochrana by mela byt uz na tom serveru, ze ktereho se preposila." je ve stylu "Prohlasime tmu za standard.". Mail je tu pro uzivatele a ti (ve sve vetsine) chteji, aby jim spam filtr filtroval i preposlane maily.

Jinak s tim zbytkem se da souhlasit.

Já s pár známýma a kamarádama provozuji jeden menší inet časopis a IP blokování využíváme docela dost - blokujem všechny rozsahy IP, patřících Telecomu :-)))

Protože nehodláme podporovat (téměř) monopolního zloděje, který zneužívá své postavení a bohužel tímpádem ani lidi, kteří mu to umožňují tím, že mu dávají své peníze - jeho uživatele :-)

Nevím, jestli by se to dalo brát jako diskriminace, ale spousta webů to tak dělá taky...
Ovšem jsem si jistý, že pokud by to takto dělal nějaký provozovatel významné služby na netu (např. Skype, ICQ, google, české vyhledávače atd.), což je ale jen opravdu teorie, tak by Telecom asi dost vřískal, protože by díky tomu měl značný odliv zákazníků (na co je vám připojení, z kterýho se na 50% služeb nedostanete?) a odvolával by se až někam na mezigalaktický soud :-)))

Ten mail jsem cetl samozrejme v puvodni textove podobe, tedy vcetne vsech hlavicek (protoze je pro me jednodussi file managerem zobrazit adresar mailserveru nez spoustet postovniho klienta). A porad tvrdim, ze na tom mailu nebylo nic, cim by to Bayes rozlisil od normalniho mailu. Takze jako kontakt samozrejme nebylo URL ale proste (na pohled normalni) adresa odesilatele. Aukcemi se zabyvam, anglictina tvori vetsi cast mailu, co dostavam; podezrele bylo vicemene jen to, ze to prislo na jinou domenu nez by melo (a take to, ze jsem v te dobe zadnou aktivni aukci nemel).

Nejde ani tak o to nakolik byl dany blacklist seriozni.
V obecne rovine jde o to, ze nekdo o kom jste doposud nikdy neslysel vam muze zpusobit velke problemy. Vas partner zaplatil sluzbu(blacklist) a vy s nim ted nemuzete komunikovat
a ani se proti tomu nemate jak branit, protoze provozovatel
backlistu ma nefunkcni web, na maily neeraguje, ...

Dalo by se rict, ze pro spravce smtp serveru blacklisty predstavuji podobny typ problemu jako spam nebo hackeri.

Uvodem par uvedeni veci na pravou miru

Udajna "Achillova pata" - ze pri umistovani na blacklist se udajne nebere v potaz podil hamu a spamu ze serveru - nema s technologii RBL nic spolecneho. Je to otazka pravidel pro zarazeni a vyrazeni, pocet hlasenych spamu lze porovnavat s celkovym objemem odesilane posty, ktery samozrejme taky lze (zhruba) merit. Verejne dostupna databaze - napr. SenderBase.

Ze pri preposilani se bud vse odmita nebo prijima - to ja takove nic proti nicemu. Antispamova ochrana by mela byt uz na tom serveru, ze ktereho se preposila.

Otazka k puvodu dat - pokud vim, tak Centrum krome bayesovskeho antispamu pouziva i dalsi kontroly, ktere lze povazovat za antispamove (kontrola existence domen z from a pod.). Pokud tomu tak je, tak na tehle kontrolach konci dalsi nespecifikovana cast posty, kterou by dost mozna poznaly i blacklisty.

A ted k rozumnemu pouziti. Ma smysl porovnavat state-of-art technologie. State-of-art pouziti blacklistu je takove, ze se vezmou vsechny informace ze smtp pred DATA a na tom se provede nejaka kontrola, napriklad se otestuje existence domen, helo, pritomnost ruzneych veci v ruznych blacklistech a dialup-user-listech , vysledky
se _zvazi_ a vyrkne ortel. Pustit, pripadne predat do graylistingu s 4xx nebo odmitnout s vysvetlenim s 5xx.

Popsane umi napriklad Postfix, ktery je schopen se zeptat externiho "rozhodovaciho serveru", krey si bud muze kazdy napsat, nebo jsou hotovy napriklad servery pro
vazene uziti RBL a koreknost udaje ze smtp, pro graylisting.

Vyhodou je minimalni pocetni narocnost, naprosta koreknost (zadne beze stopy mizejici maily) a take uz zminena vlastnost NEDORUCOVANI spamu. Zadnou statistiku chybovosti
v ruce nemam, ale odhadoval bych radove stejne vysledky jako u obsahoveho filtru centra.

A kdo by ty IT inzenyry platil??? Na co potrebuje mala firma se 2-5 zamestnanci dalsiho "machra" pres IT, ktereho casova vytizenost by byla tak 3 clovekodny do mesice?

Nechapu cemu se smejete. Pokud vy nedelate obchody tak si dovedu predstavit ze vam moznost milionoveho obchodu pres email prijde smesna. Ale ja napriklad dnes vetsinu obchodnich prilezitosti zjistuji pres dosle poptavky pres email. Nepokladam sve spolecnosti za zadne velke firmy ale jsem si jist ze ani vetsi firmy neobchoduji vetsinove po telefonu, faxu, telexu nebo dopisu. IMHO vetsina prvotnich kontaktu je pres email. Mard.

Vazeny pane, firma ktera podnika mimo IT si na servis bud poridi zamestnance nebo uzavre smlouvu o sprave s externi firmou stejne jako ja (clovek z IT) si necham auto opravovat v autoservisu a ne, ze se v tom rejpu sam a pak se divim, ze to spatne jede (pripadne brzdi). Prestante podlehat dojmu, ze kdyz jde vsechno "naklikat", ze je to vlastne zcela trivialni a bez problemu.

Prechytracit by je mohl, ale nemusel: Jednak se podivejte do hlavicek, co se tam vyskytuje. U takovyhle mailu delaji hlavicky hodne. Dale musel byt v mailu uveden nejaky kontakt na odesilatele (WWW), ne? To se samozrejme take vyhodnocuje.

Dale jde o to, jake maily dostavate na ten ucet. Pokud to bude obchodni korespondence v jazyce toho spamu (anglictina?), tak by mozna prosel. Pokud se navic zabyvate aukcemi, tak skoro urcite.

Na druhou stranu, pokud "obchodni" korespondenci v anglictine nevedete, je dost slusna sance, ze by byl dopis vyhodnocen jako spam.

Uhodil jste hrebicek na hlavicku. Sysopove si radi hraji na boha bez ohledu na sekundarni dopady jejich pocinani. Takze paradoxne se i mohou pripravit o praci hlavne ze zustanou pysni a mohou poucovat druhou stranu, ze si ma spravne nastavit pocitac. Modelova situace: Uzivatel site UPC pouziva SMTP od spolecnosti UPC a snazi se napsat tyden objednavku a vraci se mu info od admina firmy, ze jeho email byl zahozen, protoze smtp.upc.cz je na blacklistu. Tak to jsem byl tenkrat absolutne v prdeli.
P.S. objednavku za firmu z free web mailu neposilam, protoze to neni seriozni.
P.S.2 firma, ktera se podnika treba v autodoprave nebo v jinem sektoru na hony vzdalenem informatice nebude disponovat a nebude zivit zamestnance, ktery bude mit na starosti chod SMTP serveru a podobne.
P.S.3 idealni pripad je restaurace, ktera si poridi pripojeni do internetu a horko tezko dokaze vytukat objednavku provozni, protoze je to jediny clovek, ktery se neboji nasledku stisknuti tlacitka Power on na PC. Provozni je schopen komunikovat se svetem, ale jinak je absolutne vedle, neni tedy schopen ani resit takove problemy a pro ne je take internet.

Obchod za nekolik milionu pres email....hehehehehehehehe

Ale co kdyz firma ma obchodni zajmy v oblastech, odkud pochazi vetsina spamu?

Mimochodem, zrovna vcera se mi vratila dulezita zprava s informaci, ze jsem blacklisted, protoze z mailserveru meho ISP bylo na mailserver ISP adresata odeslano prilis mnoho spamu. Jiste verite, ze ani ja ani adresat jsme nebyli takto nastavenou protispamovou ochranou nadseni.

Ted mi dosel "spam", ktery podle me Bayesianske filtry prechytraci v pohode. Finta je v tom, ze ten spam vypada jako uplne normalni dopis, ktery bych - kdyby mi prisel v jinem kontextu - i ja sam klidne zaradil do nespamu. Samozrejme to znamena, ze nemuze propagovat konkretni produkt, ale hezky by se dal pouzit treba k ziskavani platnych adres duverivych uzivatelu.

(Ten spam se nesl zhruba v duchu "Ahoj, jmenuju se XY a jsem prodavajici v aukci, ktere jsi se zucastnil. Bohuzel jsem od tebe nedostal zadnou zpravu, takze se chci zeptat, jestli mas zajem dodrzet sve zavazky...")

> Zaprvé je exporimentálně ověřeno že dobrá kombinace RBL
> potlačí kolem 80% spamu. Bez toho by v mém případě mail v
> podstatě nešel používat.

Nemyli, pouze jste prehledl, ze toto je prvni cast. Tech 80% mi vyslo taky. Ale s vysokou chybovosti (false positive rate). Vysledky budou v druhe casti.

> Tím pádem nejsou mylně pozitivní případy fatální.

A kolik % lidi si da tu praci, zaridi vymazani z blacklistu a posle mail znovu? A jak rychle to zvladne? A co na to maillisty?

> Nemám problem poznat co je spam, takže prosté označení
> nebo zatřídění mi moc nepomůže.

Ale pomuze, protoze mate (jako clovek) take nejakou chybovost. Je rozdil, kdyz mam ve schrance 100 normalnich mailu a 100 spamu, nebo 100 normanich mailu a mezi nimi 2 spamy. Pak jen cas od casu rychle prohlednu spamovy kos (pokud filtru neverim).

Na můj mail denně chodí kolem 10000 spamů. Po zařazení velmi tvrdého spamového programu to vypadá asi takto:

97% není vpuštěno na server (blacklist, nekorektně nastavený server apod.) Sice se v této kategorii objevují false positives (před pár měsíci jeden server zřejmě dokonce zablacklistoval celý Internet), ale protože takový mail není zahozen, ale vůbec není přijat, má odesílatel šanci se dozvědět, že mail nedošel.

1% vyhodí spamassassin podle pevných Bayesiánských filtrů

1,5% vyhodí pravidelně aktualizovaný seznam pravidel na false bounces

0,3% vyhodí druhý pravidelně učený spamassassin

0,1% vyhodím ručně jako nezozpoznaný spam

A nakonec zbyde 0,1% ham.

Bohužel se mezi false positives občas dostanou ti, kteří posílají neobvyklé maily (např. nedávno pozvánka poslaná jako obrázek bez textu, navíc z Outlooku 2003, který neumí česky podle RFC, pokud není nastaven na HTML). S tím však níc nenadělám, nehodlám denně strávit 8h čtením spamu.

Zaprvé je exporimentálně ověřeno že dobrá kombinace RBL potlačí kolem 80% spamu. Bez toho by v mém případě mail v podstatě nešel používat.

RBL ma oproti filtrům jednu zásadní výhodu. Odmítne mail přijmout bez manuální intervece příjemce a odesilatel se to dozví i s důvodem. Tím pádem nejsou mylně pozitivní případy fatální.

Schopnost označit mail jako spam je mi na houby, dokud se nerozhodnu věřit filtru natolik, abych ho nechal maily mazat automaticky. Nemám problem poznat co je spam, takže prosté označení nebo zatřídění mi moc nepomůže.

Jedna vlastovka jaro nedela... :-)

To ze nektere blacklisty maji prihlouplou politiku zarazovani a pak pripadne i delistace jeste neznamena, ze jsou takhle debilni uplne vsechny...

O.

Samozrejme "usetri 200 tisic na ztratach".

(Az pak jsem si uvedomil, ze pouzivas docasne odmitnuti v SMTP protokolu, tam je pravdepodobnost false pozitiv opravdu minimalizovana.)

Mozna je to o slovickach. Vysledky maji hodne spolecneho "s Centrem". S "antispamem Centra" uz mene.

> Co se tyce lajdackosti IT, jiste vis, ze v normalnich
> firmach koukaji trosku na naklady

No prave: Coze? Zalohovat? To je moc drahe a pracne. A pak bum, lehne disk a skody jdou (treba) do statisicu.

Vsechno je to o rizeni rizik. Pokud koupim za 50.000,- lepsi zelezo a v horizontu 2 let mi to usetri 200 tisic milion na ztratach, tak to je DOBRE rozhodnoti.

Na druhou stranu mit jeste jedno Centrum by znamenalo naklady vetsi nez riziko vypadku krat skody pri vypadku, takze to nedelame.

Ad ten konec: To je uz "politicke" rozhodnuti. V Centru jsme o greylistingu uvazovali. Dospeli jsme k tomu, ze radsi zaplatime zvysene naklady, nez riskovat ztratu image, ze "pomalu dorucujeme" (i kdyz si samozrejme budes pamatovat "korektni" servery, to riziko tam je). Pokud mas jine priority, tak samozrejme "no offense meant".

Kromě uvedených faktů hraje roli také to, že důležitá nabídka je obvykle poslaná z normálního e-mailového klienta, který znaky v hlavičkách ošetřuje správně.

Stalo se nam, ze se nas mailserver se ocitl na blacklistu jedne placene databaze jenom kvuli tomu, ze na serveru
bezelo webove rozhrani k antiviru. Oni scanuji porty vsech
smtp serveru, kdyz zjisti, ze na nejakem nestandarnim portu
posloucha neidentifikovana aplikace(https), tak prohlasi server za hacknuty a daji vas na blacklist. A ani vam nic neposlou.

Vyresilo se to tim, ze jsme na tom smtp serveru museli nainstalovat mozillu a pres jejich pretizeny(skoro nefunkcni)
webovy rozhrani jsme je museli presvedcit, ze nas smtp server
opravdu neni hacknutej.

Ach ne, asi jste bayesiansky filtr stale nepochopil ;-) Samozrejme se nic natvrdo nezahazuje a to ani kdyz ma v hlavickach nekorektni znaky.

Ale je to fakt, ktery se zapocita do celkoveho hodnoceni (stejne jako v prikladu "kdyz je odesilatel na blacklistu").

Odpovim si sam: uvedomil jsem si ze ten fakt ze jsou v hlavickach nekorektni znaky pouzijete jen jako vstup pro Bayesovsky filtr, ktery mate rozsiren tak, aby nehodnotil jen slova, ale i takoveto jevy. Potom samozrejme neni problem.

2, 3) takze zahodit dulezitou nabidku protoze ma v hlavickach nekorektni znaky je pro Vas prijatelne?

Michale,
muj pocet nedorucenych SPAMu jsou takove maily, u kterych se vzdalene MTA nepokusi o druhe doruceni. V teto souvislosti je tedy irelevantni hovori o false positives. Tedy pokud akceptujeme myslenku, ze MTA se ridi RFC (alespon temi zakladnimi).

Vysledky maji s antispamem centra spojeneho uplne vsechno :-) Uz jen proto, ze uvadis pouze data z toho systemu. Nema cenu to zastirat a predstavovat tady nejake univezalni reseni.

Co se tyce lajdackosti IT, jiste vis, ze v normalnich firmach koukaji trosku na naklady. Pokud na to proste nemaji, nebo nechteji dat, maji se odpojit od Internetu? Pochybuju, ze by centrum melo system, ktery odola treba zemetreseni - podle me by stacil vypadek jednoho kolokacniho centra ci jednoho ISP. Nejsou nahodou IT lidi centra amateri?

Pokud prehanis v tech milionovych zakazkach, jak mam vedet, ze neprehanis v jinych vecech?

Pokud se tyce zahazovani posty, kterou mi nejaky filtr oznacil jako SPAM, tak clovece, neni lepsi takovou postu vubec neprijmout? Nebo si libujes v tom, ze vyhazujes neco, cos pred tim zaplatil (protoze za okruh k Internetu, misto na disku, vypocetni vykon, platis)? Jo osobne pracuju na serveru s greylistingem (thanks to PinkNET admins), ktery kombinuju se spamassasinem. Denne mi prifrci do schranky tak 10-20 validnich e-mailu, a tak 2-4 SPAMy. To povazuju za pokrok proti stavu, kdy mi do schranky dorazelo 10-20 e-mailu a neco mezi 100-200 SPAMy.

> Reseni je asi jedine - aby se slusni ISP dohodli a ...

Hm, koukam, ze take zijete v mytu, ze existuji "zli" a "hodni" ISP.

Povazujete evropske ISP za slusne? Zrejme ano, protoze je neblokujete. A co pak rikate informaci, ze jisty provider v USA (ted si bohuzel nepamatuji jmeno) zablokoval radu evropskych rozsahu, protoze "z nich chodily prakticky jenom spamy"? Neni mnozstvi spamu od cinskych ISP zpusobeno spis nasi geografickou polohou, nez tim, ze by podporovaly spammery?

> Ze vzorku to vypada, jako by byl objem SPAMu 50%. Pokud se
> podivam do statistik naseho greylistu, mame objem
> posilaneho SPAMu kolem 90%.

Ano to je pravda, je to 50%. Mas Michal, zmereno, kolik z tech 90% jsou false positiva? Jinak to samozrejme zalezi na tom, kolik mas uzivatelu a jakych. Na svem uctu na Centru mam treba 99% spamu, protoze ho na normalni postu skoro nevyuzivam. Na druhou stranu tech 50% zhruba odpovida ruznym vyzkumum podilu spamu na mailovem trafficu.

Toto je prvni dil, s vysledky a zavery pouze pro blacklisty spatne nakonfigurovanych pocitacu. Dalsi vysledky bidou nasledovat.

Nicmene s antispamem Centra nemaji moc spolecneho - ten byl pouzit pouze jako etalon.

> Autor nevzal v uvahu, ze koncove pocitace se mohou
> ocitnout na blacklistu i v pripade, ze rozesilaji viry.
> Ted zrovna zadna velka epidemie nebezi, ale verte ci
> nikoliv, v nekterych vyznamnych firmach dokazala virova
> epidemie viru sireneho e-mailem napachat skody v radech
> milionu (postovni system byl mimo provoz nejmene jeden
> den).

To mi prijde spis jako lajdactvi IT, ktere nebylo schopno poradne navrhnout a nastavit system posty, aby takovyto napor vydrzel.

> Je samozrejme mozne, ze autor byl pritomen tomu, ze se
> milionovy e-mail uskutecnil na bazi jednoho, nikdy
> nepotvrzeneho e-mailu. Ja ze sve praxe takovy pripad
> nepamatuji.

To je samozrejme trochu prehnane :-) Ale pripad, kdy vybiram neco mene draheho, obeslu treba 5 firem a kdyz 3 odpovi a 2 ne (treba do dvou dnu), tak pokracuji v jednani jen s temi tremi.

> Nastroju je mnoho, kazdy ma sve pouziti.

S tim se neda nez souhlasit ;-)

> Ja osobne povazuji za nejlepsi kazdy SPAM, ktery NENI
> DORUCEN. Ale pokud nekdo rad prochazi svoji slozku SPAM,
> proti jeho gustu zadny disputat.

Samozrejme nemusis hazet spamy do spam boxu, muzes je po prichodu mazat :-)

O graylistingu uz jsme tu jednu diskusi meli. Ja k nemu mam urcite vyhrady, ale je rozhodne lepsi, nez RBL.

Ja treba blokuju na port 25 cele adresove bloky cinskych a korejskych provideru (zejmena Kornet, Hanaro, Chinatietong) - odtamtud toho tece pres 90% (pak take Comcast, kdybych bloknul 24.0.0.0/8, vysledek by se dale zlepsil, ale tam uz se obavam tech false positive), naborenych koncaku v Evrope je naproste minumum.

Reseni je asi jedine - aby se slusni ISP dohodli a prestali akceptovat prefixy tech neslusnych ISP, odkud tecou nejvetsi kvanta takoveho srotu - oni by se uz hodne rychle postarali, aby se to u nich dit prestalo (treba by odfiltrovali od svych klientu packety na port 25 ven a vse by muselo jit pres jejich servery s autorizaci). Ale to se asi nestane.

Ze vzorku to vypada, jako by byl objem SPAMu 50%. Pokud se podivam do statistik naseho greylistu, mame objem posilaneho SPAMu kolem 90%.

Je samozrejme vec kazdeho, jak naklada se svymi vypocetnimi zdroji (kapacita pripojne linky, vykon a diskova kapacita postovnich serveru, vykon pocitacu) a s lidskymi zdroji (protoze i e-maily ve slozce SPAM je treba projit).

Pokud jsem spravne porozumel statistice, tak autor uvadi, ze pro freemail (a jim napsany antispam) je vhodnejsi blacklisty nepouzivat.

Autor nevzal v uvahu, ze koncove pocitace se mohou ocitnout na blacklistu i v pripade, ze rozesilaji viry. Ted zrovna zadna velka epidemie nebezi, ale verte ci nikoliv, v nekterych vyznamnych firmach dokazala virova epidemie viru sireneho e-mailem napachat skody v radech milionu (postovni system byl mimo provoz nejmene jeden den).

Je samozrejme mozne, ze autor byl pritomen tomu, ze se milionovy e-mail uskutecnil na bazi jednoho, nikdy nepotvrzeneho e-mailu. Ja ze sve praxe takovy pripad nepamatuji. Podle me jde o stejny urban myth jako to, ze na e-mail musi byt reagovano do nekolika minut.

Nastroju je mnoho, kazdy ma sve pouziti.

Ja osobne povazuji za nejlepsi kazdy SPAM, ktery NENI DORUCEN. Ale pokud nekdo rad prochazi svoji slozku SPAM, proti jeho gustu zadny disputat.

cituju "A samozřejmě riziko, že nám z této domény někdo pošle ham a my ho zahodíme. Jenže riziko je v tomto případě skutečně minimální"

Mě to připadá jako hodně velké iziko, když mi třeba máme sít 700set lidí se stejnou ip/doménou i vlastní smtp, takže když si od nás jeden! z těch 700 zaspamuje, tak ostatní si můžou hodit mašli....

> 1) to jen potvrzuje užitečnost blacklistů.. BTW pokud se
> bayes "naučí" IP adresu spammera jako špatné slovo, stane
> se z něj vlastně blacklist :-))

Prave ze nikoli. Problemem blacklistu je jejich absolutnost. I kdyz nekdo posle lokomotivce "Objednavam u vas 100 ks lokomotiv typu E320 za 1 miliardu korun", a je na blacklistu, tak se jeho mail zahodi a vy se o tom ani nedozvite! Bayesiansky filtr by sice rekl "je na blacklistu, je to mozna spam", ale slova jako "objednavam" "lokomotiv" atp. by bohate stacila k tomu, aby to vyvazila.

Ad 2-3 - RFC2822 nepovoluje v hlavicce znaky s ASCII vetsim nez je 127. Vyskyt techto znaku je faktem, z nejz se take da neco usuzovat.

Ad 4: Mylite se. O analyze hlavicek se mluvi jiz v prvnim ("zakladnim") dokumentu Paula Grahama z roku 2002. Vrele doporucuji si precist http://www.lupa.cz/clanek.php3?show=3974 , dozvite se tam co potrevujete vedet :-) Treba i to, ze se spameri snazi prechytracit bayesianske filtry uz skoro tri roky a porad se jim to nepodarilo.

Nene, podivejte se poradne ;-) Tohle je cislo jen za blacklisty, ktere obsahuji spatne nakonfigurovane stroje.

V dalsim dile toho bude vic, ale tech 70-80% docela odpovida. Ovsem za cenu ohromneho mnozstvi false positiv.

Na nasich serverech pouzivame maximalne IP blokace, a i to naprosto vyjimecne.Napadaji me jedine dva pripady - nekdo na nas utoci nebo se mu evidentne zblaznilo MTA (treba stary Exchange a jeho reakce na 4xx - zdravime Cechii ;-) ). I to vetsinou nasazujeme jen proti vlastnim zakaznikum a hned potom se s nimi snazime spojit. Pouzivat SORBS nebo neco podobneho je riziko, do ktereho nepujdeme.

Pouzivame ovsem neco jineho - www.surbl.org coby jedno z pravidel pro SpamAssassin. Pochopitelne pouze s odpovidajici vahou, ktera sama o sobe k oznaceni za spam nepostacuje.

Před časem jsem testoval, kolik procent spamu by se dalo zablokovat RBL a vyšlo mi 60 až 70%. Že by se spammeři tak zlepšili?

Něco jiného také může být firemní mail a freemail. U firemního mailu jdou lépe eliminovat false positives whitelistováním.

1) to jen potvrzuje užitečnost blacklistů.. BTW pokud se bayes "naučí" IP adresu spammera jako špatné slovo, stane se z něj vlastně blacklist :-))
2) ve from nejsou nekorektní znaky, je tam čínština. :-) ale je pravda že tam nepatří
3) dtto
4) tento bod mě dovádí k filozofické otázce - co je to vlastně bayes fitr?

Začalo to tím, že se koukalo na slova v emailu. A skončilo to tím, že to zkoumá každou blbinu v headeru.. Myslím, že tento princip může fungovat vždy jen chvíli. Nejhorší je, že spammeři jsou vždycky o něco napřed.

Snizeni zateze: Trochu mi pripominate naseho databazistu, podle nehoz nejlepsi databaze je ta, ktera je stazena offline. Jakmile je online, voni mu do ni vsichni lezou a spousteji tam dotazy a zaplacavaji disky a vubec!

> Dobře, já prostě tvrdím že mě filtr založený na
> blacklistech funguje líp

Protoze jste zadny poradny obsahovy jeste nepouzival :-) Stahnete si Mozillu Thunderbird, nejakou dobu ji ucte (chce to cca par set mailu) a pak si to povime :-)))

> Ale čistě ze zvědavosti se ptám odborníka - jak
> bayes pozná jako spam následující email?

1) Pokud je IP na blacklistech, tak podle toho (viz dalsi dil)
2) Ve From jsou (primo!) nekorektni znaky (ASCII > 128)
3) V subjectu dtto
4) Charset je BIG8 - t.j. cinsky.

Mam pokracovat? ;-)

Dobře, já prostě tvrdím že mě filtr založený na blacklistech funguje líp. Ale čistě ze zvědavosti se ptám odborníka - jak bayes pozná jako spam následující email?

www.pripojeni.info/spam1.png
www.pripojeni.info/spam2.png

Ad 1: To je alespon trochu pravda ;-) Ale chci vas videt, jak vysvetlujete riditeli, ze obchod za nekolik milionu vam utekl proto, ze zakaznim mel spatne nakonfigurovany mail a vy ho musite "vychovavat".

Jinak to neni 20%, ale 13.5%. Samozrejme pokud vam tech 13% ze zateze pocitace (server nepojede naplno, takze v realu to bude asi jeho 6-8% kapacity) stoji za mozne promeskane obchodni prilezitosti, tak klidne muzete blacklistovat.

Blacklisty listujici spatne nakonfigurovane pocitace maji docela prijatelnou chybovost, proti tomu nic nemam. O dost horsi jsou ale blacklisty listujici "spamujici" pocitace - o tom al v dalsi casti.

S prvnim odstavcem take castecne souhlasim; v uvodu jsem psal, ze takove pripady existuji.

Ja jsem nad nazvem clanku dost premyslel; nazev "blacklist" se pouzivat i pro blacklist adres. RBL je sice lepsi, ale zas ne tak obecne zname :-/

> Do schránky mi chodila hromada emailů napsaná buď čínsky
>(pro bayes filtr víceméně náhodná směs znaků)

Zjevne ten K9 mel spatny parser mailu.

> nebo emaily, kde header byl pokaždý úplně jiný a
> obsahem byl jen jeden velký obrázek.

Fakt nemuze? Nikdy? A jaktoze mne je tedy poznava? ;-) Prectete si moje clanky o bayesianskych filtrech, tam je receno, proc a jak filtr muze fungovat i na takovehle maily.

Přesněji řečeno, částečně nesouhlasím. Váš případ, centrum.cz, je totiž velmi specifický - uživatelé jsou výjimečně různorodí, nemají nic, co by je spojovalo. Naopak v běžné firmě se komunikuje z omezeným počtem partnerů, drtivá většina mailů je tudíž přijata z jasně dané skupiny domén. (Připomínám, že malé a střední firmy zaměstnávají největší procento obyvatel.) Takže pokud firma nemá obchodní zájmy v Rusku, mohu s klidným svědomím blacklistovat *.ru. Podobně mohu postupovat s dalšími doménami (zřejmě kromě obecně používaných, jako jsou .com, .info, ...).

Co mi to přinese? Snížení zátěže serveru. Server prostě nepřijímá maily z dané domény. S tím souvisí i menší zatížení linek na internet.
A samozřejmě riziko, že nám z této domény někdo pošle ham a my ho zahodíme. Jenže riziko je v tomto případě skutečně minimální - podle konkrétní situace to může být od několika procent až po pouhé zlomky promile.

Btw. já popisuji klasické blacklisty, Vy jstem měl zřejmě na mysli RBL. Jenže v nadpisu i v článku mluvíte o blacklistech. A ty své opodstatnění většinou mají.

PS: Termín "vyhackovaný počítač" mě skutečně pobavil. :-)

Kdysi jsem používal SpamPal (blacklisty). Potom jsem přešel na K9 (Bayes). Jenže situace se zhoršovala a zhoršovala. Do schránky mi chodila hromada emailů napsaná buď čínsky (pro bayes filtr víceméně náhodná směs znaků) nebo emaily, kde header byl pokaždý úplně jiný a obsahem byl jen jeden velký obrázek. Takové emaily nemůže bayes filtr už z principu nikdy rozeznat jako SPAM.

Nyní používám opět SpamPal, (používá asi 10 blacklist serverů) a úspěšnost je skvělá. NIKDY mi neskončil ve SPAMu žádný email z freemailu (Seznam, Atlas, atd..)!

Takže použití blacklistŮ (zdůrazňuji množné číslo) má určitě velký smysl a podle mě je lepší než učící se filtry.

1. Mam zajem blokovat pocitace ktere jsou spatne nakonfigurovane, protoze z nich muze pochazet nejen spam ale i DoS utoky pripadne i pokusy o nabourani. To ze nejde i legitimni mail z techto adres je jen dobre, protoze to nuti administratora zasahnout a spravne nakonfigurovat system.

2. Bayes filtry maji nepochybne vyssi procesorovou narocnost nez pouhe porovnani IP adres a to nekde muze byt problem. A zde vami uvedenych 20% zachycenych emailu pomuze snizit zatez.

3. Bayes filtry potrebuji k analyze cely mail a dochazi tedy ke zbytecnemu prenosu a zahlcovani pasma. A kdyz vami uvedena chybovost je velmi nizka tak je to vzdy zbytecne plytvani.