Vlákno názorů k článku Jak se chodí na český Internet? od Johnnie - Přijde na to kteří roboti - podle mě...

Přijde na to kteří roboti - podle mě existují i roboti, kteří předpokládají dynamicky generované stránky a tudíž stejné URL nemusí nutně pokaždé "hodit" stejný obsah, nebo se mýlím?

... a na všech těchto stránkách je volán stejný obrázek systému NV, který má pro měřený web stále shodné URL. Roboty nejsou tak hloupé, aby tahaly znovu a znovu tentýž obrázek jen proto, že byl odkazován i z jiné stránky.

Málo jich možná je, ale narozdíl od většiny uživatelů si prohlédnou trochu "více" než jen úvodní stránku :o)

Podle zkušeností kolegů je obrázkových crawlerů málo. Pokud se crawler podepisuje jako crawler, tj. odlišitelně od prohlížeče (což samozřejmě není vždy pravda), posuzuje se přístup jinak. (Databáze prohlížečů je také průběžně aktualizovaná, nyní více než tisícem regulárních výrazů pokrýváme 150 tisíc unikátních user-agentů.)

Ping je okrajový, a upřímně řečeno aktuálně se používá právě jen v rámci traceroutu. Vhodný je např. na kontrolu, jestli něco, co pokládáme za router na pevné lince, opravdu běží prakticky nonstop. V objemu zpracovávaných dat si takovéhle testování nemůžeme dovolit, ale ve sporných případech to smysl má.

Jestli se do celkového počtu "lidí", kteří přicházejí z ciziny počítají i web-crawleři schopní stahovat i obrázky, tak se nedivím, že mají takový velký podíl, koneckonců, drtivá většina serverů jako nv.cz používá krom JavaScriptu i klasické obrázky 1x1 pixel v případě, že klient JavaScript nepodporuje, takže když web-crawler uvidí sérii tagů <noscript><img /></noscript>, prostě a jednoduše daný obrázek stáhne a tím udělá přístup...

Dotaz: k čemu vám byl probůh ping, traceroute bych ještě pochopil, ale ping?