Vlákno názorů k článku LinkedIn hledá, kdo z něj kopíruje data. Na armádu botů podal žalobu od Jan - No jo, robots.txt maji. Takze beru zpet, ze...

No jo, robots.txt maji. Takze beru zpet, ze je Google nevinen, resp. nevim co odpovida tem adresarum v robots.txt, takze ani netvrdim, ze je Google vinen, protoze mohl pouzit neco, co tu neni vyjmenovane.

Google bot není takový problém jako software třetích stran který těží data z Linkinu aď to sou "jen" zásuvné moduly do prohlížečů konče "tenkými klienty".

Potkal jem několik lidí v HR oddělení korporací který takový software "napohodu" používají a nějaké autorské\vlastnické práva neřeší.

A ten 27 953 bajtů velký robots.txt je co?

# Notice: If you would like to crawl LinkedIn,
# please email whitelistcraw­l@linkedin.com to apply
# for white listing.

User-agent: Googlebot
Disallow: /addContacts*
Disallow: /addressBookExport*
Disallow: /analytics/
Disallow: /answers*
Disallow: /cap/
Disallow: /companyDir*
Disallow: /connections*
Disallow: /csp/
Disallow: /edurec*
Disallow: /endorsements
Disallow: /find/
Disallow: /groupAnswers*
Disallow: /groupSharingMsg*
Disallow: /inviteFromProfile*
Disallow: /inviteMany*

Měl jsem dojem, že falešné účty Google běžně dělá, protože se mi stává, že mi najde něco na co když kliknu, tak se musím registrovat a přihlásit, abych si to přečetl. V náhledu u linku ten text již má.

Je to Google, ale nedělá nic nekalého, protože Linkedin roboty nezakazuje - nevidím meta tag ROBOT s hodnotou noindex ve zdrojovém html kódu stránky Linkedin.
Obdobně může jejich stránky scanovat kdokoliv jiný, ale určitě sem patří Google a ten si musí stránky nebo části stránek uložit, jinak by nezaindexoval.