Vlákno názorů k článku Výzkumníci vyvíjejí AI nástroj na fact-checking. Ověří informace ve zprávách nebo tweetech politiků od Net - Co vyplivne fact checker by mě zajímalo. Pár poznámek...

Co vyplivne fact checker by mě zajímalo.
Pár poznámek ode mě.
Nekalibrované měření je vždy podezřelé tak nějak z principu.
45 cyklů je dost, ale záleží na metodě a protokolu, zpravidla se to hodí k detekci byť jediné hledané molekuly s příslušnou sekvencí ve vzorku. Neříká to nic o množství na počátku, ale pokud tam nic není na začátku, tak se nic nenamnoží ani po sto cyklech (byť je tu občas problém s podobnými sekvencemi).
Až 100 % je klasická reklamština a čistě teoreticky i jedno promile je v jednom z tisíci případů “až” 100 % :)
„protože experti zjistili, že experti měří šum pozadí a říkají tomu nakažený“ - tohle moc dekódovat neumím.

Jak si systém poradí s texty obsahující slova jako, domníváme se, zřejmě, pravděpodobně? Tedy vědomě nedeklarující nějakou skutečnost, ale klidně i fikci.

Další část prohlášení je závislá na jednom konkrétní zdroji informace, jako dle SOHR, dle politika XY, což v lepším případě jsou informace ve světle, kde je skutečnost podána pouze pohledem jedné strany a může být dost manipulativní a pokud je lživá, tak ověření může trvat několik dní či měsíců. U válečných konfliktů je záměrná lež součást boje, tak to je pak jakýkoli fact-ckecker jen nástrojem k obhájení klidně i záměrné lži.

Dobrý den pane Drchal,

Mohl byste zkusit prohnat následující tvrzení Vaším systémem, prosím? Jakožto absolvent Kybernetiky a Měření, jsem si udělal poměrně odborné ověření faktů, takže znám odpověd, která je pravda. To tvrzení je:

"Nekalibrovanné měření PCR s přehnanou citlivostí (ct=45) davá až 100 procent falesně pozitivních, protože experti zjistili, že experti měří šum pozadí a říkají tomu nakažený"

Děkuji
Přeji Pěkný den

Dobrý den,
náš fact-checker důvěryhodnost jednotlivých zdrojů nijak neřeší, o tu se musí postarat jeho provozovatel. Kvalita ověřování je dána kvalitou textů, vůči kterým ověřujeme (a samozřejmě i kvalitou anotací a kvalitou námi učených neuronových modelů). To, že naše řešení stavíme na rozsáhlé databázi článků ČTK, je záměrné - ČTK se při ověřování svých zpráv drží dost přísných pravidel (viz např. kodex).

S pozdravem

Honza Drchal (AIC, FEL ČVUT)

A dá se něco takového (hledání souvisejících textů a jejich četnost) nazývat fact checkingem? Rozeznává systém zdroje, prvotní zdroje a důvěryhodnost zdrojů?

Dobrý den,
systém není založen na ověřování nějaké "obecné" pravdy. Ověřování probíhá vždy vůči nějaké databázi textů. Aktuálně jej testujeme nad texty ČTK, ale není problém jej rozběhnout třeba nad texty Vesmirni-lide.cz .

Je důležité si uvědomit, že výstupem není jen klasifikace (potvrzeno, vyvráceno, nedostatek informaci), ale i seznam relevantních textů. Nepředpokládáme, že bychom v dohledné době byli schopni dokonale "nálepkovat" tvrzení - jde spíše o to, abychom novinářům dodali nástroj, který vyhledá rozumně velký objem relevantních textů a napoví, kam se do nich "kouknout".

S pozdravem,

Honza Drchal (AIC, FEL ČVUT)

A jak vyhodnotí SW obecně přijímané nepravdy a mýty?