Vlákno názorů k článku Volební a povolební týden v diskuzích na sociálních sítích. Co se změnilo? od Ivan Nový - Co je to sarkasmus? Je to odchylka od...

Co je to sarkasmus? Je to odchylka od očekávané reakce sítě. Takže k jeho odhalení potřebujete dvě sítě, jedna co se učí lokální kontext na průběhu diskuse, a druhou co má natrénováno obecné chování, teprve porovnáním reakcí obou sítí odhalíte sarkasmus.

Děkuji za další reference. Díky za odkaz na CodaLab. Zatím pracujeme heuristicky - zahrnuje to sběr a vyhodnocování českých n-gramů, Bayese, zvažujeme přípravu vlastního datasetu pro následné testování jednotlivých metod a postupů. Vyhodnocování nadsázky a ironie je pouze malou části celého procesu - rádi bachom byly, kdyby se nám dařilo v té oblasti zlepšovat. Nechceme házet flintu do žita...

Použití #sarcasm a jiných hasthtagů je nejlevnější cesta, jak získat mraky trénovacích dat; jak moc je to dobrá proxy (resp. jak moc malý je recall a tudíž nezahrnutí sarkastických tweetů bez self-labelingu) je zajímavá otázka.

Nicméně existují i manuálně anotovaná data, dokonce v češtině, viz

PTÁČEK, Tomáš; HABERNAL, Ivan; HONG, Jun. Sarcasm detection on czech and english twitter. In: Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers. 2014. p. 213-223.

Tam to nebyl deep learning, ale SVM a MaxEnt. Jenže ruční anotace něco stojí a rozdíl mezi trénováním na 7k a 100k instancích už je znát (viz experiment na angličtině).

> Zadna neuronova sit soucasne konstrukce nedokaze rozpoznat ironii a sarkasmus od bezneho textu. Pokud necim takovym disponujete, povedl se vam svetovy prulom a jedna se o zasadni objev celosvetoveho vyznamu.

Mýlíte se. Nedokáže to sice 100% (to ani člověk), ale dosahuje cca 0.8 F-measure / accuracy bez kontextu a přes 0.9 s kontextem. Viz loňský COLING:

ZHANG, Meishan; ZHANG, Yue; FU, Guohong. Tweet Sarcasm Detection Using Deep Neural Network. In: COLING. 2016. p. 2449-2460.

případně task na SemEval2018: https://competitions.codalab.org/competitions/17468 obsahuje spoustu state-of-the-art referencí.

Chjo, pan se vas zeptal na konkretni otazku a vy jste na to zareagoval jeste hure nez politik - jako Jehovista.

Nuze, jak porazite molochy typu Alpha a dalsi, kdyz uz zacinate experimentalne (ale dle sebejistoty uspesne) skoro-nasazovat ironii a sarkazmus? Nebo byl snad bod 2. vygenerovan sarkasticko-ironistickou masinkou (nekde na R3.14 - detect that you machine whore!)?

So I will only have Good MANSIONS about you from now on. You street curves...

Vaše poznámky jsou podnětné a konstruktivní.
...to je ten těžší případ. Mimochodem se sarkazmem mají problém i lidé. Musíme detekovat toho mnohém více.

1. Současné hodnocení je mixem automatiky a ručního hodnocení. Zmínky třídíme a přetypováváme nejběžnější případy.
2. Pracujeme nad systémem hintů pro neuronové sítě - ano i pro rozlišení ironie a sarkazmu. Pracujeme nad training sety. Experimentujeme.
3. Náročné projekty řešíme 100% ručním hodnocením s možným dvojitým hodnocením (sledování odlišného hodnocení).

P.S: právě, že křivky jsou u různých subjektů rozdílné. Dnes jsme lepší než před rokem, zíra to bude ještě lepší. Ty názory na síti jsou. Nesou konkrétní zprávy. Jsou obrazem reality. Dnes na něco nemáme správné algoritmy, zítra budou lepší, pozítří bude analýza standardem. Ve své práci vidím stovky zmínek a na leccos začínám měnit názor.