Vlákno názorů k článku Volební a povolební týden v diskuzích na sociálních sítích. Co se změnilo? od autor - Jiri Kwolek - 1. Současné hodnocení je mixem automatiky a ručního...
-
autor - Jiri Kwolek (neregistrovaný)
1. Současné hodnocení je mixem automatiky a ručního hodnocení. Zmínky třídíme a přetypováváme nejběžnější případy.
2. Pracujeme nad systémem hintů pro neuronové sítě - ano i pro rozlišení ironie a sarkazmu. Pracujeme nad training sety. Experimentujeme.
3. Náročné projekty řešíme 100% ručním hodnocením s možným dvojitým hodnocením (sledování odlišného hodnocení).P.S: právě, že křivky jsou u různých subjektů rozdílné. Dnes jsme lepší než před rokem, zíra to bude ještě lepší. Ty názory na síti jsou. Nesou konkrétní zprávy. Jsou obrazem reality. Dnes na něco nemáme správné algoritmy, zítra budou lepší, pozítří bude analýza standardem. Ve své práci vidím stovky zmínek a na leccos začínám měnit názor.
-
nickname1 (neregistrovaný)
> Zadna neuronova sit soucasne konstrukce nedokaze rozpoznat ironii a sarkasmus od bezneho textu. Pokud necim takovym disponujete, povedl se vam svetovy prulom a jedna se o zasadni objev celosvetoveho vyznamu.
Mýlíte se. Nedokáže to sice 100% (to ani člověk), ale dosahuje cca 0.8 F-measure / accuracy bez kontextu a přes 0.9 s kontextem. Viz loňský COLING:
ZHANG, Meishan; ZHANG, Yue; FU, Guohong. Tweet Sarcasm Detection Using Deep Neural Network. In: COLING. 2016. p. 2449-2460.
případně task na SemEval2018: https://competitions.codalab.org/competitions/17468 obsahuje spoustu state-of-the-art referencí.
-
nickname1 (neregistrovaný)
Použití #sarcasm a jiných hasthtagů je nejlevnější cesta, jak získat mraky trénovacích dat; jak moc je to dobrá proxy (resp. jak moc malý je recall a tudíž nezahrnutí sarkastických tweetů bez self-labelingu) je zajímavá otázka.
Nicméně existují i manuálně anotovaná data, dokonce v češtině, viz
PTÁČEK, Tomáš; HABERNAL, Ivan; HONG, Jun. Sarcasm detection on czech and english twitter. In: Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers. 2014. p. 213-223.
Tam to nebyl deep learning, ale SVM a MaxEnt. Jenže ruční anotace něco stojí a rozdíl mezi trénováním na 7k a 100k instancích už je znát (viz experiment na angličtině).
-
Podobne studie povazuji uz mnoho let za matouci. Jednak stroj neni schopen odlisit ironii, sarkasmus a podobne styly lidske verbalni komunikace, pricemz lidsky hodnotitel ma jen omezeny radius. Za druhe, kazdy prispevek ma jiny kontext, potencialni ctenare a tim i vysledny impakt. Nejde to scitat jako hrusky a jablka, musi se na to prinejmensim pres Bayese.
Z dynamiky grafu vyplyva jen to, co lze ocekavat v okoli terminu voleb - obracenou krivku by snad nikdo neocekaval.
-
Zadna neuronova sit soucasne konstrukce nedokaze rozpoznat ironii a sarkasmus od bezneho textu. Pokud necim takovym disponujete, povedl se vam svetovy prulom a jedna se o zasadni objev celosvetoveho vyznamu. Toto myslim bez ironie, coz by neuronova sit rozponat nedokazala.
V cem jsou ty krivky jine? Ja vidim caru nahoru a pak odezneni smerem dolu.
-
Altavista (neregistrovaný)
Chjo, pan se vas zeptal na konkretni otazku a vy jste na to zareagoval jeste hure nez politik - jako Jehovista.
Nuze, jak porazite molochy typu Alpha a dalsi, kdyz uz zacinate experimentalne (ale dle sebejistoty uspesne) skoro-nasazovat ironii a sarkazmus? Nebo byl snad bod 2. vygenerovan sarkasticko-ironistickou masinkou (nekde na R3.14 - detect that you machine whore!)?
So I will only have Good MANSIONS about you from now on. You street curves...
-
Zisk proti bezkontext Riloff je nejvys tak 5%, coz je zajimave spise z teoretickeho pohledu. Jejich trenovani na #sarcasm (odst. 6.1.1), ktere deklaruje sarkasmus tretim stranam, neodpovida realne situaci, coz plati i pro pouzivany dataset. Od autoru ocenuji, ze to sami priznavaji v odst. 6.4. Je to jiste pekny pocin, ale pri realnem nasazeni bych tipoval uspesnost tehle metody nekde kolem 60-80%.
-
Souhlas - bohuzel taky nejlevnejsi cesta jak ziskat de-facto synteticka data neodpovidajici realne situaci s analyzou politickych diskuzi. Kazdopadne diky za odkazy a za tip na ten codalab. Koukam, ze se v tom realizuje dost Cechu. Casem se na to podivam, ted pisu knizku o hackingu, takze se pohybuju trosku v jine oblasti a uz bych to nepobral.
-
Jiří Kwolek - autor (neregistrovaný)
Děkuji za další reference. Díky za odkaz na CodaLab. Zatím pracujeme heuristicky - zahrnuje to sběr a vyhodnocování českých n-gramů, Bayese, zvažujeme přípravu vlastního datasetu pro následné testování jednotlivých metod a postupů. Vyhodnocování nadsázky a ironie je pouze malou části celého procesu - rádi bachom byly, kdyby se nám dařilo v té oblasti zlepšovat. Nechceme házet flintu do žita...
ČLÁNKY DO MAILU