Vlákno názorů k článku Rusové v Praze budují vývoj AI datacenter, Alza kritizuje praktiky OSA, nová pokročilá baterie z Česka od Fantux - Lokální modely existují už dávno, ale výsledky jsou...

Lokální modely existují už dávno, ale výsledky jsou o dost horší než když člověk použije Gemini nebo chatGPT. Poslední který jsem zkoušel, zpracovával asi 8 hodin 300 pdf které jsem mu podstrčil, a pak víceméně fungoval na úrovni advanced search ve Foxit pdf readeru.

Jinak, co je podle tebe z AI to nejlepší a kde vidíš přínosy. Jak z hlediska použití, tak jaká technologie je podle tebe nejlepší a do budoucna bude nejlepší?

Tak možná by bylo fajn, kdyby se tyto "malé" modely časem posunuly do zařízení a zmizela potřeba být připojený přes Internet.

Viděl jsem borce, co to provozoval na Applech se sdílenou DDR5 RAM, takže to posunout do desktopů, časem notebooků, pak mobilů a uvidíme, jak to lidé budou používat...

Ten přínos generativní AI je rozhodně sporný, navíc jsem někde četl, že v Číně je spousta datových center pro AI nevyužitých. Ono logicky to chce mít projekt, vizi... atd. Spousty modelů lze provozovat na consumer HW typicky 4090 5090 s 48GB VRAM nebo 4bit, 2bit kvantizací.
Tahle bublina se tvrdě zhroutí, ne proto, že by to bylo špatné, ale proto že manažeři vůbec nechápou o čem je řeč a malujou si vzdušné zámky.
Navíc je to stará technologie (kde k implementaci došlo jen kvůli navýšení výkonu v poslední době) a každé mírné zlepšení vyžaduje větší modely, víc energie, víc výkonu.