Model je navržen tak, aby běžel na běžných GPU, což umožňuje jeho použití lokálně i mimo výkonná datacentra. V následujícím videu si na dvou případech ukážeme, jak jej mohou využít např. studenti designu, ale i profesionálové jak pro získávání inspirace tvorbu, tak i propagačních materiálů jimi vytvořených produktů.
Výhodou lokálního řešení je široká možnost přizpůsobení modelu i fakt, že veškerá data zůstávají lokálně na PC bez nutnosti cokoliv posílat do cloudu. A na NVIDIA GeForce RTX díky dedikovaným Tensor jádrům pro akceleraci AI využijete podobné modely vůbec nejefektivněji.
Architektura Blackwell rozvíjí další potenciál generativní AI
Hned v úvodu roku byly v rámci veletrhu CES v Las Vegas představeny GPU GeForce RTX řady 50 s architekturou Blackwell. Jednou z nejzásadnějších novinek pro zvládání práce s komplexními AI modely jsou inovovaná Tensor jádra páté generace s podporou přesnosti reprezentace čísel FP4.
Dosud byla podporována a používána FP16, oproti níž však FP4 sicevýrazně snižuje nároky na paměť a výpočetní výkon. To je samozřejmě vhodné pro úkoly spojené s umělou inteligencí, jako je trénování a inference velkých modelů, kde postačuje nižší přesnost. Tento kompromis mezi přesností a efektivitou umožňuje dosahovat rychlejších výpočtů a také podstatně snižuje nároky na paměť.
Např. náročný model FLUX.1 [dev] by si na GeForce RTX 4090 „ukrojil“ kolem 23 GB z videopaměti. Díky FP4 na nových GPU řady 50 zabere jen 10 GB. Zvýší se i rychlost: co zabralo GeForce RTX 4090 vygenerovat 15 sekund, zvládne její nástupce RTX 5090 za pět.
O FLUX.1 [dev] ale nemluvíme náhodou. Jde také o extrémně populární model a již brzy bude jej v kombinaci s mikroslužbami NVIDIA NIM a NVIDIA AI Blueprint k tovrbě realistických a komplexních scén jen na základě textového zadání a jednoduchých 3D modelů rozmístěných např. v Blenderu.
Snadné využití AI i pro začátečníky
Přijdou vám tyto technologie zajímavé, ale také příliš složité? Pro vás tu je např. nástroj ChatRTX, v němž můžete nejen chatovat v několika populárních velkých jazykových modelech (LLM), ale také si třeba snadno vyhledávat ve vlastních fotkách podle zadání. Je to snadná možnost, jak si vytrénovat vlastního asistenta.
Pro mírně pokročilejší zájemce tu pak je LM Studio, které také umožňuje upracovat s různými LLM přímo na vlastním PC. Nástroj je navržen s důrazem na jednoduché ovládání a nabízí široké možnosti přizpůsobení. LM Studio je postaveno na softwarové knihovně llama.cpp, což zajišťuje plnou optimalizaci pro grafické karty GeForce RTX a další GPU využívající architekturu Nvidia RTX. Navíc v něm lze dosáhnout vyššího výkonu při práci s lokálním LLM díky využití tzv. GPU offloadingu. I v případech, kdy se celý model nevejde do VRAM.
Tohle je jen malý přehled zajímavých využití GeForce RTX pro akceleraci AI, která nám dokáže usnadnit život. Řadu z nich navíc můžete provozovat i na základních modelech GeForce RTX. Např. pro ChatRTX stačí kterákoliv GeForce od řady 30 výše s alespoň 8 GB VRAM. Dnes najdeme sestavy i notebooky s těmito kartami s v celové hladině pod 30 000 a možná máte nějaký takový už doma. Pokud vás zajímají další příklady, podívejte se na stránku společnosti NVIDIA věnovanou tomuto tématu.
ČLÁNKY DO MAILU