IBM vydalo novou rodinu otevřených modelů Granite 4.2. Nejde jen o další chatbot. Modely jsou připravené pro úlohy, ve kterých AI plánuje postup, pracuje s nástroji, zpracovává firemní data nebo pomáhá s kódem.
Pro firmy je zajímavá hlavně možnost provozovat model na vlastním počítači nebo serveru. Citlivá data tak nemusí automaticky odcházet do cizího cloudu. Lokální provoz ale není bezplatná ani bezpracná náhrada velkých cloudových modelů.
Tento článek vychází z technické dokumentace a zveřejněných informací IBM. Nejde o recenzi z našeho vlastního lokálního testu. Reálná rychlost a kvalita závisí na hardwaru, nastavení, délce dokumentů a konkrétní úloze.
Co je IBM Granite 4.2
Granite je rodina modelů, které IBM vyvíjí především pro firemní použití. Verze 4.2 přináší tři velikosti:
- 3B pro lehčí úlohy a zařízení s omezenějším výkonem,
- 8B jako střední variantu pro běžné firemní asistenty a automatizace,
- 30B pro náročnější uvažování, kódování a agentní úlohy.
Modely jsou vydané pod licencí Apache 2.0. Firmy a vývojáři je mohou stáhnout, provozovat na vlastním hardwaru a integrovat do vlastních aplikací při dodržení podmínek licence.
IBM je navrhla pro kombinaci několika schopností:
- uvažování nad složitějším zadáním,
- dodržování instrukcí,
- volání nástrojů a funkcí,
- práci s kódem a terminálem,
- strukturované výstupy,
- práci s delším kontextem,
- vícejazyčnou komunikaci včetně češtiny.
Proč je důležitá právě varianta 8B
Osmimiliardový model představuje kompromis mezi schopnostmi a hardwarovými nároky. Menší model může být rychlejší, ale u složitějších úloh dříve narazí na své limity. Třicetimiliardová varianta nabídne vyšší výkon, ale vyžaduje podstatně silnější zařízení.
Granite 4.2 8B proto může být zajímavý pro firmy, které chtějí lokálně provozovat například:
- asistenta nad interní dokumentací,
- předzpracování poptávek a e-mailů,
- třídění a vytěžování textových dat,
- návrhy odpovědí pro zákaznickou podporu,
- kontrolu povinných polí v dokumentech,
- pomocníka pro vývojáře,
- agenta napojeného na schválené firemní nástroje.
To ještě neznamená, že model zvládne každou úlohu stejně dobře jako nejvýkonnější cloudové služby. U menších lokálních modelů je důležité přesně omezit zadání, dodat kvalitní podklady a ponechat člověku kontrolu nad důležitými rozhodnutími.
Lokální AI neznamená počítač bez internetu
Pojem lokální AI se někdy vysvětluje příliš jednoduše. Model může běžet přímo ve firmě, ale výsledné řešení může být stále připojené k internetu, databázím nebo externím službám.
Je proto potřeba rozlišovat:
- Kde běží samotný model. Může pracovat na firemním počítači nebo serveru.
- Kam se ukládají data. Dokumenty a historie mohou zůstat uvnitř firemní sítě.
- Jaké nástroje smí AI používat. Přístup k e-mailu, účetnictví nebo CRM musí být řízený samostatně.
- Kdo kontroluje výsledky. Lokální model může chybovat stejně jako cloudový.
Výhodou není automatická dokonalost. Výhodou je větší kontrola nad daty, nastavením a závislostí na dodavateli.
Co znamená agentní AI
Běžný chatbot dostane otázku a vytvoří odpověď. Agent má navíc možnost naplánovat postup a použít nástroj.
Může například:
- přečíst poptávku,
- zjistit, které údaje chybí,
- vyhledat schválené informace,
- zavolat funkci pro výpočet nebo kontrolu,
- připravit výsledek pro člověka.
Granite 4.2 podporuje takzvané tool calling. Model dokáže rozhodnout, že potřebuje konkrétní funkci, a připravit pro ni argumenty. Samotné vykonání akce však zajišťuje okolní aplikace nebo automatizační nástroj.
To je důležitý bezpečnostní rozdíl. Model by neměl dostat neomezený přístup k systému. Každá funkce má mít jasně dané oprávnění, kontrolu vstupů a záznam provedené akce.
Praktický příklad: zpracování poptávky
Firma obdrží e-mail:
Potřebujeme dvanáct dubových stolů o rozměru 160 × 80 centimetrů. Dodání do Brna, termín zatím nevíme.
Lokální model může z textu připravit strukturovaná data:
{
"produkt": "dubový stůl",
"mnozstvi": 12,
"rozmer": "160 × 80 cm",
"mesto": "Brno",
"termin": null
}Další automatizace může ověřit povinné údaje a připravit úkol obchodníkovi. Model ale nemá sám určit cenu ani slíbit termín, pokud k tomu nemá schválená data a pravidla.
Tady dává menší firemní model smysl: nepřebírá obchodní rozhodnutí, ale odstraňuje opakovanou přípravnou práci.
Kde může lokální Granite dávat smysl
Interní dokumenty
Asistent může hledat ve směrnicích, návodech, technické dokumentaci nebo schválených produktových podkladech. Firma má větší kontrolu nad tím, kde se dokumenty zpracovávají.
Automatizace s n8n
Model může fungovat jako jeden krok workflow: přečíst text, vytřídit požadavek, vrátit JSON nebo zvolit další nástroj. n8n pak zajistí napojení na ostatní systémy a kontrolu procesu.
Předzpracování citlivých dat
Lokální model může dokument nejdřív roztřídit, odstranit citlivé údaje nebo připravit stručný podklad. Teprve pokud je to nutné a povolené, může další krok použít cloudovou službu.
Kontrolní vrstva
Menší model nemusí tvořit finální odpověď. Může kontrolovat, zda výstup obsahuje povinné údaje, zda nechybí příloha nebo zda navržený postup odpovídá firemním pravidlům.
Kde naopak opatrně
Granite 4.2 není automatická náhrada za všechny cloudové modely.
Opatrnost je nutná zejména u:
- právních, zdravotních a finančních doporučení,
- samostatného stanovování cen,
- nevratných změn v účetnictví nebo objednávkách,
- komunikace bez možnosti předání člověku,
- úloh vyžadujících aktuální informace z internetu,
- rozsáhlých dokumentů na slabém hardwaru,
- situací, kde chyba způsobí finanční nebo bezpečnostní problém.
Otevřený model znamená větší kontrolu, nikoliv automaticky ověřenou správnost.
Co potřebuje firma k provozu
Samotné stažení modelu je jen začátek. Pro použitelné firemní řešení je potřeba:
- vhodný počítač nebo server,
- prostředí pro spuštění modelu,
- zabezpečené úložiště dat,
- napojení na dokumenty a systémy,
- přesná pravidla pro jednotlivé úlohy,
- omezení oprávnění nástrojů,
- testovací scénáře,
- měření rychlosti, chybovosti a nákladů,
- člověk odpovědný za kontrolu provozu.
Model lze stáhnout přes platformy jako Ollama, Hugging Face nebo LM Studio. Pro cloudové vyzkoušení bez vlastního zařízení je dostupný například také přes Replicate. Nabídka jednotlivých poskytovatelů se ale může měnit, proto je potřeba dostupnost vždy ověřit před nasazením.
Jak vybírat počítač pro lokální AI
Při výběru mini počítače nebo pracovního serveru nerozhoduje jen výkon procesoru. Důležitá je hlavně dostupná paměť, propustnost paměti, podpora akcelerace a chlazení při delším zatížení.
Před nákupem je vhodné určit:
- který model a kvantizaci chcete provozovat,
- kolik uživatelů bude systém obsluhovat,
- jak dlouhé dokumenty bude zpracovávat,
- zda bude odpovídat interaktivně, nebo pracovat na pozadí,
- zda má zařízení sloužit pouze pro AI, nebo také pro další služby,
- zda do budoucna počítáte s větším modelem.
Levný počítač může model spustit, ale nemusí nabídnout rychlost vhodnou pro každodenní práci. Naopak předimenzovaný hardware se nemusí vyplatit, pokud model spouštíte několikrát denně.
Lokální, cloudové nebo hybridní řešení
Pro mnoho firem nebude nejlepší čistě lokální ani čistě cloudová varianta. Smysl může dávat hybridní provoz:
- lokální model zpracuje běžné a citlivé úlohy,
- pravidla a automatizace rozhodnou, co může pokračovat,
- silnější cloudový model se použije jen pro vybrané případy,
- důležité rozhodnutí vždy schválí člověk.
Takové rozdělení může snížit množství dat odesílaných mimo firmu a zároveň zachovat kvalitu u náročných úloh.
Co z toho plyne
IBM Granite 4.2 ukazuje, že lokální AI se posouvá od jednoduchého chatu k práci s nástroji a firemními procesy. Varianta 8B může být zajímavá pro interní asistenty, zpracování dokumentů a přesně vymezené automatizace.
Rozhodnutí ale nemá stát na tom, že je model otevřený a lze jej stáhnout zdarma. Firma potřebuje vyhodnotit celý provoz: hardware, zabezpečení, rychlost, správnost, údržbu a lidskou kontrolu.
V Kodo navrhujeme automatizace tak, aby model nebyl jediným místem, které rozhoduje. Propojujeme firemní pravidla, data, kontrolní kroky a AI podle toho, kde skutečně šetří práci. Pokud uvažujete o vlastním AI serveru nebo lokálním zpracování dokumentů, ozvěte se.
Víc o službě: Automatizace a AI pro firmy
Související články
- LM Studio: vlastní AI na firemním počítači. Co umí a kdy dává smysl
- Jak ušetřit na AI modelech: automatizace, přepínání a lokální kontrola
- Jak automatizovat přípravu cenových nabídek bez ztráty kontroly