IBM zaprezentował nową generację rodziny dużych modeli językowych (LLM) Granite 3.2. To kontynuacja dotychczasowych starań IBM na rzecz rozwoju kompaktowej, wydajnej i praktycznej sztucznej inteligencji dla przedsiębiorstw, która przynosi firmom realne korzyści.
-
-
- Granite 3.2 to najnowsza wersja trzeciej generacji modeli IBM Granite
- Kompaktowe modele AI oferujące rozumowanie, przetwarzanie obrazów oraz funkcje bezpieczeństwa są dostępne na licencji przyjaznej dla deweloperów
- Zaktualizowane modele szeregów czasowych Granite oferują prognozowanie długoterminowe przy mniej niż 10 milionach parametrów
-
Wszystkie modele Granite 3.2 są dostępne na platformie Hugging Face na licencji Apache 2.0. Wybrane modele są już dostępne na IBM watsonx.ai, Ollama, Replicate oraz LM Studio, a wkrótce pojawią się także w wersji RHEL AI 1.5, udostępniając zaawansowane możliwości zarówno firmom, jak i społeczności open source. Ich najważniejsze cechy obejmują:
- Nowy Vision Language Model (VLM) do zadań związanych ze zrozumieniem dokumentów, który osiąga wyniki porównywalne lub przewyższające znacznie większe modele – takie jak Llama 3.2 11B i Pixtral 12B – w kluczowych benchmarkach dla zastosowań biznesowych: DocVQA, ChartQA, AI2D oraz OCRBench¹. Oprócz solidnego zestawu danych treningowych, IBM wykorzystał również własny, otwartoźródłowy zestaw narzędzi Docling do przetworzenia 85 milionów plików PDF i wygenerowania 26 milionów syntetycznych par pytanie–odpowiedź, co znacząco zwiększyło zdolność modelu VLM do pracy z dokumentami o wysokim stopniu złożoności.
- Zdolności do rozumowania typu „chain of thought” (łańcuch myślowy) dostępne w modelach 3.2 2B i 8B, z możliwością włączania i wyłączania tego mechanizmu w celu optymalizacji wydajności. Dzięki tej funkcjonalności, model 8B osiąga dwucyfrową poprawę względem poprzednika w testach oceniających umiejętność wykonywania instrukcji, takich jak ArenaHard i Alpaca Eval – bez pogorszenia wyników w zakresie bezpieczeństwa czy wydajności². Co więcej, dzięki nowatorskim metodom skalowania inferencji, model Granite 3.2 8B może zostać skalibrowany tak, by dorównywać znacznie większym modelom, takim jak Claude 3.5 Sonnet czy GPT-4o, w zadaniach matematycznego rozumowania, np. AIME2024 i MATH500³.
- Odchudzone wersje modeli bezpieczeństwa Granite Guardian, które przy zachowaniu wydajności poprzedniej generacji Granite 3.1 Guardian charakteryzują się o 30% mniejszym rozmiarem. Modele w wersji 3.2 wprowadzają również nową funkcjonalność, określaną mianem werbalizowanego zaufania, która umożliwia bardziej precyzyjną ocenę ryzyka i pozwala uwzględniać niejednoznaczność w procesach monitorowania bezpieczeństwa.
Strategia IBM polegająca na dostarczaniu mniejszych, wyspecjalizowanych modeli AI dla przedsiębiorstw nadal potwierdza swoją skuteczność w testach. Model Granite 3.1 8B niedawno uzyskał wysokie noty pod względem dokładności w benchmarku Salesforce LLM Benchmark dla CRM.
Rodzina modeli Granite korzysta z silnego ekosystemu partnerów, w tym wiodących firm programistycznych, które integrują te modele językowe (LLM) ze swoimi technologiami.
Granite 3.2 to ważny krok w procesie rozwoju portfolio IBM oraz realizacji strategii dostarczania niewielkich, ale niezwykle praktycznych modeli AI dla biznesu. Choć podejścia typu chain of thought (łańcuch rozumowania) oferują dużą moc wnioskowania, wymagają one znacznych zasobów obliczeniowych, które nie są konieczne w przypadku każdego zadania. Dlatego IBM wprowadził możliwość programowego włączania lub wyłączania trybu rozumowania. Przy prostszych zadaniach model może działać bez tego mechanizmu, ograniczając zbędne zużycie mocy obliczeniowej. Dodatkowo inne techniki rozumowania, takie jak skalowanie inferencji, wykazały, że model Granite 3.2 8B może dorównywać, a nawet przewyższać wydajnością znacznie większe modele w standardowych benchmarkach dotyczących matematycznego rozumowania. Dalszy rozwój metod takich jak inference scaling pozostaje kluczowym obszarem badań zespołów IBM4.
Obok modeli Granite 3.2 Instruct, Vision i Guardrail, IBM wprowadza także nową generację modeli TinyTimeMixers (TTM) (poniżej 10 milionów parametrów), które umożliwiają prognozowanie długoterminowe sięgające nawet dwóch lat w przód. Modele te stanowią potężne narzędzie do analizy trendów długoterminowych, w tym prognoz finansowych i ekonomicznych, przewidywania popytu w łańcuchach dostaw oraz planowania sezonowego zatowarowania w handlu detalicznym.
