A Microsoft új áttörése: a világ legnagyobb 1-bites mesterséges intelligencia modellje
A Microsoft kutatói bejelentették, hogy kifejlesztettek egy új mesterséges intelligencia modellt, amely a legnagyobb 1-bites felépítéssel rendelkezik eddig. Az *BitNet b1.58 2B4T* névre keresztelt modell nyílt forráskódú, MIT licenc alatt érhető el, és képes futni különböző CPU-kon, köztük az Apple M2 chipjén is.
Mi az a BitNet?
A BitNet modellek lényegében olyan tömörített AI modellek, amelyeket könnyű hardvereken lehet futtatni. A hagyományos modellek esetében a súlyok, amelyek a modell belső struktúráját határozzák meg, gyakran quantizálva vannak. Ez a folyamat csökkenti azoknak a biteknek a számát, amelyek szükségesek a súlyok ábrázolásához, így a modellek kevesebb memóriaigénnyel működnek, és gyorsabban futnak.
A BitNetek a súlyokat csupán három értékbe – -1, 0 és 1 – quantizálják. Ez lehetővé teszi, hogy jelentősen csökkentsék a memória- és számítási igényeket a mai modellekhez képest.
A BitNet b1.58 2B4T eredményei
A Microsoft kutatóinak elmondása szerint a BitNet b1.58 2B4T az első bitnet, amely 2 milliárd paraméterrel rendelkezik, amely nagyrészt szinonim az „súlyokkal”. A modellt 4 billió tokenra tanították, ami körülbelül 33 millió könyvnek felel meg. Az eredmények szerint a BitNet b1.58 2B4T meghaladja a hagyományos modellek teljesítményét azonos méretben.
Fontos megjegyezni, hogy a BitNet b1.58 2B4T nem veri le a versenytársait. Viszont a kutatók tesztjei alapján a modell jobban szerepel olyan más 2 milliárd paraméteres modellekhez képest, mint a Meta Llama 3.2 1B, a Google Gemma 3 1B vagy az Alibaba Qwen 2.5 1.5B bizonyos teljesítménymérő teszteken, például a GSM8K (általános iskolai matematikai feladatok) és a PIQA (fizikai közértelem tesztje).
Gyorsaság és bökkenők
Talán még figyelemreméltóbb, hogy a BitNet b1.58 2B4T gyorsabb, mint a méretében hasonló modellek – egyes esetekben akár kétszeres sebességgel fut. Emellett jelentősen alacsonyabb memóriaigénnyel rendelkezik. Azonban van egy hátrány: az ilyen teljesítmény eléréséhez szükséges a Microsoft egyedi keretrendszere, a bitnet.cpp, amely jelenleg csak bizonyos hardvereken működik. A támogatott chippek listájából hiányoznak a GPU-k, amelyek uralják az AI infrastruktúrát.
Összegzés
A BitNet b1.58 2B4T új lehetőségeket nyithat meg az AI világában, különösen olyan eszközök számára, ahol a számítási erőforrások korlátozottak. Ugyanakkor a kompatibilitás jelentős kihívást jelenthet, amelyet a jövőben is figyelembe kell venni. A Microsoft ebben az új modellben hatalmas potenciált lát, de a széleskörű bevezetéshez és alkalmazáshoz további fejlesztésekre van szükség.
