GreenBoost: A Linux modul a RAM-ot CUDA memóriává alakítja, és forradalmasítja az LLM-ek használatát az NVIDIA-val
A helyi mesterséges intelligencia fejlesztési forgatókönyve a GreenBoost megjelenésével jelentős átalakuláson megy keresztül. Az Este innovatív modul az Linux kernelhez azt ígéri, hogy legyőzi a fejlesztők és kutatók előtt álló egyik fő akadályt: a videomemória (VRAM) korlátozását a fogyasztói NVIDIA kártyákon. Azáltal, hogy a rendszer RAM-ját a CUDA architektúra által használható erőforrássá alakítja, a GreenBoost új ajtókat nyit meg az összetett, nagyméretű nyelvi modellek (LLM) futtatásához közvetlenül az áru PC-ken.
Az Ferran Duarri független programozó által kifejlesztett kezdeményezés döntő előrelépést jelent egy olyan környezetben, ahol a nagy kapacitású hardverek, például a bőséges VRAM-mal rendelkező vállalati szintű GPU-k a legtöbb számára hozzáférhetetlenek. A megoldás a meglévő erőforrások felhasználásának optimalizálására összpontosít, lehetővé téve az NVIDIA GPU-k számítási teljesítményének teljes kihasználását még VRAM-korlátok mellett is, fellendítve a nyílt forráskódú mesterséges intelligencia kutatását és fejlesztését.
Szinte leküzdhetetlen kihívást jelentett a korábban több tíz gigabájt memóriát igénylő modellek, például a “glm-4.7-flash:q8_0” 31,8 GB memóriával való futtatása fogyasztói berendezéseken. A hagyományos megközelítések gyakran a teljesítmény szűk keresztmetszetéhez vagy a következtetések minőségének romlásához vezettek, ami sok rajongó és kis fejlesztő számára megvalósíthatatlanná tette az ezekkel a modellekkel való gyakorlati interakciót.
A hagyományos VRAM-korlátok leküzdése
A múltban a fogyasztói GPU-k VRAM-hiányának kezelésére szolgáló stratégiák korlátozottak voltak. Az egyik legelterjedtebb megoldás az volt, hogy a neurális hálózat többletrétegeit a CPU rendszermemóriájába terhelték. Ez a megközelítés azonban komoly teljesítményproblémákkal küzdött. A CUDA koherenciájának hiánya a CPU memóriájában hatalmas és összetett adatátvitelt igényelt a GPU és a CPU között, ami szűk keresztmetszetet teremtett, amely akár tízszeresére csökkentheti a token generálási sebességet.
Több a témáról: A sok memóriával rendelkező Mac Mini iránti nagy kereslet az eszközön futó AI-ügynökök számának növekedését tükrözi
Egy másik feltárt alternatíva a modell kvantálási szintjének drasztikus csökkentése volt. Embora ez csökkentette a memóriaigényt, és az LLM következtetési és logikai gondolkodási képességeinek jelentős romlása kísérte. Az Para minőség megőrzése érdekében az egyetlen járható megoldás a 48 GB vagy több VRAM-mal rendelkező vállalati szintű GPU-kba való befektetés volt. Ez a költség meghaladja a teljes munkaállomás költségeit, és elérhetetlen az egyéni fejlesztők és a korlátozott költségvetésű induló vállalkozások számára.
A GreenBoost innovatív, háromszintű architektúrája
A GreenBoost nem csupán egy illesztőprogram-csípés vagy stopgap megoldás; egy gondosan megtervezett Linux kernelmodul, a GPLv2 licenc alatt. Az Ele a hivatalos NVIDIA illesztőprogramokkal függetlenül és párhuzamosan működik, közvetlenül beavatkozva a CUDA memóriafoglalási rétegébe. Az Essa zseniális beavatkozás lehetővé teszi, hogy a GPU-illesztőprogram „külső memóriaként” ismerje fel a rendszer-RAM-ot, és olyan memóriabővítési architektúrát hoz létre, amely három különböző szinten működik a teljesítmény és a kapacitás optimalizálása érdekében.
Az első réteg, T1 néven ismert, a GPU-ba integrált eredeti VRAM. GeForce RTX 5070-et használó tesztkörnyezetben, 12 GB kapacitásával és körülbelül 336 GB/s sávszélességével ez a réteg válik a számítások kritikus útjává. Az Ela a következtetési folyamat során leginkább elérhető aktív rétegeket tárolja, így maximális sebességet biztosít a legigényesebb műveletekhez.
Tudjon meg többet: A PlayStation 5 Pro árcsökkenése felgyorsítja a digitális kiskereskedelmi eladásokat, és megszünteti a globális készleteket
A második szintet, a T2-t az alaplapi rendszer DDR4 vagy DDR5 RAM memóriája alkotja. Conectada a GPU-hoz PCIe 4.0 x16 kapcsolaton keresztül, körülbelül 32 GB/s sebességet kínál. Az Este szint hatékony tárolási területként szolgál a statikus modellsúlyadatok számára, valamint jelentős kulcs-érték (KV) gyorsítótárként szolgál, amely kritikus fontosságú az LLM-ek számára a nagy kontextusok karbantartásához és hivatkozásához, lehetővé téve az AI számára, hogy átfogóbb információkkal dolgozhasson.
Végül a harmadik biztonsági réteg, a T3 az NVMe tárolás. Az Alocado csereterületként viszonylag lassabb, körülbelül 1,8 GB/s sebességgel van leképezve, hogy elnyelje a memóriatúlcsordulást. Az Esta réteg csak kivételes helyzetekben lép működésbe, amikor a VRAM és a rendszer RAM is teljesen kimerült, így biztosítékot kínál a rendszerhibák megelőzésére szélsőséges használati forgatókönyvek esetén.
Az integráció mögött rejlő kifinomultság
A GreenBoost technikai intelligenciája abban rejlik, ahogy a kernel és a felhasználói terület összetevői zökkenőmentesen együttműködnek. A kernelmodul (`greenboost.ko`) egy optimalizált memóriaelosztót használ, hogy nagy oldalterületet foglaljon le a DDR4-ben, kiküszöbölve a lapozási többletterhelést és a töredezettséget. Az Esses terek DMA-BUF fájlleíróként kerülnek exportálásra, lehetővé téve a közvetlen memóriahozzáférést.
Lásd Még
Colby Minifie megerősíti Ashley Barrett erejét a The Boys ötödik évadában
Az új akkumulátorteszt a Galaxy S26 Ultra-t az iPhone 17 Pro Max elé helyezi a globális rangsorban
A Samsung új rendszerfrissítést ad ki új funkciókkal a Galaxy Watch 4 felhasználói számára
A GPU ezután CUDA külső memóriaként importálja ezeket az operációs rendszer oldalakat a “cudaImportExternalMemory” API-n keresztül. Az Esse folyamat arra készteti a CUDA platformot, hogy a DDR4 fizikai oldalait úgy értelmezze, mintha azok a grafikus kártyához közvetlenül csatlakoztatott memória lennének, elfedve az alaplap architektúráját. Az adatmozgás ezután DMA-átvitelként történik a PCI Express 4.0 buszon keresztül, kiküszöbölve a CPU szükségtelen másolási ciklusait.
A felhasználói térben a `libgreenboost_cuda.so` könyvtár intelligens elfogóként működik. Az Inserida dinamikusan az “LD_PRELOAD”-on keresztül elfogja az olyan API-hívásokat, mint a “cudaMalloc” és a “cudaFree”. Requisições kis kiosztást a rendszer késleltetés nélkül közvetlenül az eredeti VRAM-ba továbbít. A VRAM-korlátokat meghaladó nagy kérések azonban a rendszermag GreenBoost moduljához kerülnek átirányításra, amely lefoglalja a szükséges memóriát a rendszer-RAM-ból, és visszaküldi az alkalmazásnak legitim CUDA-eszközmutatóként. Az Para következtetési motorok, amelyek “dlopen” és “dlsym” függvényeket használnak, a GreenBoost ellenintézkedésekkel rendelkezik, elfogja magát a “dlsym” funkciót, és még a jelentett VRAM-kapacitást is megváltoztatja, hogy a RAM-ba való kitöltést kényszerítse.
Ugyanebben a témában: Az Apple új rendszerfrissítése optimalizálja a sürgős feladatok kezelését az iPhone felhasználók számára
Szinergia az optimalizálókkal és a gyakorlati teljesítménnyel
A GreenBoost úgy lett kialakítva, hogy a legújabb következtetési megközelítésekkel együtt működjön, és sokoldalú optimalizálási eszközkészletet kínál. Az egyik példa az ExLlamaV3-mal való integráció, egy következtetési motor, amely natívan támogatja a GreenBoost által biztosított KV gyorsítótár-réteg útvonalát. Az Isso lehetővé teszi a modell KV tenzorának közvetlen kiosztását a `/dev/greenboost`-ból az Python-hez az `mmap` hozzáférésen keresztül, másolás nélkül, kiküszöbölve az I/O-többletet és javítva a teljesítményt.
Hosszú, 100 000 tokent meghaladó kontextusok esetén a “kvpress” eszköz használható a rendszer RAM sávszélességének többletterhelésének csökkentésére. Mais Lényeges, hogy az NVIDIA ModelOpt-tal, az NVIDIA hivatalos optimalizálási eszközével való integráció lehetővé teszi a 31,8 GB-os modellek hatékony FP8 formátumba való átalakítását anélkül, hogy szükség lenne átképzésre, így a méret 16 GB alá csökken. Az Essa stratégiai kombináció, amely a VRAM-ot a modellsúlyokhoz, a rendszer-RAM-ot pedig a KV-gyorsítótárhoz rendeli, 10-25 token/s (tok/s) átlagos következtetési sebességet mutatott a GeForce RTX 5070-en, ami jelentős növekedés a referenciakörnyezethez (2-5 tok/s) képest.
A PCIe 4.0 busz kihívás
Annak ellenére, hogy forradalmi megközelítés, a GreenBoost nem szünteti meg a hardver alapvető fizikai korlátait. A fejlesztő Ferran Duarri átlátszó a legnagyobb szűk keresztmetszetről: a PCIe 4.0 x16 busz maximális átviteli sávszélessége körülbelül 32 GB/s. Enquanto a modern GPU-k integrált VRAM-ja több száz GB/s-ot, vagy akár több mint 1 TB/s-ot kínál a csúcskategóriás modellekben, a rendszer-RAM PCIe-n keresztüli elérésének sebessége lényegesen lassabb, gyakran kevesebb, mint egy tizede.
Ha a modell súlyadatait, amelyekhez gyakran hozzáférnek, ismételten átvisszük a VRAM és a rendszer RAM között, ez a „csalódás” jelentős késést eredményez a folyamatban. Da Hasonlóképpen, bár az NVMe meghajtók hatékonyak a szekvenciális hozzáféréshez, a swap réteg teljesítménye drámaian lecsökkenhet, ha több millió véletlen hozzáférésű műveletet hajtanak végre kis blokkokban a következtetés során. Az ideális megoldás a GreenBoost lehetőségeinek maximalizálására nem egyetlen modulban rejlik, hanem a munkaterhelés intelligens particionálásában, a legújabb paraméterkvantálási technológiák, például az FP8 és INT4-AWQ felhasználásával, hogy minimálisra csökkentsék az adatok súlyát a VRAM-ban (T1), és áthelyezzék az idővel növekvő KV-gyorsítótárat a DDR4 RAM-ba (T2).
Több a témáról: Az AI X1 PRO-470 forradalmasítja a mini PC-ket a Ryzen AI 9 HX 470 és a fejlett helyi mesterséges intelligencia támogatással
Az AI-infrastruktúrára gyakorolt hatás
A GreenBoost nyílt forráskódú kiadása a fejlesztői közösség erőteljes válaszát jelenti a fogyasztói GPU-piac mesterséges korlátai ellen, ahol a számítási teljesítmény nagy, de a korlátozott VRAM korlátozza az ipari felhasználást. Ez egy kísérlet arra, hogy szoftveren keresztül emulálja az Apple M-sorozatú architektúrában látható egységes memóriaélményt, amely lehetővé teszi hatalmas mesterséges intelligencia következtetések levonását drága HBM modulok nélkül, a technológia meglévő PC-platformokba való integrálásával.
Ez a megvalósítási módszer hatékony ellenintézkedést kínál az egyéni kutatók és a kis- és közepes méretű mesterséges intelligencia-fejlesztő ökoszisztémák számára a vállalati szintű AI-gyorsítók növekvő költségeivel szemben. A GeForce RTX 5070-en bemutatott Atualmente, a forráskód rendelkezésre állásával várhatóan az Ada Lovelace és Ampere architektúrájú kártyákkal rendelkező felhasználók széles köre ellenőrzi és adaptálja a megoldást. Abban az időben, amikor a hardver által kikényszerített skálázhatóság elérte a platót, az Ferran Duarri megközelítés a kernelkezeléstől a PCI-Express interfészig és a CUDA környezetig terjedő összetett rétegek megkerülésével rámutat azokra a memóriakezelési kihívásokra, amelyekkel a jövő elosztott AI-infrastruktúráinak foglalkozniuk kell. Desenvolvedores szerte a világon továbbra is alternatívákat hoz létre ennek az akadálynak a megkerülésére.
