GreenBoost: il modulo Linux trasforma la RAM in memoria CUDA e rivoluziona l’uso degli LLM con NVIDIA

Lo scenario di sviluppo dell’intelligenza artificiale locale sta subendo una significativa trasformazione con l’arrivo di GreenBoost. Il modulo innovativo Este per il kernel Linux promette di superare uno dei principali ostacoli affrontati da sviluppatori e ricercatori: la limitazione della memoria video (VRAM) sulle schede NVIDIA consumer. Convertendo la RAM di sistema in una risorsa utilizzabile dall’architettura CUDA, GreenBoost apre nuove porte per l’esecuzione di complessi modelli linguistici su larga scala (LLM) direttamente sui PC di base.

L’iniziativa, sviluppata dal programmatore indipendente Ferran Duarri, rappresenta un progresso cruciale in un ambiente in cui l’hardware ad alta capacità, come le GPU di livello aziendale con abbondante VRAM, è inaccessibile ai più. La soluzione si concentra sull’ottimizzazione dell’uso delle risorse esistenti, consentendo di sfruttare appieno la potenza computazionale delle GPU NVIDIA anche con vincoli VRAM, stimolando la ricerca e lo sviluppo nell’intelligenza artificiale open source.

La capacità di eseguire modelli che in precedenza richiedevano decine di gigabyte di memoria, come “glm-4.7-flash:q8_0” con i suoi 31,8 GB di memoria, su apparecchiature consumer era una sfida quasi insormontabile. Gli approcci tradizionali spesso comportavano colli di bottiglia nelle prestazioni o una qualità di inferenza ridotta, rendendo l’interazione pratica con questi modelli irrealizzabile per molti appassionati e piccoli sviluppatori.

Superare le tradizionali barriere VRAM

Storicamente, le strategie per gestire la carenza di VRAM nelle GPU consumer sono state limitate. Una delle soluzioni più comuni era scaricare gli strati in eccesso della rete neurale nella memoria del sistema CPU. Tuttavia, questo approccio soffriva di un serio problema di prestazioni. La mancanza di coerenza CUDA nella memoria della CPU richiedeva trasferimenti di dati massicci e complessi tra GPU e CPU, creando un collo di bottiglia che poteva ridurre la velocità di generazione dei token fino a dieci volte.

Un’altra alternativa esplorata è stata la drastica riduzione del livello di quantizzazione del modello. Embora ciò ha ridotto la richiesta di memoria, è stato accompagnato da un significativo degrado delle capacità di inferenza e ragionamento logico dell’LLM. Para mantenere la qualità, l’unica opzione praticabile era investire in GPU di livello aziendale con 48 GB o più di VRAM, una spesa che supera il costo di una workstation completa ed è fuori dalla portata dei singoli sviluppatori e startup con budget limitati.

L’innovativa architettura a 3 livelli di GreenBoost

GreenBoost non è semplicemente una modifica del driver o una soluzione tampone; è un modulo del kernel Linux attentamente progettato e concesso in licenza sotto GPLv2. Ele agisce in modo indipendente e in parallelo con i driver ufficiali NVIDIA, intervenendo direttamente nel livello di allocazione della memoria CUDA. L’intervento ingegnoso di Essa consente al driver GPU di riconoscere la RAM di sistema come “memoria esterna”, creando un’architettura di espansione della memoria che opera su tre livelli distinti per ottimizzare prestazioni e capacità.

Il primo livello, noto come T1, è la VRAM originale integrata nella GPU. In un ambiente di test che utilizza una GeForce RTX 5070, con i suoi 12 GB di capacità e una larghezza di banda di circa 336 GB/s, questo livello diventa il percorso critico per il calcolo. Ela memorizza i layer attivi a cui si accede maggiormente durante il processo di inferenza, garantendo la massima velocità per le operazioni più impegnative.

Il secondo livello, T2, è costituito dalla memoria RAM DDR4 o DDR5 del sistema scheda madre. Conectada alla GPU tramite un collegamento PCIe 4.0 x16, offre una velocità di circa 32 GB/s. Il livello Este funge da area di archiviazione efficiente per i dati sul peso del modello statico e da una sostanziale cache di valori-chiave (KV), fondamentale per gli LLM per mantenere e fare riferimento a contesti di grandi dimensioni, consentendo all’intelligenza artificiale di lavorare con informazioni più complete.

Infine, il terzo livello di sicurezza, T3, è lo storage NVMe. Alocado come spazio di swap con una velocità relativamente più lenta di circa 1,8 GB/s, è mappato per assorbire eventuali overflow di memoria. Il livello Esta entra in gioco solo in situazioni eccezionali, quando sia la VRAM che la RAM di sistema sono completamente esaurite, offrendo una salvaguardia per prevenire guasti del sistema in scenari di utilizzo estremi.

La sofisticatezza dietro l’integrazione

L’intelligenza tecnica di GreenBoost risiede nel modo in cui i componenti del kernel e dello spazio utente collaborano perfettamente. Il modulo del kernel (`greenboost.ko`) utilizza un allocatore di memoria ottimizzato per riservare un ampio spazio di pagina in DDR4, eliminando il sovraccarico di paginazione e la frammentazione. Gli spazi Esses vengono esportati come descrittori di file DMA-BUF, consentendo l’accesso diretto alla memoria.

Leia Tambem

Colby Minifie conferma i poteri di Ashley Barrett nella quinta stagione di The Boys

Samsung rilascia un nuovo aggiornamento di sistema con nuove funzionalità per gli utenti Galaxy Watch 4

L’adattatore wireless CarPlay di Amazon ha uno sconto del 50% e un elevato indice di approvazione da parte degli automobilisti

La GPU importa quindi queste pagine del sistema operativo come memoria esterna CUDA tramite l’API “cudaImportExternalMemory”. Il processo Esse fa sì che la piattaforma CUDA interpreti le pagine fisiche DDR4 come se fossero memoria direttamente collegata alla scheda grafica, mascherando l’architettura della scheda madre. Lo spostamento dei dati viene quindi gestito come trasferimento DMA tramite il bus PCI Express 4.0, eliminando cicli di copia non necessari da parte della CPU.

Nello spazio utente, la libreria `libgreenboost_cuda.so` funge da intercettore intelligente. Inserida dinamicamente tramite `LD_PRELOAD`, intercetta chiamate API come `cudaMalloc` e `cudaFree`. Requisições di piccole allocazioni vengono inoltrate direttamente alla VRAM originale senza latenza. Tuttavia, le richieste di grandi dimensioni che superano i limiti VRAM vengono reindirizzate al modulo GreenBoost nel kernel, che alloca la memoria necessaria dalla RAM di sistema e la restituisce all’applicazione come puntatore legittimo del dispositivo CUDA. Para motori di inferenza che utilizzano `dlopen` e `dlsym`, GreenBoost dispone di contromisure, intercettando la funzione `dlsym` stessa e persino modificando la capacità VRAM segnalata per forzare lo scaricamento sulla RAM.

Sinergia con ottimizzatori e prestazioni pratiche

GreenBoost è progettato per funzionare insieme ai più recenti approcci di inferenza, offrendo un set di strumenti di ottimizzazione multiforme. Un esempio è la sua integrazione con “ExLlamaV3”, un motore di inferenza che supporta nativamente il percorso del livello di cache KV fornito da GreenBoost. Isso consente l’allocazione diretta del tensore KV del modello da `/dev/greenboost` a Python tramite accesso `mmap` senza copia, eliminando il sovraccarico di I/O e migliorando le prestazioni.

Per contesti lunghi che superano i 100.000 token, lo strumento “kvpress” può essere utilizzato insieme per ridurre il sovraccarico sulla larghezza di banda della RAM del sistema. Mais Fondamentalmente, l’integrazione con NVIDIA ModelOpt, lo strumento di ottimizzazione ufficiale di NVIDIA, consente di convertire i modelli da 31,8 GB nell’efficiente formato FP8 senza la necessità di riqualificazione, riducendo le dimensioni a meno di 16 GB. La combinazione strategica Essa, che alloca VRAM ai pesi del modello e RAM di sistema alla cache KV, ha dimostrato velocità di inferenza media da 10 a 25 token al secondo (tok/s) sulla GeForce RTX 5070, un aumento significativo rispetto all’ambiente di riferimento (da 2 a 5 tok/s).

La sfida del bus PCIe 4.0

Nonostante sia un approccio rivoluzionario, GreenBoost non elimina le limitazioni fisiche fondamentali dell’hardware. Ferran Duarri, lo sviluppatore, è trasparente riguardo al collo di bottiglia più grande: la larghezza di banda di trasferimento massima del bus PCIe 4.0 x16 di circa 32 GB/s. Enquanto la VRAM integrata delle moderne GPU offre centinaia di GB/s, o anche più di 1 TB/s nei modelli di fascia alta, la velocità di accesso alla RAM di sistema tramite PCIe è significativamente più lenta, spesso inferiore a un decimo.

Se i dati sul peso del modello, a cui si accede frequentemente, vengono trasferiti ripetutamente tra la VRAM e la RAM di sistema, questo “thrashing” comporterà un notevole ritardo nella pipeline. Da Allo stesso modo, sebbene le unità NVMe siano efficienti per l’accesso sequenziale, le prestazioni a livello di swap possono peggiorare drasticamente quando si gestiscono milioni di operazioni di accesso casuale in piccoli blocchi durante l’inferenza. La soluzione ideale per massimizzare il potenziale di GreenBoost non risiede in un singolo modulo, ma nel partizionare in modo intelligente il carico di lavoro, utilizzando le più recenti tecnologie di quantizzazione dei parametri come FP8 e INT4-AWQ per mantenere il peso dei dati al minimo nella VRAM (T1) e spostare la cache KV, che cresce nel tempo, sulla RAM DDR4 (T2).

Implicazioni per l’infrastruttura AI

Il rilascio di GreenBoost come open source rappresenta una forte risposta da parte della comunità di sviluppatori contro le limitazioni artificiali imposte dal mercato delle GPU consumer, dove la potenza computazionale è elevata ma la VRAM limitata limita l’uso industriale. Si tratta di un tentativo di emulare, via software, l’esperienza di memoria unificata vista nell’architettura della serie Apple M, che consente un’inferenza AI massiccia senza la necessità di costosi moduli HBM, integrando questa tecnologia nelle piattaforme PC esistenti.

Questo metodo di implementazione offre una potente contromisura per i singoli ricercatori e per gli ecosistemi di sviluppo dell’IA di piccole e medie dimensioni contro i costi crescenti degli acceleratori di intelligenza artificiale di livello aziendale. Atualmente dimostrato sulla GeForce RTX 5070, con la disponibilità del codice sorgente, si prevede che un’ampia gamma di utenti con schede delle architetture Ada Lovelace e Ampere verificheranno e adatteranno la soluzione. In un momento in cui la scalabilità applicata dall’hardware ha raggiunto un plateau, l’approccio Ferran Duarri, bypassando i livelli complessi dalla gestione del kernel all’interfaccia PCI-Express e all’ambiente CUDA, indica le sfide di gestione della memoria che le future infrastrutture IA distribuite dovranno affrontare. Desenvolvedores in tutto il mondo continuano a creare alternative per aggirare questa barriera.