GreenBoost: Linux модул трансформира RAM в CUDA памет и революционизира използването на LLM с NVIDIA

Сценарият за развитие на местния изкуствен интелект претърпява значителна трансформация с пристигането на GreenBoost. Иновативният модул Este за ядрото Linux обещава да преодолее една от основните бариери, пред които са изправени разработчиците и изследователите: ограничението на видео паметта (VRAM) на потребителските NVIDIA карти. Чрез преобразуването на системната RAM в ресурс, използваем от архитектурата CUDA, GreenBoost отваря нови врати за изпълнение на сложни широкомащабни езикови модели (LLM) директно на обикновени компютри.

Инициативата, разработена от независимия програмист Ferran Duarri, представлява решаващ напредък в среда, в която хардуер с голям капацитет, като графични процесори от корпоративен клас с изобилие от VRAM, е недостъпен за повечето. Решението се фокусира върху оптимизирането на използването на съществуващите ресурси, позволявайки изчислителната мощ на графичните процесори на NVIDIA да бъде напълно използвана дори при ограничения на VRAM, стимулирайки научните изследвания и разработките в AI с отворен код.

Способността да се изпълняват модели, които преди това изискваха десетки гигабайта памет, като “glm-4.7-flash:q8_0” с неговите 31,8 GB памет, на потребителско оборудване беше почти непреодолимо предизвикателство. Традиционните подходи често водят до проблеми с производителността или влошено качество на изводите, правейки практическото взаимодействие с тези модели неосъществимо за много ентусиасти и малки разработчици.

Преодоляване на традиционните VRAM бариери

В исторически план стратегиите за справяне с недостига на VRAM в потребителските графични процесори са били ограничени. Едно от най-често срещаните решения беше да се разтоварят излишните слоеве на невронната мрежа в системната памет на процесора. Този подход обаче страдаше от сериозен проблем с производителността. Липсата на кохерентност на CUDA в паметта на процесора изисква масивни и сложни трансфери на данни между GPU и CPU, създавайки пречка, която може да намали скоростта на генериране на токени до десет пъти.

Друга проучена алтернатива беше драстичното намаляване на нивото на квантуване на модела. Embora това намали търсенето на памет, беше придружено от значително влошаване на възможностите за извод и логическо разсъждение на LLM. Para поддържа качество, единствената жизнеспособна опция беше да се инвестира в графични процесори от корпоративен клас с 48 GB или повече VRAM, разход, който надвишава цената на пълна работна станция и е недостъпен за отделни разработчици и стартиращи компании с ограничени бюджети.

Иновативната 3-степенна архитектура на GreenBoost

GreenBoost не е просто решение за настройка на драйвери или временно решение; е внимателно проектиран Linux модул на ядрото, лицензиран под GPLv2. Ele действа независимо и паралелно с официалните драйвери на NVIDIA, като се намесва директно в слоя за разпределение на паметта CUDA. Гениалната намеса на Essa позволява на GPU драйвера да разпознае системната RAM памет като “външна памет”, създавайки архитектура за разширяване на паметта, която работи на три различни нива за оптимизиране на производителността и капацитета.

Първият слой, известен като T1, е оригиналната VRAM, интегрирана в GPU. В тестова среда, използваща GeForce RTX 5070, със своите 12 GB капацитет и честотна лента от приблизително 336 GB/s, този слой се превръща в критичния път за изчисление. Ela съхранява активните слоеве, до които има най-голям достъп по време на процеса на извеждане, осигурявайки максимална скорост за най-взискателните операции.

Второто ниво, T2, се състои от DDR4 или DDR5 RAM памет на дънната платка. Conectada към GPU чрез PCIe 4.0 x16 връзка, предлага скорост от приблизително 32 GB/s. Нивото Este служи като ефективна зона за съхранение на данни за статичното тегло на модела и значителен кеш ключ-стойност (KV), който е от решаващо значение за LLM за поддържане и препратка към големи контексти, което позволява на AI да работи с по-изчерпателна информация.

И накрая, третият слой на сигурност, T3, е NVMe съхранение. Alocado като суап пространство със сравнително по-ниска скорост от около 1,8 GB/s, то е картографирано да абсорбира всяко препълване на паметта. Слоят Esta влиза в действие само в изключителни ситуации, когато и VRAM, и системната RAM са напълно изчерпани, предлагайки защита за предотвратяване на системни повреди при екстремни сценарии на използване.

Сложността зад интеграцията

Техническата интелигентност на GreenBoost се крие в начина, по който компонентите на ядрото и потребителското пространство си сътрудничат безпроблемно. Модулът на ядрото (`greenboost.ko`) използва оптимизиран разпределител на паметта, за да резервира голямо пространство на страницата в DDR4, елиминирайки излишните разходи за страниране и фрагментацията. Пространствата Esses се експортират като DMA-BUF файлови дескриптори, което позволява директен достъп до паметта.

Leia Tambem

Samsung пуска нова системна актуализация с нови функции за потребителите на Galaxy Watch 4

Дигиталната търговия на дребно намалява стойността на смартфона Galaxy S25 5G с банкови бонуси и обмен на устройства

Значителна отстъпка за Galaxy S25 Plus намалява стойността до под 4500 реала в онлайн магазина

След това GPU импортира тези страници на операционната система като външна памет CUDA чрез API „cudaImportExternalMemory“. Процесът Esse кара платформата CUDA да интерпретира DDR4 физическите страници, сякаш са памет, директно свързана с графичната карта, маскирайки архитектурата на дънната платка. След това движението на данни се управлява като DMA трансфер през PCI Express 4.0 шина, елиминирайки ненужните цикли на копиране от CPU.

В потребителското пространство библиотеката `libgreenboost_cuda.so` действа като интелигентен прихващач. Inserida динамично чрез `LD_PRELOAD`, той прихваща извиквания на API като `cudaMalloc` и `cudaFree`. Requisições малки разпределения се препращат директно към оригиналната VRAM без забавяне. Въпреки това, големи заявки, които надвишават ограниченията на VRAM, се пренасочват към модула GreenBoost в ядрото, който разпределя необходимата памет от системната RAM и я връща на приложението като легитимен указател на CUDA устройство. Para двигатели за изводи, които използват `dlopen` и `dlsym`, GreenBoost има контрамерки, прихващайки самата функция `dlsym` и дори променяйки докладвания капацитет на VRAM, за да принуди разтоварването към RAM.

Синергия с оптимизатори и практическа ефективност

GreenBoost е проектиран да работи заедно с най-новите подходи за изводи, предлагайки многостранен набор от инструменти за оптимизация. Един пример е неговата интеграция с `ExLlamaV3`, машина за изводи, която естествено поддържа пътя на KV кеш слоя, предоставен от GreenBoost. Isso позволява KV тензорът на модела да бъде разпределен директно от `/dev/greenboost` към Python чрез `mmap` достъп без копиране, елиминирайки входно-изходните разходи и подобрявайки производителността.

За дълги контексти, надвишаващи 100 000 токена, инструментът `kvpress` може да се използва заедно, за да се намали натоварването на системната RAM честотна лента. Mais Най-важното е, че интеграцията с NVIDIA ModelOpt, официалния инструмент за оптимизация на NVIDIA, позволява 31.8GB модели да бъдат преобразувани в ефективния FP8 формат без необходимост от повторно обучение, намалявайки размера до по-малко от 16GB. Стратегическата комбинация Essa, която разпределя VRAM към теглата на модела и системната RAM към KV кеша, демонстрира средни скорости на извод от 10 до 25 токена в секунда (tok/s) на GeForce RTX 5070, значително увеличение в сравнение с референтната среда (2 до 5 tok/s).

Предизвикателството на шината PCIe 4.0

Въпреки че е революционен подход, GreenBoost не премахва основните физически ограничения на хардуера. Ferran Duarri, разработчикът, е прозрачен за най-голямото затруднение: максималната честотна лента на шината PCIe 4.0 x16 от приблизително 32 GB/s. Enquanto интегрираната VRAM на съвременните графични процесори предлага стотици GB/s или дори повече от 1 TB/s при модели от висок клас, скоростта на достъп до системната RAM чрез PCIe е значително по-бавна, често под една десета.

Ако данните за теглото на модела, които са често достъпни, се прехвърлят между VRAM и системната RAM многократно, това “разбиване” ще доведе до значително забавяне в конвейера. Da По същия начин, въпреки че NVMe устройствата са ефективни за последователен достъп, производителността на суап слоя може драстично да се влоши, когато се работи с милиони операции с произволен достъп в малки блокове по време на извод. Идеалното решение за максимизиране на потенциала на GreenBoost не се крие в единичен модул, а в интелигентно разделяне на работното натоварване, като се използват най-новите технологии за квантуване на параметри като FP8 и INT4-AWQ, за да се запази теглото на данните до минимум във VRAM (T1) и да се премести KV кеша, който нараства с времето, към DDR4 RAM (T2).

Последици за AI инфраструктурата

Пускането на GreenBoost като отворен код представлява силен отговор от общността на разработчиците срещу изкуствените ограничения, наложени от потребителския пазар на GPU, където изчислителната мощност е висока, но ограничената VRAM ограничава промишлената употреба. Това е опит да се емулира, чрез софтуер, унифицираното изживяване с памет, наблюдавано в архитектурата на Apple M-series, което позволява масови AI изводи без необходимост от скъпи HBM модули, чрез интегриране на тази технология в съществуващи PC платформи.

Този метод на внедряване предлага мощна противодействаща мярка за отделни изследователи и малки до средни екосистеми за разработка на AI срещу нарастващите разходи за AI ускорители от корпоративен клас. Atualmente, демонстриран на GeForce RTX 5070, с наличието на изходния код се очаква, че широк кръг от потребители с карти на архитектурите Ada Lovelace и Ampere ще проверят и адаптират решението. Във време, когато хардуерно наложената скалируемост е достигнала плато, подходът Ferran Duarri, като заобикаля сложните слоеве от управлението на ядрото до интерфейса PCI-Express и средата CUDA, насочва към предизвикателствата при управлението на паметта, които бъдещите разпределени AI инфраструктури ще трябва да адресират. Desenvolvedores по целия свят продължават да създават алтернативи за заобикаляне на тази бариера.