GreenBoost: Linux module e suia le RAM i le CUDA manatua ma faʻafouina le faʻaogaina o LLM ma NVIDIA

O le faʻataʻitaʻiga o le atinaʻeina o le atamai faʻapitonuʻu o loʻo feagai ma se suiga tele i le taunuu mai o GreenBoost. Este module fou mo le Linux kernel ua folafola atu e foia se tasi o pa puipui autu o feagai ma tagata atiae ma tagata suʻesuʻe: le tapulaʻa o le mafaufau vitio (VRAM) i luga o kata NVIDIA tagata faʻatau. E ala i le fa’aliliuina o le RAM i se puna’oa e mafai ona fa’aaogaina e le CUDA architecture, ua tatala ai e GreenBoost ni faitoto’a fou mo le fa’atinoina o fa’ata’ita’iga lavelave lavelave gagana (LLMs) sa’o i luga o oloa PC.

O le fuafuaga, na atiaʻe e le tagata fai polokalame tutoatasi Ferran Duarri, o loʻo faʻatusalia ai se alualu i luma taua i se siʻosiʻomaga o loʻo i ai meafaigaluega maualuga, e pei o GPU-vaega faʻapisinisi ma VRAM tele, e le mafai ona maua e le tele. O le fofo e taulaʻi i le faʻamalosia o le faʻaogaina o punaoa o loʻo i ai, faʻatagaina le malosi faʻatulagaina o NVIDIA GPUs e faʻaaogaina atoatoa e oʻo lava i faʻalavelave VRAM, faʻamalosia suʻesuʻega ma atinaʻe i punaoa tatala AI.

O le mafai ona faʻataʻitaʻiina faʻataʻitaʻiga na manaʻomia muamua le sefulu o gigabytes o le manatua, e pei o le “glm-4.7-flash: q8_0” ma lona 31.8 GB o le manatua, i luga o meafaigaluega faʻatau o se luʻitau e le mafai ona faʻafefe. O faiga fa’aleaganu’u e masani lava ona i’u ai i fa’atosina fa’atinoga po’o le fa’aleagaina o le lelei o fa’ai’uga, ua le mafai ai ona fa’atino fegalegaleaiga fa’atasi ma nei fa’ata’ita’iga mo le tele o tagata fiafia ma atina’e laiti.

Faʻatoʻilaloina Paʻu VRAM masani

I le tala faasolopito, o taʻiala mo le taulimaina o le le lava o le VRAM i tagata faʻatau GPU ua faʻatapulaʻaina. O se tasi o fofo sili ona taatele o le ave’esea lea o vaega fa’asili o le neural network i le CPU system memory. Ae ui i lea, o lenei auala na mafatia i se faʻafitauli matuia o le faʻatinoga. O le leai o se faʻaogaina o le CUDA i le CPU manatua e manaʻomia ai le tele ma le lavelave faʻafeiloaʻiga o faʻamatalaga i le va o le GPU ma le PPU, faʻatupuina se faʻamaufaʻailoga e mafai ona faʻaitiitia ai le saoasaoa o faʻailoga e oʻo atu i le sefulu taimi.

O le isi su’esu’ega na su’esu’eina o le fa’aitiitiga tele o le fa’ata’ita’iga fa’atusa. Embora na faʻaitiitia ai le manaʻoga mo le manatua, na faʻatasi ma se faʻaleagaina tele i le faʻaogaina ma le mafai gafatia o le LLM. Para tausia lelei, na o le pau lava le filifiliga talafeagai o le teu faʻafaigaluega i atinaʻe-grade GPUs ma le 48 GB poʻo le sili atu o le VRAM, o se tupe faʻaalu e sili atu i le tau o se fale faigaluega atoa ma e le mafai ona maua e tagata atinaʻe taʻitoʻatasi ma amataga faʻatapulaʻaina paketi.

GreenBoost’s fou 3-vaega fausaga fausaga

GreenBoost e le na’o se avetaavale tweak poʻo se fofo taofi; ose fa’ata’ita’iga fa’apitoa Linux kernel module ua laiseneina i lalo ole GPLv2. Ele galue tutoatasi ma tutusa ma avetaʻavale NVIDIA aloaia, faʻalavelave saʻo i le CUDA memory allocation layer. Essa fa’alavelave fa’apitoa e mafai ai e le aveta’avale GPU ona iloa le RAM o le “manatua i fafo”, fa’atupuina se fausaga fa’alautelega manatua e fa’agaoioia i tulaga ma’oti e tolu e fa’amalieina ai le fa’atinoga ma le gafatia.

O le vaega muamua, ua taʻua o le T1, o le uluai VRAM ua tuʻufaʻatasia i le GPU. I totonu o se siosiomaga suʻega e faʻaaoga ai le GeForce RTX 5070, faʻatasi ai ma lona 12 GB o le gafatia ma le bandwidth e tusa ma le 336 GB / s, o lenei laulau e avea ma auala taua mo le faʻatusatusaina. O le Ela o lo’o fa’aputuina fa’agasolo gaogao e sili ona maua i le fa’agasologa o fa’ai’uga, fa’amautinoaina le saosaoa maualuga mo galuega e sili ona mana’omia.

O le tulaga lona lua, T2, e faia i le motherboard system DDR4 poʻo le DDR5 RAM manatua. Conectada i le GPU e ala i se PCIe 4.0 x16 soʻotaga, ofoina atu le saoasaoa e tusa ma le 32 GB / s. O le Este tulaga o loʻo avea o se nofoaga lelei e teu ai mo faʻamatalaga mamafa faʻataʻitaʻiga ma se faʻamaufaʻailoga taua tele (KV), e taua tele mo LLM e faʻamautu ma faʻasino tulaga tetele, faʻatagaina AI e galue ma faʻamatalaga sili atu.

Mulimuli ane, o le vaega lona tolu o le saogalemu, T3, o le NVMe teuina. Alocado o se avanoa fesuia’i ma se saoasaoa fa’agesegese pe a ma le 1.8 GB/s, o lo’o fa’afanua e fa’afefe ai so’o se manatua e tele. O le Esta layer e sau e taʻalo i na o tulaga faʻapitoa, pe a matua vaivai uma VRAM ma le RAM system, e ofoina atu se puipuiga e puipuia ai le faʻaogaina o le faʻaogaina i tulaga faʻaaogaina tele.

O le atamai i tua o le tuʻufaʻatasia

O le poto fa’atekinisi a GreenBoost o lo’o taoto i le auala e galulue fa’atasi ai le fatu ma vaega o avanoa fa’aoga. O le kernel module (`greenboost.ko`) e faʻaaogaina se faʻavasegaga manatua lelei e faʻapolopolo se avanoa itulau tele i le DDR4, faʻaumatia itulau i luga ma vaevaega. Esses avanoa e auina atu i fafo e fai ma faila faila DMA-BUF, e mafai ai ona maua sa’o manatua.

Leia Tambem

O le lomiga fou o le telefoni feavea’i e maua ai le fa’ai’uga auro i ta’aloga Taumalulu

Ua faalauiloa aloaia e Oppo le Find X9 Ultra i le lalolagi atoa ma tioata Hasselblad ma le maa malosi

O lo’o maua e le Android system le tu’ufa’atasiga Gemini Nano 4 mo le fa’agasologa tuusao i luga o telefoni

Ona fa’aulufale mai lea e le GPU nei itulau fa’aogaina o le CUDA e manatua i fafo e ala i le ‘cudaImportExternalMemory’ API. Esse faagasologa e mafua ai le CUDA platform e faauigaina le DDR4 itulau faaletino e pei o latou manatua e fesootai tuusao i le kata ata, ufiufi le fausaga laupapa. O fa’amatalaga fa’amatalaga e fa’afoeina o se fa’aliliuga DMA e ala i le pasi PCI Express 4.0, fa’ate’aina kopi e le mana’omia e le PPU.

I avanoa fa’aoga, o le faletusi ‘libgreenboost_cuda.so’ e fai ma fa’alavelave atamai. Inserida fa’amalosi e ala i le `LD_PRELOAD`, e fa’alavelaveina ai le API e pei o le `cudaMalloc` ma le `cudaFree`. Requisições o vaega laiti o lo’o tu’u sa’o ile VRAM muamua e aunoa ma le taofiofia. Ae ui i lea, o talosaga tetele e sili atu i tapulaʻa VRAM e toe faʻafeiloaʻi i le GreenBoost module i totonu o le fatu, lea e tuʻuina atu ai le manaʻoga manaʻomia mai le RAM system ma toe faʻafoʻi atu i le talosaga e avea o se faʻasinoga masini CUDA talafeagai. Para inference engines e fa’aogaina le `dlopen` ma le `dlsym`, GreenBoost o lo’o i ai fa’asagatau, fa’alavelaveina le ‘dlsym’ galuega lava ia ma e o’o lava i le suia o le lipoti VRAM gafatia e fa’amalosia le fa’amalo i le RAM.

Feso’ota’i fa’atasi ma optimizers ma fa’atinoga fa’atino

GreenBoost ua mamanuina e galulue faʻatasi ma faʻamatalaga lata mai, e ofoina atu le tele-faceted optimization toolset. O se tasi o fa’ata’ita’iga o lona tu’ufa’atasia ma le ‘ExLlamaV3’, o se afi fa’asinomaga e lagolagoina fa’ale-aganu’u le ala o le KV cache layer na saunia e GreenBoost. Isso fa’atagaina le KV tensor a le fa’ata’ita’iga e tu’u sa’o mai le `/dev/greenboost` i le Python e ala i le `mmap` avanoa e aunoa ma le kopiina, aveese le I/O i luga ma fa’aleleia le fa’atinoga.

Mo fa’asologa umi e sili atu i le 100,000 fa’ailoga, o le ‘kvpress’ meafaigaluega e mafai ona fa’aoga fa’atasi e fa’aitiitia ai le fa’aulu i luga o le bandwidth RAM system. Mais O le mea e sili ona taua, faʻatasi ma NVIDIA ModelOpt, meafaigaluega faʻapitoa a le NVIDIA, faʻatagaina 31.8GB faʻataʻitaʻiga e faʻaliliu i le FP8 lelei e aunoa ma le manaʻomia o le toe aʻoaʻoina, faʻaititia le tele i lalo ole 16GB. Essa fuafuaga faʻatulagaina, lea e tuʻuina atu le VRAM e faʻataʻitaʻi ai le mamafa ma le RAM system i le KV cache, ua faʻaalia ai le saoasaoa o faʻamatalaga o le 10 i le 25 faʻailoga i le sekone (tok / s) i luga o le GeForce RTX 5070, o se faʻaopoopoga tele pe a faʻatusatusa i le siosiomaga faasinomaga (2 i le 5 tok / s).

Le lu’itau a le pasi PCIe 4.0

E ui lava o se faiga fou, e le faʻaumatia e GreenBoost le faʻatapulaʻaina faaletino o meafaigaluega. Ferran Duarri, le tagata e faia, e manino e uiga i le fagu sili ona tele: o le PCIe 4.0 x16 pasi maualuga faʻafeiloaʻi bandwidth pe a ma le 32 GB/s. Enquanto o le VRAM tuʻufaʻatasia o GPU faʻaonaponei e ofoina atu le fiaselau o GB / s, pe sili atu i le 1 TB / s i faʻataʻitaʻiga maualuga, o le saoasaoa o le mauaina o le RAM e ala i le PCIe e matua telegese, e masani ona itiiti ifo i le sefulu.

Afai o faʻamatalaga mamafa faʻataʻitaʻiga, lea e masani ona maua, e faʻafeiloaʻi i le va o le VRAM ma le RAM faʻapitoa, o lenei “taʻavale” o le a mafua ai le tuai tele o le paipa. Da E fa’apea fo’i, e ui ina lelei le ta’avale a le NVMe mo le fa’asologa fa’asolosolo, o le fa’atinoga i le swap layer e mafai ona fa’aletonu tele pe a feagai ma le faitau miliona o fa’agaioiga avanoa fa’afuase’i i poloka laiti i le taimi o fa’ai’uga. O le fofo lelei mo le faʻateleina o le GreenBoost’s gafatia e le o taoto i se tasi module, ae i le vaeluaga ma le atamai o le mamafa o galuega, faʻaogaina o tekinolosi faʻasologa lata mai e pei o le FP8 ma le INT4-AWQ e faʻamautu ai le mamafa o faʻamaumauga i le VRAM (T1) ma faʻanofo le KV cache, lea e tupu aʻe i le taimi, i le DDR4 RAM (T2).

A’afiaga mo atina’e AI

O le tatalaina o le GreenBoost e avea ma punaoa tatala e fai ma sui o se tali malosi mai le au atinaʻe e tetee atu i tapulaʻa faʻapitoa e tuʻuina atu e le maketi GPU tagata faʻatau, lea e maualuga ai le malosi o le komepiuta ae faʻatapulaʻaina VRAM faʻaogaina fale gaosi oloa. O se taumafaiga e fa’ata’ita’i, e ala i polokalama fa’akomepiuta, le fa’amatalaga tu’ufa’atasi o manatuaga o lo’o va’aia i le fausaga o le Apple M-series, lea e mafai ai ona fa’atupuina le tele o AI e aunoa ma le mana’omia o modula taugata HBM, e ala i le tu’ufa’atasia o lenei tekonolosi i luga o fa’avae PC.

O lenei faiga fa’atinoga e ofoina atu ai se fa’ata’ita’iga malosi mo tagata su’esu’e ta’ito’atasi ma atina’e fa’atupu fa’anatura AI la’ititi ma feololo e fa’atatau i le si’itia o tau o atina’e-vaega AI fa’avavevave. Atualmente faʻaalia i luga o le GeForce RTX 5070, faʻatasi ai ma le maua o le code source, e faʻamoemoeina o le tele o tagata faʻaoga ma kata o le Ada Lovelace ma Ampere fausaga o le a faʻamaonia ma fetuunai le fofo. I le taimi ua oʻo atu ai le faʻaogaina o meafaigaluega i se tulaga maualuga, o le Ferran Duarri auala, e ala i le faʻaogaina o faʻalavelave lavelave mai le faʻaogaina o fatu i le PCI-Express interface ma le siosiomaga CUDA, faʻasino atu i luitau o le puleaina o manatuaga e manaʻomia ona faʻatalanoaina e faʻasalalauga AI i le lumanaʻi. Desenvolvedores i le lalolagi atoa o loʻo faʻaauau pea ona faia ni auala e faʻafefe ai lenei pa.