Címke: virtuális KV cache

Ismerd meg a ‘kvcached’-et: gépi tanulási könyvtár virtualizált, rugalmas KV gyorsítótár létrehozásához LLM kiszolgáláshoz megosztott GPU-kon

Ismerd meg a „kvcached”-et, egy új könyvtárat, amely lehetővé teszi a virtualizált, rugalmas KV cache használatát nagy nyelvi modellek kiszolgálásához megosztott GPU-kon. A Berkeley Sky Computing Lab (University of California) kutatói által fejlesztett megoldás hatékonyabbá teszi a GPU memóriahasználatot még akkor is, ha a kérések változó intenzitásúak.