NVIDIA-kutatók új KVTC kódolási eljárással 20x-os tömörítést érnek el a kulcs-érték tárolóknál a hatékony LLM kiszolgálásért
A nagy nyelvi modellek hatékony kiszolgálása komoly mérnöki kihívást jelent a kulcs-érték (KV) gyorsítótár kezelés miatt, különösen ahogy a modellek mérete és képességei növekednek. Az NVIDIA kutatói most bemutatták a KVTC átalakító kódolási eljárást, amely akár 20-szorosára is képes csökkenteni a KV gyorsítótárak méretét, ezzel jelentősen javítva a modellek kiszolgálásának hatékonyságát.
2026.02.11.
Tovább