Címke: gyorsított előképzés

Nous Research új módszere: a token szuperpozíciós tréning akár 2,5-szeresére gyorsítja az LLM előképzést 270 millió és 10 milliárd paraméter közötti modelleknél

A Nous Research bemutatta a Token Superposition Training (TST) nevű módszerét, amely akár 2,5-szeresére gyorsíthatja a nyelvi modellek előképzését anélkül, hogy megváltoztatná a modell architektúráját vagy működését. Ez az innovatív megoldás különböző méretű modelleknél, a 270 milliótól egészen a 10 milliárd paraméteres skáláig bizonyítottan hatékony.