ReDrafter પરંપરાગત ઓટો-રીગ્રેશનની સરખામણીમાં પ્રતિ સેકન્ડ 2.7x વધુ ટોકન્સ પહોંચાડે છે ReDrafter ઓછા GPU નો ઉપયોગ કરતી વખતે વપરાશકર્તાઓ માટે લેટન્સી ઘટાડી શકે છે Apple એ કહ્યું નથી કે ReDrafter ને AMD અને Intel ના હરીફ AI GPUs પર ક્યારે જમાવવામાં આવશે.
એપલે તેની ઓપન સોર્સ ટેક્નોલોજી, રિકરન્ટ ડ્રાફ્ટર (અથવા ટૂંકમાં રીડ્રાફ્ટર) નો ઉપયોગ કરીને મોટા ભાષા મોડલ અનુમાનને વેગ આપવા માટે Nvidia સાથે સહયોગની જાહેરાત કરી છે.
ભાગીદારીનો ઉદ્દેશ ઓટો-રીગ્રેસિવ ટોકન જનરેશનના કોમ્પ્યુટેશનલ પડકારોને સંબોધવાનો છે, જે કાર્યક્ષમતામાં સુધારો કરવા અને રીઅલ-ટાઇમ LLM એપ્લિકેશન્સમાં લેટન્સી ઘટાડવા માટે નિર્ણાયક છે.
નવેમ્બર 2024માં Apple દ્વારા રજૂ કરાયેલ ReDrafter, બીમ સર્ચ અને ડાયનેમિક ટ્રી ધ્યાન સાથે રિકરન્ટ ન્યુરલ નેટવર્ક (RNN) ડ્રાફ્ટ મોડલને જોડીને સટ્ટાકીય ડીકોડિંગ અભિગમ અપનાવે છે. Appleના બેન્ચમાર્ક દર્શાવે છે કે આ પદ્ધતિ પરંપરાગત ઓટો-રીગ્રેશનની સરખામણીમાં પ્રતિ સેકન્ડ 2.7x વધુ ટોકન્સ જનરેટ કરે છે.
શું તે Nvidiaથી આગળ વધી શકે છે?
Nvidia ના TensorRT-LLM ફ્રેમવર્કમાં તેના એકીકરણ દ્વારા, ReDrafter ઉત્પાદન વાતાવરણમાં વ્યાપકપણે ઉપયોગમાં લેવાતા Nvidia GPUs પર ઝડપી LLM અનુમાનને સક્ષમ કરીને તેની અસરને વિસ્તૃત કરે છે.
ReDrafter ના અલ્ગોરિધમ્સને સમાવવા માટે, Nvidia એ નવા ઓપરેટરો રજૂ કર્યા અને TensorRT-LLM ની અંદર હાલના ઓપરેટરોને ટ્વીક કર્યા, જે કોઈપણ વિકાસકર્તાઓ માટે ઉપલબ્ધ બનાવે છે જેઓ મોટા પાયે મોડલ્સ માટે પ્રદર્શનને શ્રેષ્ઠ બનાવવા માંગતા હોય.
ઝડપ સુધારણા ઉપરાંત, Apple કહે છે કે ReDrafter પાસે ઓછા GPU ની જરૂર હોય ત્યારે વપરાશકર્તાની લેટન્સી ઘટાડવાની ક્ષમતા છે. આ કાર્યક્ષમતા માત્ર કોમ્પ્યુટેશનલ ખર્ચ ઘટાડે છે પરંતુ પાવર વપરાશ પણ ઘટાડે છે, જે મોટા પાયે AI ડિપ્લોયમેન્ટનું સંચાલન કરતી સંસ્થાઓ માટે એક મહત્વપૂર્ણ પરિબળ છે.
જ્યારે આ સહયોગનું ધ્યાન અત્યારે Nvidia ના ઈન્ફ્રાસ્ટ્રક્ચર પર રહેલું છે, તે શક્ય છે કે સમાન કામગીરી લાભો ભવિષ્યમાં અમુક સમયે AMD અથવા Intel ના હરીફ GPUs સુધી વિસ્તૃત થઈ શકે.
આના જેવી સફળતાઓ મશીન લર્નિંગ કાર્યક્ષમતામાં સુધારો કરવામાં મદદ કરી શકે છે. Nvidia કહે છે તેમ, “આ સહયોગે TensorRT-LLMને વધુ શક્તિશાળી અને વધુ લવચીક બનાવ્યું છે, જે LLM સમુદાયને વધુ અત્યાધુનિક મોડલ્સને નવીન બનાવવા માટે સક્ષમ બનાવે છે અને Nvidia GPUs પર અપ્રતિમ પ્રદર્શન હાંસલ કરવા માટે TensorRT-LLM સાથે સરળતાથી જમાવટ કરે છે. આ નવી સુવિધાઓ આકર્ષક શક્યતાઓ ખોલે છે, અને અમે આતુરતાપૂર્વક સમુદાયના અદ્યતન મોડલની આગામી પેઢીની અપેક્ષા રાખીએ છીએ જે લાભ લે છે TensorRT-LLM ક્ષમતાઓ, LLM વર્કલોડ્સમાં વધુ સુધારાઓ ચલાવે છે.”
તમે Apple સાથેના સહયોગ વિશે વધુ વાંચી શકો છો Nvidia ડેવલપર ટેકનિકલ બ્લોગ.
