કોલોસસ ડેવલપમેન્ટ પર Nvidia અને xAI સહયોગ કરે છેxAI એ AI મોડલની તાલીમ દરમિયાન ‘ફ્લો અથડામણ’માં નોંધપાત્ર ઘટાડો કર્યો છે Spectrum-X એ Grok AI મોડેલ પરિવારને તાલીમ આપવા માટે નિર્ણાયક છે.
Nvidia એ કેવી રીતે xAI નું ‘Colossus’ સુપરકોમ્પ્યુટર ક્લસ્ટર 100,000 Hopper GPUs પર હેન્ડલ રાખી શકે છે તેના પર પ્રકાશ પાડ્યો છે – અને તે બધું ચિપમેકરના સ્પેક્ટ્રમ-X ઇથરનેટ નેટવર્કિંગ પ્લેટફોર્મનો ઉપયોગ કરવા માટે નીચે છે.
સ્પેક્ટ્રમ-એક્સ, કંપનીએ જાહેર કર્યું, તેના રિમોટ ડિરેક્ટરી મેમરી એક્સેસ (RDMA) નેટવર્કનો ઉપયોગ કરીને મલ્ટિ-ટેનન્ટ, હાઇપરસ્કેલ AI ફેક્ટરીઓને વિશાળ પ્રદર્શન ક્ષમતાઓ પ્રદાન કરવા માટે ડિઝાઇન કરવામાં આવી છે.
આ પ્લેટફોર્મ તેની શરૂઆતથી જ વિશ્વના સૌથી મોટા AI સુપર કોમ્પ્યુટર કોલોસસ ખાતે તૈનાત કરવામાં આવ્યું છે. એલોન મસ્કની માલિકીની ફર્મ તેના ગ્રોક સિરીઝના લાર્જ લેંગ્વેજ મોડલ્સ (LLM)ને તાલીમ આપવા માટે ક્લસ્ટરનો ઉપયોગ કરી રહી છે, જે X વપરાશકર્તાઓને ઓફર કરાયેલા ચેટબોટ્સને શક્તિ આપે છે.
આ સુવિધા Nvidia સાથે મળીને માત્ર 122 દિવસમાં બનાવવામાં આવી હતી, અને xAI હાલમાં તેને વિસ્તૃત કરવાની પ્રક્રિયામાં છે, જેમાં કુલ 200,000 Nvidia Hopper GPU ને જમાવવાની યોજના છે.
તાલીમ Grok ગંભીર ફાયરપાવર લે છે
Grok AI મૉડલ્સ અત્યંત મોટા છે, જેમાં Grok-1 314 બિલિયન પેરામીટર્સમાં માપવામાં આવે છે અને Grok-2 ઑગસ્ટમાં લૉન્ચ સમયે ક્લાઉડ 3.5 સોનેટ અને GPT-4 ટર્બોને આઉટપરફોર્મ કરે છે.
સ્વાભાવિક રીતે, આ મોડેલોને તાલીમ આપવા માટે નોંધપાત્ર નેટવર્ક પ્રદર્શનની જરૂર છે. Nvidia ના સ્પેક્ટ્રમ-X પ્લેટફોર્મનો ઉપયોગ કરીને, xAI એ ‘ફ્લો અથડામણ’ અથવા AI નેટવર્કિંગ પાથમાં અવરોધોના પરિણામે શૂન્ય એપ્લિકેશન લેગસી ડિગ્રેડેશન અથવા પેકેટ નુકશાન નોંધ્યું છે.
xAI એ જાહેર કર્યું કે તે સ્પેક્ટ્રમ-X ની ભીડ નિયંત્રણ ક્ષમતાઓ દ્વારા સક્ષમ 95% ડેટા થ્રુપુટ જાળવવામાં સક્ષમ છે. કંપનીએ ઉમેર્યું કે આ સ્તરની કામગીરી પ્રમાણભૂત ઇથરનેટ દ્વારા આ સ્કેલ પર વિતરિત કરી શકાતી નથી.
પરંપરાગત ઈથરનેટનો ઉપયોગ કરીને, આ સામાન્ય રીતે હજારો પ્રવાહ અથડામણો બનાવે છે જ્યારે Nvidia અનુસાર માત્ર 60% ડેટા થ્રુપુટ પહોંચાડે છે.
xAI ના પ્રવક્તાએ જણાવ્યું હતું કે હોપર GPUs અને સ્પેક્ટ્રમ-X ના સંયોજનથી કંપનીને “પ્રશિક્ષણ AI મોડલ્સની સીમાઓને આગળ ધપાવવા” અને “સુપર-એક્સિલરેટેડ અને ઑપ્ટિમાઇઝ્ડ AI ફેક્ટરી” બનાવવાની મંજૂરી મળી છે.
Nvidia ખાતે નેટવર્કિંગના વરિષ્ઠ વાઇસ પ્રેસિડેન્ટ ગિલાડ શેનરે જણાવ્યું હતું કે, “AI મિશન-ક્રિટિકલ બની રહ્યું છે અને તેને કામગીરી, સુરક્ષા, માપનીયતા અને ખર્ચ-કાર્યક્ષમતામાં વધારો કરવાની જરૂર છે.”
“NvidiaSpectrum-X ઈથરનેટ નેટવર્કિંગ પ્લેટફોર્મ એઆઈ વર્કલોડની ઝડપી પ્રક્રિયા, વિશ્લેષણ અને અમલીકરણ સાથે xAI જેવા ઈનોવેટર્સને પ્રદાન કરવા માટે રચાયેલ છે અને બદલામાં AI સોલ્યુશન્સના માર્કેટમાં વિકાસ, જમાવટ અને સમયને વેગ આપે છે.”
સ્પેક્ટ્રમ-X પ્લેટફોર્મના ભાગમાં સ્પેક્ટ્રમ SN5600 ઇથરનેટ સ્વીચનો સમાવેશ થાય છે – આ 800Gb/s સુધીની પોર્ટ સ્પીડને સપોર્ટ કરે છે અને Nvidia અનુસાર, Spectrum-4 સ્વીચ ASIC પર આધારિત છે.
xAI એ ઉચ્ચ પ્રદર્શન માટે NVIDIA BlueField-3 SuperNICs સાથે Spectrum-X SN5600 સ્વીચને જોડવાનું પસંદ કર્યું.