માઇક્રોસોફ્ટે ખાસ કરીને ક્લાઉડ-આધારિત AI સુપરકોમ્પ્યુટિંગ ક્ષમતાઓને વધારવાના હેતુથી નવા Azure વર્ચ્યુઅલ મશીનો (VMs) લોન્ચ કરવાની જાહેરાત કરી છે.
નવી H200 v5 સિરીઝ VM હવે સામાન્ય રીતે Azure ગ્રાહકો માટે ઉપલબ્ધ છે અને તે એન્ટરપ્રાઇઝને વધુને વધુ બોજારૂપ AI વર્કલોડની માંગનો સામનો કરવા સક્ષમ બનાવશે.
નવી VM શ્રેણીનો ઉપયોગ કરીને, વપરાશકર્તાઓ ફાઉન્ડેશન મોડલ તાલીમ અને અનુમાનિત ક્ષમતાઓને સુપરચાર્જ કરી શકે છે, ટેક જાયન્ટે જાહેર કર્યું.
સ્કેલ, કાર્યક્ષમતા અને પ્રદર્શન
માં એ બ્લોગ પોસ્ટમાઇક્રોસોફ્ટે જણાવ્યું હતું કે AI ક્ષમતાઓને ચલાવવા માટે ગ્રાહકો અને ભાગીદારોના તરાપો દ્વારા નવી VM શ્રેણીનો ઉપયોગ પહેલેથી જ કરવામાં આવી રહ્યો છે.
“અમારા ND H200 v5 VM નું સ્કેલ, કાર્યક્ષમતા અને ઉન્નત પ્રદર્શન પહેલાથી જ ગ્રાહકો અને Microsoft AI સેવાઓ, જેમ કે Azure મશીન લર્નિંગ અને Azure OpenAI સર્વિસ પાસેથી અપનાવી રહ્યું છે,” કંપનીએ જણાવ્યું હતું.
ઓપનએઆઈના ઈન્ફ્રાસ્ટ્રક્ચરના વડા ટ્રેવર કેઈના જણાવ્યા મુજબ, આ પૈકી ઓપનએઆઈ છે, જે સંશોધન અને વિકાસ અને વપરાશકર્તાઓ માટે ચેટજીપીટીને ફાઈન-ટ્યુન કરવા માટે નવી VM શ્રેણીનો ઉપયોગ કરી રહી છે.
“અમે Azureના નવા H200 VM ને અપનાવવા માટે ઉત્સાહિત છીએ,” તેમણે કહ્યું. “અમે જોયું છે કે H200 ન્યૂનતમ પોર્ટિંગ પ્રયત્નો સાથે બહેતર પ્રદર્શન પ્રદાન કરે છે, અમે અમારા સંશોધનને વેગ આપવા, ChatGPT અનુભવને બહેતર બનાવવા અને અમારા મિશનને આગળ વધારવા માટે આ VMs નો ઉપયોગ કરવા આતુર છીએ.”
H200 v5 શ્રેણીના હૂડ હેઠળ
Azure H200 v5 VMS એ “કાર્યક્ષમતા અને કાર્યક્ષમતા વધારવા” માટે માઇક્રોસોફ્ટના સિસ્ટમ અભિગમ સાથે આર્કિટેક્ટ છે, અને તેમાં આઠ Nvidia H200 Tensor Core GPU નો સમાવેશ થાય છે.
માઈક્રોસોફ્ટે જણાવ્યું હતું કે આ કમ્પ્યુટ પાવરના સંદર્ભમાં એન્ટરપ્રાઈઝ વપરાશકર્તાઓ માટે વધતા ‘ગેપ’ને સંબોધિત કરે છે.
ટેક જાયન્ટે જણાવ્યું હતું કે, જોડાયેલ મેમરી અને મેમરી બેન્ડવિડ્થ કરતાં વધુ ઝડપી દરે જીપીયુની કાચા કોમ્પ્યુટેશનલ ક્ષમતાઓમાં વૃદ્ધિ સાથે, આનાથી AI અનુમાન અને મોડેલ તાલીમ માટે અવરોધ ઊભો થયો છે.
“Azure ND H200 v5 સિરીઝ VMs એ હાઇ બેન્ડવિડ્થ મેમરી (HBM) માં 141GB સુધી 76% વધારો અને Azure ND H100 v5 VMs ની અગાઉની પેઢીની સરખામણીમાં HBM બેન્ડવિડ્થમાં 43% વધારો 4.8 TB/s સુધી પહોંચાડે છે,” માઇક્રોસોફ્ટે જણાવ્યું હતું. તેની જાહેરાત.
“HBM બેન્ડવિડ્થમાં આ વધારો GPUs ને મોડેલ પેરામીટર્સને ઝડપથી ઍક્સેસ કરવામાં સક્ષમ કરે છે, એકંદર એપ્લિકેશન લેટન્સી ઘટાડવામાં મદદ કરે છે, જે ઇન્ટરેક્ટિવ એજન્ટ્સ જેવી રીઅલ-ટાઇમ એપ્લિકેશન્સ માટે નિર્ણાયક મેટ્રિક છે.”
વધુમાં, નવી VM શ્રેણી એક મશીનની મેમરીમાં વધુ જટિલ લાર્જ લેંગ્વેજ મોડલ્સ (LLM) માટે પણ વળતર આપી શકે છે, કંપનીએ જણાવ્યું હતું. આનાથી પ્રદર્શનમાં સુધારો થાય છે અને બહુવિધ VM પર વિતરિત એપ્લિકેશનો ચલાવતી વખતે વપરાશકર્તાઓને ખર્ચાળ ઓવરહેડ્સ ટાળવા માટે સક્ષમ બનાવે છે.
મૉડલના વજન અને બૅચના કદ માટે GPU મેમરીનું બહેતર સંચાલન એ પણ નવી VM શ્રેણી માટે મુખ્ય તફાવત છે, માઇક્રોસોફ્ટ માને છે.
વર્તમાન GPU મેમરી મર્યાદાઓ તમામ LLM-આધારિત અનુમાન વર્કલોડ માટે થ્રુપુટ અને લેટન્સી પર સીધી અસર કરે છે અને સાહસો માટે વધારાના ખર્ચ બનાવે છે.
મોટી HBM ક્ષમતા પર દોરવાથી, H200 v5 VM મોટા બેચ કદને ટેકો આપવા સક્ષમ છે, જે માઇક્રોસોફ્ટે જણાવ્યું હતું કે અગાઉના પુનરાવર્તનોની તુલનામાં GPU ઉપયોગ અને થ્રુપુટમાં ભારે સુધારો થાય છે.
“પ્રારંભિક પરીક્ષણોમાં, અમે LLAMA 3.1 405B મોડેલ (વિશ્વ કદ 8, ઇનપુટ લંબાઈ 128, આઉટપુટ લંબાઈ 8 અને મહત્તમ સાથે) ચલાવતા અનુમાન વર્કલોડ માટે ND H100 v5 શ્રેણીની તુલનામાં ND H200 v5 VM સાથે 35% સુધી થ્રુપુટ વધારો જોયો છે. બેચના કદ – H100 માટે 32 અને H200 માટે 96),” કંપનીએ જણાવ્યું હતું.
