માઈક્રોસોફ્ટ-બેક્ડ સ્ટાર્ટઅપ જનરેટિવ AIDIMC આર્કિટેક્ચર માટે GPU-મુક્ત વિકલ્પો રજૂ કરે છે, 150 TB/sCorsair ની અલ્ટ્રા-હાઈ મેમરી બેન્ડવિડ્થ પહોંચાડે છે જે ટ્રાન્સફોર્મર્સ, એજન્ટિક AI અને ઇન્ટરેક્ટિવ વિડિયો જનરેશનને સપોર્ટ કરે છે.
d-Matrix Inc., કેલિફોર્નિયાના સાન્ટા ક્લેરા સ્થિત હાર્ડવેર સ્ટાર્ટઅપે તેનું પ્રથમ AI પ્રોસેસર, Corsair રજૂ કર્યું છે, જેનો હેતુ AI અનુમાનને વધારવાનો છે.
માઈક્રોસોફ્ટ દ્વારા સમર્થિત અને અદ્યતન ટેકનોલોજીનો ઉપયોગ કરીને, કોર્સેર પરંપરાગત GPUs અને ખર્ચાળ હાઈ-બેન્ડવિડ્થ મેમરી (HBM) ને છોડી દે છે, જે નોંધપાત્ર કામગીરી અને ખર્ચ લાભો પ્રદાન કરે છે.
Corsair હાલમાં 2025 ના બીજા ત્રિમાસિક ગાળા માટે વ્યાપક ઉપલબ્ધતાની યોજના સાથે, વહેલા-સરળ ગ્રાહકો માટે ઉપલબ્ધ છે.
કોર્સેરનું પ્રદર્શન AI અનુમાનને ફરીથી વ્યાખ્યાયિત કરે છે
Corsair પ્રોસેસર ખાસ કરીને જનરેટિવ AI મૉડલ્સ માટે માગણી કરતા AI અનુમાનના કાર્યોને હેન્ડલ કરવા હેતુ-નિર્મિત છે. ઉદાહરણ તરીકે, તે એક જ સર્વરમાં Llama3 8B ચલાવતી વખતે 1 ms પ્રતિ સેકન્ડના દરે 60,000 ટોકન્સ પ્રાપ્ત કરે છે.
વધુ સંસાધન-સઘન પરિસ્થિતિઓમાં, જેમ કે Llama3 70B મોડલ્સ સાથે, Corsair એક રેકમાં 2 ms પ્રતિ સેકન્ડના દરે 30,000 ટોકન્સ વિતરિત કરે છે, જે પરંપરાગત GPU-આધારિત ઉકેલોની તુલનામાં ઊર્જા અને ઓપરેશનલ ખર્ચમાં નોંધપાત્ર બચતમાં અનુવાદ કરે છે.
પ્રોસેસર નાઇટહોક અને જયહોક II ટાઇલ્સ પર બનેલ છે, 6nm ઉત્પાદન પ્રક્રિયાનો ઉપયોગ કરીને. દરેક નાઈટહોક ટાઇલ ચાર ન્યુરલ કોરો અને એક RISC-V CPU ને સંકલિત કરે છે, જે બ્લોક ફ્લોટિંગ પોઈન્ટ (BFP) સહિત ડિજિટલ ઇન-મેમરી કોમ્પ્યુટેશન (DIMC) અને બહુમુખી ડેટાટાઈપ પ્રોસેસિંગ સાથે મોટા-મોડલ અનુમાનને સમર્થન આપવા માટે તૈયાર કરવામાં આવે છે.
Corsair કાર્યક્ષમતા વધારવા માટે ચિપલેટ પેકેજિંગ, મેમરી અને ગણતરીને એકીકૃત કરે છે. તે ઇન્ડસ્ટ્રી-સ્ટાન્ડર્ડ PCIe Gen5 ફુલ હાઇટ ફુલ-લેન્થ કાર્ડ ફોર્મ ફેક્ટરને અનુરૂપ છે અને સ્કેલેબલ પરફોર્મન્સ માટે DMX બ્રિજ કાર્ડ્સ સાથે જોડી શકાય છે. દરેક કાર્ડ 8-બીટ પીક કમ્પ્યુટિંગના 2400 TFLOPs દ્વારા સંચાલિત છે, જેમાં 2GB સંકલિત પ્રદર્શન મેમરી અને 256GB સુધીની ઑફ-ચિપ મેમરી ક્ષમતા છે.
એ નોંધવું અગત્યનું છે કે Nvidia ની મુખ્ય ભાગીદાર માઈક્રોન ટેકનોલોજી પણ d-Matrix સાથે સહયોગ કરી રહી છે.
શરૂઆતમાં 2023 ના અંતમાં લોન્ચ કરવા માટે સેટ, ડી-મેટ્રિક્સે જનરેટિવ AIની વધતી માંગના પ્રતિભાવમાં તેના આર્કિટેક્ચરને ફરીથી ગોઠવ્યું. આ પીવોટ કોર્સેરને ટ્રાન્સફોર્મર મોડલ્સ અને એજન્ટિક AI અને ઇન્ટરેક્ટિવ વિડિયો જનરેશન જેવી ઉભરતી એપ્લિકેશનો માટે તૈયાર કરવામાં આવેલ ઉન્નતીકરણોને સામેલ કરવાની મંજૂરી આપે છે.
“અમે ટ્રાન્સફોર્મર્સ અને જનરેટિવ AI આવતા જોયા, અને અમારા સમયની સૌથી મોટી કમ્પ્યુટિંગ તકની આસપાસના અનુમાનના પડકારોને પહોંચી વળવા માટે d-Matrix ની સ્થાપના કરી,” d-Matrix ના સહસ્થાપક અને CEO સિદ શેઠે જણાવ્યું હતું.
શેઠે ઉમેર્યું, “તેના પ્રકારનું પ્રથમ કોર્સેર કમ્પ્યુટ પ્લેટફોર્મ બહુવિધ વપરાશકર્તાઓ સાથે ઉચ્ચ ઇન્ટરેક્ટિવિટી એપ્લિકેશન્સ માટે ઝળહળતું ઝડપી ટોકન જનરેશન લાવે છે, જે Gen AI ને વ્યવસાયિક રીતે સક્ષમ બનાવે છે.”
વાયા eeNews