ટ્રિલિયમ 4x પ્રશિક્ષણ બૂસ્ટ ઓફર કરે છે, TPU v5eEnhanced HBM અને ICI બેન્ડવિડ્થ પર 3x અનુમાન સુધારે છે અને LLM સપોર્ટસ્કેલ્સ પ્રતિ પોડ 256 ચિપ્સ સુધી છે, જે વ્યાપક AI કાર્યો માટે આદર્શ છે.
Google ક્લાઉડે તેનું નવીનતમ TPU, Trillium, તેના કસ્ટમ AI ચિપ લાઇનઅપમાં છઠ્ઠી પેઢીનું મોડલ રજૂ કર્યું છે, જે અદ્યતન AI વર્કલોડને પાવર કરવા માટે રચાયેલ છે.
મે 2024 માં પ્રથમ વખત જાહેરાત કરવામાં આવી હતી, ટ્રિલિયમ બહેતર પ્રદર્શન અને ખર્ચ કાર્યક્ષમતા સાથે મોટા પાયે તાલીમ, ટ્યુનિંગ અને અનુમાનને હેન્ડલ કરવા માટે એન્જિનિયર્ડ છે.
પ્રકાશન Google ક્લાઉડના AI હાઇપરકોમ્પ્યુટર ઈન્ફ્રાસ્ટ્રક્ચરનો એક ભાગ છે, જે જનરેટિવ AIની વધતી જતી માંગને પહોંચી વળવા માટે ઓપન સોફ્ટવેરની સાથે TPUs, GPUs અને CPU ને એકીકૃત કરે છે.
A3 અલ્ટ્રા VM ટૂંક સમયમાં આવી રહ્યું છે
ટ્રિલિયમ તેના પુરોગામી, TPU v5e કરતાં નોંધપાત્ર સુધારાઓનું વચન આપે છે, જેમાં તાલીમ પ્રદર્શનમાં 4xથી વધુ વધારો અને અનુમાન થ્રુપુટમાં 3x સુધીનો વધારો થાય છે. ટ્રિલિયમ HBM ક્ષમતા કરતાં બમણી અને બમણી ઇન્ટરચિપ ઇન્ટરકનેક્ટ (ICI) બેન્ડવિડ્થ પહોંચાડે છે, જે તેને ખાસ કરીને Gemma 2 અને Llama જેવા મોટા ભાષાના મોડલ્સ તેમજ કમ્પ્યુટ-હેવી ઇન્ફરન્સ એપ્લિકેશન્સ માટે અનુકૂળ બનાવે છે, જેમાં સ્ટેબલ ડિફ્યુઝન XL જેવા ડિફ્યુઝન મોડલ્સનો સમાવેશ થાય છે.
ગૂગલ ટ્રિલિયમના ઊર્જા કાર્યક્ષમતા પર પણ ધ્યાન કેન્દ્રિત કરવા આતુર છે, જેમાં પાછલી પેઢીઓની સરખામણીમાં 67% વધારાનો દાવો કરવામાં આવ્યો છે.
Google કહે છે કે તેના નવા TPU એ બેન્ચમાર્ક પરીક્ષણમાં નોંધપાત્ર રીતે સુધારેલ પ્રદર્શન દર્શાવ્યું છે, જે Gemma 2-27b અને Llama2-70B જેવા મોડલ્સ માટે તાલીમ ઝડપમાં 4x વધારો પહોંચાડે છે. અનુમાનિત કાર્યો માટે, ટ્રિલિયમે TPU v5e કરતાં 3x વધુ થ્રુપુટ હાંસલ કર્યું છે, ખાસ કરીને વ્યાપક કોમ્પ્યુટેશનલ સંસાધનોની માંગ કરતા મોડેલ્સમાં શ્રેષ્ઠ.
ગૂગલના મતે સ્કેલિંગ એ ટ્રિલિયમની બીજી તાકાત છે. TPU એક સિંગલ, હાઇ-બેન્ડવિડ્થ પોડમાં 256 ચિપ્સ સુધી લિંક કરી શકે છે, જે ગૂગલના જ્યુપિટર ડેટા સેન્ટર નેટવર્કમાં હજારો ચિપ્સ સુધી વિસ્તરણ કરી શકાય છે, જે વ્યાપક AI પ્રશિક્ષણ કાર્યો માટે નજીક-રેખીય સ્કેલિંગ પ્રદાન કરે છે. મલ્ટીસ્લાઈસ સોફ્ટવેર સાથે, ટ્રિલિયમ સેંકડો પોડ્સમાં સાતત્યપૂર્ણ પ્રદર્શન જાળવી રાખે છે.
ટ્રિલિયમના આગમન સાથે જોડાયેલા, Google એ Nvidia H200 Tensor Core GPU ને દર્શાવતા A3 અલ્ટ્રા VM ની પણ જાહેરાત કરી. આ મહિને પૂર્વાવલોકન માટે સુનિશ્ચિત તેઓ Google ક્લાઉડ ગ્રાહકોને ટેક જાયન્ટના AI ઇન્ફ્રાસ્ટ્રક્ચરમાં ઉચ્ચ-પ્રદર્શન GPU વિકલ્પ પ્રદાન કરશે.
ટ્રિલિયમ TPU, AI ના ભાવિને શક્તિ આપવા માટે બનાવવામાં આવ્યું છે – YouTube