सिलिकॉन वैली एआई कंपनी सेरेब्रस ने आज उपलब्ध कड़ाई से नियंत्रित और मालिकाना सिस्टम का विकल्प प्रदान करने के लिए सात ओपन सोर्स जीपीटी मॉडल जारी किए।
रॉयल्टी मुक्त ओपन सोर्स जीपीटी मॉडल, वजन और प्रशिक्षण नुस्खा सहित, सेरेब्रस द्वारा अत्यधिक अनुमेय अपाचे 2.0 लाइसेंस के तहत जारी किया गया है, जो एआई एप्लिकेशन कंपनी के लिए एक सिलिकॉन वैली आधारित एआई अवसंरचना है।
कुछ हद तक, सात जीपीटी मॉडल सेरेब्रस एंड्रोमेडा एआई सुपरकंप्यूटर के लिए अवधारणा का प्रमाण हैं।
सेरेब्रस इंफ्रास्ट्रक्चर जैस्पर एआई कॉपीराइटर जैसे अपने ग्राहकों को अपने स्वयं के कस्टम भाषा मॉडल को जल्दी से प्रशिक्षित करने की अनुमति देता है।
ए सेरेब्रस ब्लॉग पोस्ट नोट की गई हार्डवेयर तकनीक के बारे में:
“हमने एंड्रोमेडा नामक 16x CS-2 सेरेब्रस वेफर-स्केल क्लस्टर पर सभी सेरेब्रस-जीपीटी मॉडलों को प्रशिक्षित किया।
क्लस्टर ने GPU क्लस्टर पर आवश्यक पारंपरिक वितरित सिस्टम इंजीनियरिंग और मॉडल समानांतर ट्यूनिंग के बिना, सभी प्रयोगों को जल्दी से पूरा करने में सक्षम बनाया।
सबसे महत्वपूर्ण बात यह है कि इसने हमारे शोधकर्ताओं को वितरित प्रणाली के बजाय एमएल के डिजाइन पर ध्यान केंद्रित करने में सक्षम बनाया। हमारा मानना है कि बड़े मॉडलों को आसानी से प्रशिक्षित करने की क्षमता व्यापक समुदाय के लिए एक प्रमुख संबल है, इसलिए हमने सेरेब्रस वेफर-स्केल क्लस्टर को क्लाउड पर उपलब्ध कराया है सेरेब्रस एआई मॉडल स्टूडियो।”
सेरेब्रस जीपीटी मॉडल और पारदर्शिता
सेरेब्रस सात ओपन सोर्स जीपीटी मॉडल बनाने के कारण के रूप में केवल कुछ कंपनियों के लिए एआई प्रौद्योगिकी के स्वामित्व की एकाग्रता का हवाला देते हैं।
OpenAI, मेटा और डीपमाइंड अपने सिस्टम के बारे में बड़ी मात्रा में जानकारी को निजी और कड़े नियंत्रण में रखते हैं, जो कि तीन निगमों द्वारा तय किए गए नवाचार को सीमित करता है कि अन्य लोग अपने डेटा के साथ क्या कर सकते हैं।
क्या AI में इनोवेशन के लिए क्लोज-सोर्स सिस्टम सबसे अच्छा है? या खुला स्रोत भविष्य है?
सेरेब्रस लिखते हैं:
“एलएलएम के लिए एक खुली और सुलभ तकनीक होने के लिए, हम मानते हैं कि अत्याधुनिक मॉडल तक पहुंच होना महत्वपूर्ण है जो अनुसंधान और वाणिज्यिक अनुप्रयोगों दोनों के लिए खुले, पुनरुत्पादित और रॉयल्टी मुक्त हैं।
इसके लिए, हमने ट्रांसफॉर्मर मॉडल के एक परिवार को नवीनतम तकनीकों और खुले डेटासेट का उपयोग करके प्रशिक्षित किया है जिसे हम सेरेब्रस-जीपीटी कहते हैं।
ये मॉडल चिनचिला फॉर्मूले का उपयोग करके प्रशिक्षित GPT मॉडल का पहला परिवार हैं और Apache 2.0 लाइसेंस के माध्यम से जारी किए गए हैं।
इस प्रकार इन सात मॉडलों को जारी किया जाता है गले लगाने वाला चेहरा और GitHub एआई प्रौद्योगिकी तक खुली पहुंच के माध्यम से और अधिक शोध को प्रोत्साहित करने के लिए।
इन मॉडलों को सेरेब्रस के एंड्रोमेडा एआई सुपरकंप्यूटर के साथ प्रशिक्षित किया गया था, एक ऐसी प्रक्रिया जिसे पूरा करने में केवल कुछ सप्ताह लगे।
OpenAI (GPT-4), Deepmind और Meta OPT के नवीनतम GPT मॉडल के विपरीत, सेरेब्रस-GPT पूरी तरह से खुला और पारदर्शी है।
OpenAI और Deepmind Chinchilla मॉडल का उपयोग करने के लिए लाइसेंस प्रदान नहीं करते हैं। मेटा ऑप्ट केवल एक गैर-वाणिज्यिक लाइसेंस प्रदान करता है।
OpenAI के GPT-4 में उनके प्रशिक्षण डेटा के बारे में कोई पारदर्शिता नहीं है। क्या उन्होंने सामान्य क्रॉल डेटा का उपयोग किया? क्या उन्होंने इंटरनेट को खंगाल डाला और अपना खुद का डेटासेट बनाया?
OpenAI इस जानकारी (और अधिक) को गुप्त रखता है, जो सेरेब्रस-जीपीटी दृष्टिकोण के विपरीत है जो पूरी तरह से पारदर्शी है।
निम्नलिखित सभी खुला और पारदर्शी है:
- मॉडल वास्तुकला
- प्रशिक्षण जानकारी
- मॉडल वजन
- चौकियों
- गणना-इष्टतम प्रशिक्षण स्थिति (हाँ)
- उपयोग करने के लिए लाइसेंस: अपाचे 2.0 लाइसेंस
सात संस्करण 111M, 256M, 590M, 1.3B, 2.7B, 6.7B और 13B मॉडल में आते हैं।
वह था की घोषणा की:
“एआई हार्डवेयर कंपनियों में पहली बार, सेरेब्रस शोधकर्ताओं ने एंड्रोमेडा एआई सुपरकंप्यूटर पर 111एम, 256एम, 590एम, 1.3बी, 2.7बी, 6.7बी और 13बी मापदंडों के साथ सात जीपीटी मॉडलों की एक श्रृंखला को प्रशिक्षित किया।
आमतौर पर एक बहु-महीने का उपक्रम, यह काम कुछ ही हफ्तों में पूरा हो गया था, जो एंड्रोमेडा बनाने वाले सेरेब्रस CS-2 सिस्टम की अविश्वसनीय गति और वितरित गणना के दर्द को खत्म करने के लिए सेरेब्रस के वेट स्ट्रीमिंग आर्किटेक्चर की क्षमता के लिए धन्यवाद।
इन परिणामों से पता चलता है कि सेरेब्रस के सिस्टम आज सबसे बड़े और सबसे जटिल एआई वर्कलोड को प्रशिक्षित कर सकते हैं।
यह पहली बार है जब अत्याधुनिक प्रशिक्षण दक्षता तकनीकों का उपयोग करके प्रशिक्षित GPT मॉडल का एक सूट सार्वजनिक किया गया है।
इन मॉडलों को किसी दिए गए गणना बजट के लिए उच्चतम सटीकता के लिए प्रशिक्षित किया जाता है (अर्थात चिनचिला नुस्खा का उपयोग करके कुशल प्रशिक्षण) ताकि उनके पास प्रशिक्षण का समय कम हो, प्रशिक्षण लागत कम हो और किसी भी मौजूदा सार्वजनिक मॉडल की तुलना में कम ऊर्जा का उपयोग हो।
ओपन सोर्स एआई
मोज़िला फाउंडेशन, ओपन सोर्स सॉफ़्टवेयर फ़ायरफ़ॉक्स के निर्माताओं के पास है Mozilla.ai नाम से एक कंपनी शुरू की ओपन सोर्स जीपीटी और अनुशंसाकर्ता सिस्टम बनाने के लिए जो भरोसेमंद हैं और गोपनीयता का सम्मान करते हैं।
डाटाब्रिक्स ने हाल ही में एक ओपन सोर्स भी जारी किया GPT क्लोन को डॉली कहा जाता है जिसका उद्देश्य “चैटजीपीटी के जादू” का लोकतंत्रीकरण करना है।
उन सात सेरेब्रस GPT मॉडल के अलावा, एक अन्य कंपनी, जिसे नोमिक AI कहा जाता है, ने GPT4All जारी किया, एक ओपन सोर्स GPT जो एक लैपटॉप पर चल सकता है।
आज हम GPT4All जारी कर रहे हैं, 430k GPT-3.5-टर्बो आउटपुट से निर्मित एक सहायक-शैली वाला चैटबॉट जिसे आप अपने लैपटॉप पर चला सकते हैं। pic.twitter.com/VzvRYPLfoY
– नोमिक एआई (@nomic_ai) 28 मार्च, 2023
ओपन सोर्स एआई मूवमेंट एक नवजात अवस्था में है लेकिन गति प्राप्त कर रहा है।
GPT प्रौद्योगिकी उद्योगों में बड़े पैमाने पर परिवर्तन को जन्म दे रही है और यह संभव है, शायद अपरिहार्य है, कि खुले स्रोत के योगदान से उस परिवर्तन को चलाने वाले उद्योगों का चेहरा बदल सकता है।
यदि ओपन सोर्स आंदोलन इस गति से आगे बढ़ता रहता है, तो हम एआई इनोवेशन में एक बदलाव के गवाह बन सकते हैं जो इसे कुछ निगमों के हाथों में केंद्रित करने से रोकता है।
आधिकारिक घोषणा पढ़ें:
सेरेब्रस सिस्टम्स ने CS-2 वेफर-स्केल सिस्टम्स पर प्रशिक्षित सात नए GPT मॉडल जारी किए
शटरस्टॉक / मर्कुशेव वासिली द्वारा विशेष रुप से प्रदर्शित छवि