SkyRL ने मल्टीमॉडल मॉडल्स के लिए विज़न-लैंग्वेज RL सपोर्ट जोड़ा

Joerg Hiller Apr 24, 2026 10:03

SkyRL विज़न-लैंग्वेज रीइन्फोर्समेंट लर्निंग पेश करता है, जो मल्टीमॉडल कार्यों के लिए स्केलेबल ट्रेनिंग को सक्षम बनाता है। जानें कि यह AI विकास को कैसे प्रभावित करता है।

SkyRL, जो UC Berkeley की Sky Computing Lab और Anyscale द्वारा विकसित एक रीइन्फोर्समेंट लर्निंग (RL) लाइब्रेरी है, ने विज़न-लैंग्वेज मॉडल (VLM) पोस्ट-ट्रेनिंग के लिए सपोर्ट की घोषणा की है। यह अपडेट टीमों को सुपरवाइज़्ड फाइन-ट्यूनिंग (SFT) और RL वर्कफ़्लो का उपयोग करके मल्टीमॉडल मॉडल ट्रेन करने की अनुमति देता है, जो दृश्य और पाठ्य डेटा को एक साथ संभालने में सक्षम मॉडलों की बढ़ती मांग को पूरा करता है।

कंप्यूटर विज़न कार्यों, रोबोटिक्स और एजेंटिक रीज़निंग जैसे मल्टीमॉडल वर्कलोड के लिए मॉडलों को दृश्य इनपुट प्रोसेस करने, क्रियाएं लेने और फीडबैक के आधार पर अनुकूलित होने की आवश्यकता होती है। SkyRL की नई कार्यक्षमता VLMs को इसके ट्रेनिंग स्टैक में प्रथम-श्रेणी का दर्जा देती है, जो लोकल GPUs या मल्टी-नोड क्लस्टर में ट्रेनिंग को स्केल करने के टूल प्रदान करती है। यह SkyRL के मौजूदा इन्फ्रास्ट्रक्चर पर आधारित है, जो पहले से ही सॉफ़्टवेयर इंजीनियरिंग बेंचमार्क और Text-to-SQL जनरेशन जैसे जटिल एजेंटिक कार्यों का समर्थन करता है।

अपडेट की मुख्य विशेषताएं

विज़न-लैंग्वेज कार्यों के लिए RL में मुख्य चुनौतियों में से एक ट्रेनिंग और इन्फेरेंस के बीच संगति बनाए रखना है। SkyRL एक डिसएग्रीगेटेड पाइपलाइन पेश करके लॉग प्रोबेबिलिटी ड्रिफ्ट—जो दृश्य इनपुट प्रोसेस करते समय सामान्य है—को संबोधित करता है। vLLM इन्फेरेंस स्टैक को सत्य के स्रोत के रूप में उपयोग करते हुए, प्लेटफ़ॉर्म यह सुनिश्चित करता है कि टोकनाइज़ेशन और इनपुट तैयारी वर्कफ़्लो में संगत बनी रहे।

यह दृष्टिकोण न केवल ट्रेनिंग को स्थिर करता है बल्कि इनपुट प्रोसेसिंग के लिए CPU वर्कर्स की स्वतंत्र स्केलिंग की भी अनुमति देता है, यह सुनिश्चित करते हुए कि GPU थ्रूपुट बाधित न हो। अपडेट Maze2D नेविगेशन और Geometry-3k जैसे कार्यों के लिए आउट-ऑफ-द-बॉक्स रेसिपी का भी समर्थन करता है, जो एक ऐसा डेटासेट है जिसमें विज़ुअल जियोमेट्री रीज़निंग की आवश्यकता होती है। शुरुआती परिणामों ने बड़े मॉडल आकारों जैसे Qwen3-VL 8B Instruct पर भी बेहतर ट्रेनिंग स्थिरता दिखाई है।

AI विकास के लिए निहितार्थ

SkyRL खुद को मल्टीमॉडल मॉडल ट्रेनिंग में स्केलेबल RL और SFT के लिए एक प्रमुख प्लेटफ़ॉर्म के रूप में स्थापित कर रहा है। Tinker API जैसे टूल के साथ एकीकरण करके, उपयोगकर्ता अपने खुद के इन्फ्रास्ट्रक्चर पर RL वर्कफ़्लो तैनात कर सकते हैं, जिससे बाहरी प्रदाताओं पर निर्भरता कम होती है। यह विशेष रूप से प्रासंगिक है क्योंकि बड़े मॉडलों को ट्रेन करने की कम्प्यूटेशनल मांग बढ़ रही है।

ये प्रगति ऐसे समय में आई है जब वास्तविक-दुनिया के अनुप्रयोगों के लिए मल्टीमॉडल AI सिस्टम की उच्च मांग है। जिन कार्यों में अनुक्रमिक निर्णय-निर्माण, दृश्य तर्क और अनुकूलनशीलता की आवश्यकता होती है—जैसे स्वायत्त नेविगेशन और टूल के साथ गतिशील इंटरेक्शन—उन्हें काफी लाभ होगा। SkyRL का मॉड्यूलर डिज़ाइन रैपिड प्रोटोटाइपिंग का भी समर्थन करता है, जिससे शोधकर्ता और डेवलपर नए एल्गोरिदम और ट्रेनिंग पैराडाइम के साथ प्रयोग कर सकते हैं।

आगे की राह

SkyRL के रोडमैप में सीक्वेंस पैकिंग, Megatron बैकएंड सपोर्ट और कॉन्टेक्स्ट पैरेललिज़्म के साथ लॉन्ग-कॉन्टेक्स्ट ट्रेनिंग जैसी सुविधाएं शामिल हैं। इन अपग्रेड से जटिल, एजेंटिक वर्कलोड को संभालने की इसकी क्षमताओं में और वृद्धि होने की उम्मीद है। VLM ट्रेनिंग में उतरने के इच्छुक डेवलपर्स के लिए, SkyRL उन्हें शुरुआत करने में मदद के लिए ट्यूटोरियल और दस्तावेज़ीकरण प्रदान करता है।

जैसे-जैसे AI उद्योग व्यावहारिक उपयोग के मामलों में मल्टीमॉडल सिस्टम को अधिक शामिल कर रहा है, ऐसे मॉडलों को कुशलतापूर्वक ट्रेन और फाइन-ट्यून करने की क्षमता एक महत्वपूर्ण अंतर होगी। SkyRL का नवीनतम अपडेट इस विकास में सबसे आगे रहने की उसकी प्रतिबद्धता को दर्शाता है, जो अत्याधुनिक RL अनुसंधान और तैनाती के लिए एक स्केलेबल और मॉड्यूलर फ्रेमवर्क प्रदान करता है।

• skyrl
• रीइन्फोर्समेंट लर्निंग
• विज़न-लैंग्वेज मॉडल
• AI ट्रेनिंग