StarCoder2 - تم إنشاؤه بالتعاون مع مجتمع BigCode وتم تدريبه على أكثر من 600 لغة برمجة، وتطوير إنشاء الأكواد البرمجية، والشفافية، والحوكمة، والابتكار

أعلنت كل من ServiceNow (المدرجة في بورصة نيويورك تحت الرمز NYSE: NOW ) و Hugging Face و NVIDIA اليوم عن إطلاق StarCoder2 ، وهي عائلة من نماذج اللغات الكبيرة ذات الوصول المفتوح (LLMs) لإنشاء التعليمات البرمجية التي تضع معايير جديدة للأداء والشفافية وفعالية التكلفة.

يتميز هذا البيان الصحفي بالوسائط المتعددة. شاهد الإصدار الكامل هنا: https://www.businesswire.com/news/home/20240228134150/en/

تم تطوير StarCoder2 بواسطة مجتمع BigCode ، تحت إشراف ServiceNow ، الشركة الرائدة في مجال سير العمل الرقمي التي تجعل العالم يعمل بشكل أفضل للجميع، و Hugging Face ، النظام الأساسي مفتوح المصدر الأكثر استخدامًا حيث يتعاون مجتمع التعلم الآلي في النماذج ومجموعات البيانات والتطبيقات.

تم تدريب StarCoder2 على 619 لغة برمجة، ويمكن تدريبه بشكل أكبر ودمجه في تطبيقات المؤسسات لأداء مهام متخصصة مثل إنشاء كود مصدر التطبيق، وإنشاء سير العمل، وتلخيص النص، والمزيد. يمكن للمطورين استخدام إكمال التعليمات البرمجية، وتلخيص التعليمات البرمجية المتقدمة، واسترجاع مقتطفات التعليمات البرمجية، والإمكانيات الأخرى لتسريع الابتكار وتحسين الإنتاجية.

يقدم StarCoder2 ثلاثة أحجام للنماذج: نموذج مكون من 3 مليارات معلمة تم تدريبه بواسطة ServiceNow، ونموذج مكون من 7 مليار معلمة تم تدريبه بواسطة Hugging Face، ونموذج مكون من 15 مليار معلمة تم إنشاؤه بواسطة NVIDIA مع NVIDIA NeMo وتم تدريبه على البنية التحتية المتسارعة لـ NVIDIA. توفر المتغيرات الأصغر أداءً قويًا مع توفير تكاليف الحوسبة، حيث تتطلب المعلمات الأقل حوسبة أقل أثناء الاستدلال. في الواقع، يتطابق نموذج StarCoder2 الجديد الذي يحتوي على 3 مليار معلمة أيضًا مع أداء نموذج StarCoder الأصلي الذي يضم 15 مليار معلمة.

وأكد هارم دي فريس، رئيس فريق تطوير StarCoder2 في ServiceNow، والقائد المشارك لـ BigCode، أن "StarCoder2 يمثل شهادة على القوة المشتركة للتعاون العلمي المفتوح وممارسات الذكاء الاصطناعي المسؤولة مع سلسلة توريد البيانات الأخلاقية". "يعمل نموذج الوصول المفتوح المتطور على تحسين أداء الذكاء الاصطناعي التوليدي السابق لزيادة إنتاجية المطورين ويوفر للمطورين وصولاً متساويًا إلى فوائد الذكاء الاصطناعي لتوليد التعليمات البرمجية، والذي بدوره يمكّن المؤسسات من أي حجم من تلبية احتياجاتها الكاملة بسهولة أكبر إمكانات الأعمال."

وقال لياندرو فون ويرا، مهندس التعلم الآلي في Hugging: "إن الجهود المشتركة التي تقودها Hugging Face وServiceNow وNVIDIA تمكن من إطلاق نماذج أساسية قوية تمكن المجتمع من بناء مجموعة واسعة من التطبيقات بشكل أكثر كفاءة مع بيانات كاملة وشفافية التدريب". الوجه والقائد المشارك لـ BigCode. "يعد StarCoder2 بمثابة شهادة على إمكانات العلوم المفتوحة المصدر والمفتوحة بينما نعمل على إضفاء الطابع الديمقراطي على الذكاء الاصطناعي المسؤول."

قال جوناثان كوهين، نائب رئيس الأبحاث التطبيقية في NVIDIA: "نظرًا لأن كل نظام بيئي برمجي يحتوي على لغة برمجة خاصة، فإن حاملي شهادات LLM يمكن أن يحققوا اختراقات في الكفاءة والابتكار في كل صناعة". "إن تعاون NVIDIA مع ServiceNow وHugging Face يقدم نماذج آمنة ومطورة بشكل مسؤول، ويدعم الوصول الأوسع إلى الذكاء الاصطناعي التوليدي المسؤول الذي نأمل أن يفيد المجتمع العالمي."

يعمل الضبط الدقيق على تحسين القدرات من خلال البيانات الخاصة بالأعمال

تشترك نماذج StarCoder2 في بنية حديثة ومصادر بيانات منسقة بعناية من BigCode والتي تعطي الأولوية للشفافية والحوكمة المفتوحة لتمكين الابتكار المسؤول على نطاق واسع.

أساس StarCoder2 هو مجموعة بيانات تعليمات برمجية جديدة تسمى The Stack v2 وهي أكبر بمقدار 7 مرات من The Stack v1 . بالإضافة إلى مجموعة البيانات المتقدمة، تساعد تقنيات التدريب الجديدة النموذج على فهم لغات البرمجة منخفضة الموارد (مثل COBOL)، والرياضيات، ومناقشات التعليمات البرمجية المصدر للبرنامج.

يعمل StarCoder2 على تطوير إمكانات تطبيقات الترميز المستقبلية المعتمدة على الذكاء الاصطناعي، بما في ذلك إمكانات تحويل النص إلى رمز وتحويل النص إلى سير العمل. ومن خلال التدريب الأوسع والأعمق على البرمجة، فإنه يوفر سياقًا مستودعيًا، مما يتيح تنبؤات دقيقة واعية بالسياق. تخدم هذه التطورات مهندسي البرمجيات المتمرسين والمطورين المواطنين على حدٍ سواء، مما يؤدي إلى تسريع قيمة الأعمال والتحول الرقمي.

يمكن للمستخدمين ضبط نماذج الوصول المفتوح باستخدام البيانات الخاصة بالصناعة أو المؤسسة باستخدام أدوات مفتوحة المصدر مثل NVIDIA NeMo أو Hugging Face TRL.

لقد قامت المؤسسات بالفعل بضبط نموذج StarCoder الأساسي لإنشاء قدرات متخصصة خاصة بمهام محددة لأعمالها.

لقد تم تصميم خدمة تحويل النص إلى كود Now LLM الخاصة بـ ServiceNow خصيصًا بناءً على إصدار متخصص من 15 مليار معلمة StarCoder LLM، وتم ضبطها وتدريبها على أنماط سير عمل ServiceNow وحالات الاستخدام والعمليات. استخدمت Hugging Face أيضًا النموذج لإنشاء مساعد StarChat الخاص بها.

تعزز BigCode التعاون العلمي المفتوح في مجال الذكاء الاصطناعي

يمثل BigCode تعاونًا علميًا مفتوحًا بقيادة Hugging Face وServiceNow. وتتركز مهمتها على التطوير المسؤول لـ LLMs للتعليمات البرمجية.

شارك مجتمع BigCode بنشاط في الجوانب الفنية لمشروع StarCoder2 من خلال مجموعات العمل وفرق العمل، والاستفادة من إطار عمل ServiceNow's Fast LLM لتدريب نموذج مكون من 3 مليارات معلمة، وإطار عمل النانوترون الخاص بـ Hugging Face لنموذج 7 مليارات معلمة، والنهاية. إطار عمل NVIDIA NeMo السحابي الأصلي وبرنامج NVIDIA TensorRT-LLM لتدريب وتحسين النموذج المكون من 15 مليار معلمة.

إن تعزيز الابتكار المسؤول هو جوهر هدف BigCode، والذي يظهر من خلال إدارتها المفتوحة، وسلسلة التوريد الشفافة، واستخدام البرامج مفتوحة المصدر، وقدرة المطورين على اختيار البيانات للتدريب. تم إنشاء StarCoder2 باستخدام بيانات من مصادر مسؤولة بموجب ترخيص من المشاع الرقمي لـ Software Heritage ، الذي تستضيفه Inria .

صرح روبرتو دي كوزمو، مدير شركة Software Heritage، قائلاً: "إن StarCoder2 هو أول نموذج للذكاء الاصطناعي لتوليد التعليمات البرمجية تم تطويره باستخدام أرشيف التعليمات البرمجية المصدر لـ Software Heritage وتم تصميمه ليتوافق مع سياساتنا للتطوير المسؤول لنماذج التعليمات البرمجية". "إن التعاون بين ServiceNow وHugging Face وNVIDIA يجسد الالتزام المشترك بتطوير الذكاء الاصطناعي الأخلاقي، وتطوير التكنولوجيا من أجل الصالح العام."

سيتم توفير StarCoder2، كما هو الحال مع سابقتها، بموجب ترخيص BigCode Open RAIL-M، مما يسمح بالوصول والاستخدام بدون حقوق ملكية. علاوة على ذلك، فإن الكود الداعم للنماذج موجود على صفحة GitHub الخاصة بمشروع BigCode.

ستكون جميع نماذج StarCoder2 متاحة أيضًا للتنزيل من Hugging Face ويتوفر طراز StarCoder2 15B على نماذج NVIDIA AI Foundation للمطورين لتجربتها مباشرة من المتصفح الخاص بهم، أو من خلال نقطة نهاية API.

لمزيد من المعلومات حول StarCoder2، تفضل بزيارة https://huggingface.co/bigcode .