https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/

يشارك

أعلنت NVIDIA اليوم عن Nemotron-4 340B، وهي عائلة من النماذج المفتوحة التي يمكن للمطورين استخدامها لإنشاء بيانات تركيبية لتدريب نماذج اللغات الكبيرة (LLMs) للتطبيقات التجارية عبر الرعاية الصحية والتمويل والتصنيع وتجارة التجزئة وكل الصناعات الأخرى.

تلعب بيانات التدريب عالية الجودة دورًا حاسمًا في الأداء والدقة وجودة الاستجابات من ماجستير إدارة الأعمال المخصص - ولكن مجموعات البيانات القوية يمكن أن تكون باهظة الثمن ويصعب الوصول إليها.

من خلال ترخيص نموذج مفتوح متساهل بشكل فريد، يوفر Nemotron-4 340B للمطورين طريقة مجانية وقابلة للتطوير لإنشاء بيانات تركيبية يمكن أن تساعد في بناء LLMs قوية.

تتضمن عائلة Nemotron-4 340B نماذج أساسية وتعليمية ومكافأة تشكل خط أنابيب لإنشاء بيانات تركيبية تستخدم لتدريب وتحسين ماجستير إدارة الأعمال. تم تحسين النماذج للعمل مع NVIDIA NeMo ، وهو إطار عمل مفتوح المصدر للتدريب الشامل على النماذج، بما في ذلك تنظيم البيانات وتخصيصها وتقييمها. كما تم تحسينها أيضًا للاستدلال من خلال مكتبة NVIDIA TensorRT-LLM مفتوحة المصدر.

يمكن تنزيل Nemotron-4 340B الآن من Hugging Face . سيتمكن المطورون قريبًا من الوصول إلى النماذج الموجودة على ai.nvidia.com ، حيث سيتم تجميعها كخدمة NVIDIA NIM الصغيرة مع واجهة برمجة تطبيقات قياسية يمكن نشرها في أي مكان.

التنقل في النيموترون لتوليد البيانات الاصطناعية

يمكن أن تساعد LLM المطورين في إنشاء بيانات تدريب تركيبية في السيناريوهات التي يكون فيها الوصول إلى مجموعات البيانات الكبيرة والمتنوعة محدودًا.

يقوم نموذج Nemotron-4 340B Instruct بإنشاء بيانات تركيبية متنوعة تحاكي خصائص بيانات العالم الحقيقي، مما يساعد على تحسين جودة البيانات لزيادة أداء وقوة ماجستير إدارة الأعمال المخصص عبر المجالات المختلفة.

بعد ذلك، لتعزيز جودة البيانات الناتجة عن الذكاء الاصطناعي، يمكن للمطورين استخدام نموذج Nemotron-4 340B Reward لتصفية الاستجابات عالية الجودة. Nemotron-4 340B مكافأة درجات الاستجابات على خمس سمات: المساعدة، والصحة، والتماسك، والتعقيد، والإسهاب. إنه حاليًا يحتل المركز الأول في لوحة المتصدرين Hugging Face RewardBench ، التي أنشأتها AI2 ، لتقييم إمكانيات نماذج المكافآت وسلامتها ومزالقها.

يمكن للباحثين أيضًا إنشاء نماذج التعليمات أو المكافآت الخاصة بهم عن طريق تخصيص نموذج Nemotron-4 340B Base باستخدام بياناتهم الخاصة، جنبًا إلى جنب مع مجموعة بيانات HelpSteer2 المضمنة.

الضبط الدقيق باستخدام NeMo، وتحسين الاستدلال باستخدام TensorRT-LLM

باستخدام NVIDIA NeMo وNVIDIA TensorRT-LLM مفتوحي المصدر، يمكن للمطورين تحسين كفاءة نماذج التعليمات والمكافأة الخاصة بهم لإنشاء بيانات تركيبية وتسجيل الاستجابات.

تم تحسين جميع نماذج Nemotron-4 340B باستخدام TensorRT-LLM للاستفادة من توازي الموتر، وهو نوع من توازي النماذج يتم فيه تقسيم مصفوفات الوزن الفردية عبر وحدات معالجة الرسومات والخوادم المتعددة، مما يتيح الاستدلال الفعال على نطاق واسع.

يمكن تخصيص قاعدة Nemotron-4 340B، التي تم تدريبها على 9 تريليون رمز، باستخدام إطار عمل NeMo للتكيف مع حالات استخدام أو مجالات محددة. تستفيد عملية الضبط الدقيق هذه من بيانات التدريب المسبق الشاملة وتنتج مخرجات أكثر دقة لمهام نهائية محددة.

تتوفر مجموعة متنوعة من طرق التخصيص من خلال إطار عمل NeMo، بما في ذلك الضبط الدقيق الخاضع للإشراف وطرق الضبط الدقيق ذات الكفاءة في المعلمات مثل التكيف منخفض الرتبة، أو LoRA.

لتعزيز جودة النموذج، يمكن للمطورين مواءمة نماذجهم مع NeMo Aligner ومجموعات البيانات الموضحة بواسطة Nemotron-4 340B Reward. تعد المحاذاة خطوة أساسية في تدريب LLMs، حيث يتم ضبط سلوك النموذج بدقة باستخدام خوارزميات مثل التعلم المعزز من ردود الفعل البشرية (RLHF) لضمان أن مخرجاته آمنة ودقيقة ومناسبة للسياق ومتسقة مع أهدافه المقصودة.

يمكن للشركات التي تسعى إلى الحصول على الدعم والأمان على مستوى المؤسسات لبيئات الإنتاج أيضًا الوصول إلى NeMo وTensorRT-LLM من خلال منصة برمجيات NVIDIA AI Enterprise الأصلية، والتي توفر أوقات تشغيل سريعة وفعالة لنماذج أساس الذكاء الاصطناعي التوليدية.