تطور أنماط تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى ثورة تقنية التعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، مما يحدد مباشرة الحد الأقصى لقدرة النموذج وفعالية التطبيق الفعلية. بالمقارنة مع استدعاء المرحلة الخفيفة خلال الاستدلال، يحتاج عملية التدريب إلى استثمار مستمر في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهيكلة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل رئيسي في هذه المقالة.
تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم إجراء جميع عمليات التدريب من قبل مؤسسة واحدة ضمن مجموعة عالية الأداء محليًا، حيث يتم تنسيق تشغيل جميع المكونات من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى إطار التدريب بواسطة نظام تحكم موحد. إن هذه البنية المعمارية المتكاملة تجعل كفاءة مشاركة الذاكرة، ومزامنة التدرجات، وآليات تحمل الأخطاء تصل إلى أقصى مستوى، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، ولديها مزايا الكفاءة العالية، والتحكم في الموارد، لكنها في الوقت نفسه تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتعاون في التنفيذ، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام بأكمله لا يزال تحت السيطرة المركزية من قبل المؤسسات التي تتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للتوصيل السريع، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
البيانات المتوازية: كل عقدة تدرب بيانات مختلفة وتشارك المعلمات، يجب مطابقة أوزان النموذج
نموذج متوازي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية
مواسير متوازية: تنفيذ متسلسل على مراحل، لزيادة معدل الإرسال
التوازي على مستوى المصفوفة: تقسيم دقيق لحساب المصفوفات، تحسين مستوى التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع" ، وهو مشابه لنفس الرئيس الذي يوجه عن بعد العديد من موظفي "المكتب" للتعاون لإكمال المهام. في الوقت الحاضر ، يتم تدريب جميع النماذج الكبيرة السائدة تقريبا بهذه الطريقة.
تمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. تتمثل الخصائص الأساسية له في: قيام عدة عقد غير موثوقة بالتعاون لإنجاز مهام التدريب دون وجود منسق مركزي، غالبًا من خلال بروتوكول يدفع توزيع المهام والتعاون، ويعتمد على آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة تنسيق الأجهزة المتنوعة وتقسيم المهام: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة تقسيم المهام منخفضة
عائق كفاءة الاتصال: الاتصال الشبكي غير مستقر، وعائق تزامن التدرج واضح
نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب
نقص التنسيق الموحد: لا يوجد جهاز توجيه مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة
اللامركزية التدريب يمكن فهمه على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يشمل الهيكل النظامي، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن إمكانية "التعاون الفعال + تحفيز النزاهة + صحة النتائج" لا تزال في مرحلة الاستكشاف الأولية.
تعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يمتلك التعلم الفيدرالي هيكلية هندسية للتدريب الموزع وقدرات التعاون المحلي، بينما يتمتع أيضًا بميزة توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية المسيطر عليها" في سيناريوهات الامتثال للخصوصية، حيث يكون في المهام التدريبية، وهياكل الثقة وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من منظور نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الإنجاز بكفاءة بين العقد المختلفة والموثوقة. على سبيل المثال، غالباً ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفاعلية في الشبكات المفتوحة؛ المهام التي تتعلق بخصوصية البيانات وقيود السيادة محدودة بسبب الامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ في حين أن المهام التي تفتقر إلى أساس الحوافز التعاونية تفتقر إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، يظهر التدريب اللامركزي آفاق تطبيقية واضحة في أنواع المهام ذات الهيكل الخفيف، وسهولة التوازي، والقدرة على التحفيز. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، تدريب البيانات بجهود جماعية ومهام التوصيف، تدريب نماذج أساسية صغيرة يمكن السيطرة على مواردها، فضلاً عن سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتميز هذه المهام عادةً بوجود توازي عالٍ، وفصل منخفض، وقابلية لتحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جداً للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، والمُحسِّنات الموزعة.
اللامركزية تدريب الكلاسيكيات تحليل المشاريع
في الوقت الحالي، تشمل المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي على الحدود الممثلة، Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة في الأبحاث النظرية الحالية؛ بينما طرق التنفيذ لـ Gensyn و Flock.io واضحة نسبيًا، وقد لوحظ تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، ومناقشة الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية المعززة بالتعلم القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI بدون الحاجة إلى الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect في إنشاء نظام تدريب AI لامركزي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
أولاً، هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية
الثاني، شرح آلية التدريب الرئيسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من Prime Intellect لمشاهد التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولي، حيث يقوم بفصل هيكلي لعمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيف الوزن
TOPLOC هو آلية مركزية للتحقق من صحة التدريب المقترحة من قبل Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل "سلسلة الملاحظات ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة. إنه يحول لأول مرة المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول نقل وتجمع الوزن المصمم بواسطة Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية، وقيود عرض النطاق الترددي، وتغيرات حالة العقد. يجمع بين آلية نقل الأخبار واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقارب الوزن التدريجي والتطورات متعددة الإصدارات. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يزيد SHARDCAST بشكل كبير من قابلية توسيع التدريب اللامركزي وقدرته على التحمل، مما يجعله الأساس الرئيسي لبناء إجماع الوزن المستقر والتدريب المستمر.
OpenDiLoCo: إطار الاتصال المتناثر غير المتزامن
OpenDiLoCo هو إطار عمل لتحسين الاتصال تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، مصمم خصيصًا لمواجهة التحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكلفة الاتصال العالية الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بال结合 مع آلية التحديث غير المتزامن وآلية تحمل نقاط التوقف، يتيح OpenDiLoCo لمجموعة GPU الاستهلاكية والأجهزة الطرفية المشاركة في مهام التدريب بشكل مستقر، مما يعزز بشكل كبير إمكانية المشاركة في التدريب العالمي، ويعد أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التوافق في المكتبات التقليدية على الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرج، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد حسّن بشكل كبير من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، وفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا ولا تحتاج إلى ثقة.
ثالثًا، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريبية قابلة للتحقق، بدون إذن، وتحتوي على آلية تحفيز اقتصادية، مما يمكّن أي شخص من المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل عملية البروتوكول الأساسية نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
أربعة، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزية
أطلقت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد غير مركزية، غير موثوقة، ومتزامنة. يبلغ حجم المعلمات 32 مليار. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة هتروغينية GPU منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط突破ًا في الأداء، بل هو أيضًا التنفيذ النظامي الأول لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة فتح عملية التدريب.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 15
أعجبني
15
4
مشاركة
تعليق
0/400
MoonBoi42
· منذ 6 س
资源投入都有了咋还 للقمر
شاهد النسخة الأصليةرد0
ContractSurrender
· منذ 6 س
اللامركزية لا تعني عدم الكفاءة
شاهد النسخة الأصليةرد0
CommunityJanitor
· منذ 6 س
لقد أرهقت قوة الحوسبة، أليس كذلك؟
شاهد النسخة الأصليةرد0
ZkSnarker
· منذ 6 س
حسنًا تقنيًا لا زلنا نقوم بالذكاء الاصطناعي المركزي ولكن مع خطوات إضافية... لول
نموذج جديد لتدريب الذكاء الاصطناعي: ثورة تقنية من السيطرة المركزية إلى التعاون اللامركزي
تطور أنماط تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى ثورة تقنية التعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، مما يحدد مباشرة الحد الأقصى لقدرة النموذج وفعالية التطبيق الفعلية. بالمقارنة مع استدعاء المرحلة الخفيفة خلال الاستدلال، يحتاج عملية التدريب إلى استثمار مستمر في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهيكلة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل رئيسي في هذه المقالة.
تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم إجراء جميع عمليات التدريب من قبل مؤسسة واحدة ضمن مجموعة عالية الأداء محليًا، حيث يتم تنسيق تشغيل جميع المكونات من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى إطار التدريب بواسطة نظام تحكم موحد. إن هذه البنية المعمارية المتكاملة تجعل كفاءة مشاركة الذاكرة، ومزامنة التدرجات، وآليات تحمل الأخطاء تصل إلى أقصى مستوى، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، ولديها مزايا الكفاءة العالية، والتحكم في الموارد، لكنها في الوقت نفسه تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتعاون في التنفيذ، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام بأكمله لا يزال تحت السيطرة المركزية من قبل المؤسسات التي تتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للتوصيل السريع، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع" ، وهو مشابه لنفس الرئيس الذي يوجه عن بعد العديد من موظفي "المكتب" للتعاون لإكمال المهام. في الوقت الحاضر ، يتم تدريب جميع النماذج الكبيرة السائدة تقريبا بهذه الطريقة.
تمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. تتمثل الخصائص الأساسية له في: قيام عدة عقد غير موثوقة بالتعاون لإنجاز مهام التدريب دون وجود منسق مركزي، غالبًا من خلال بروتوكول يدفع توزيع المهام والتعاون، ويعتمد على آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
اللامركزية التدريب يمكن فهمه على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يشمل الهيكل النظامي، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن إمكانية "التعاون الفعال + تحفيز النزاهة + صحة النتائج" لا تزال في مرحلة الاستكشاف الأولية.
تعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يمتلك التعلم الفيدرالي هيكلية هندسية للتدريب الموزع وقدرات التعاون المحلي، بينما يتمتع أيضًا بميزة توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية المسيطر عليها" في سيناريوهات الامتثال للخصوصية، حيث يكون في المهام التدريبية، وهياكل الثقة وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من منظور نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الإنجاز بكفاءة بين العقد المختلفة والموثوقة. على سبيل المثال، غالباً ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفاعلية في الشبكات المفتوحة؛ المهام التي تتعلق بخصوصية البيانات وقيود السيادة محدودة بسبب الامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ في حين أن المهام التي تفتقر إلى أساس الحوافز التعاونية تفتقر إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، يظهر التدريب اللامركزي آفاق تطبيقية واضحة في أنواع المهام ذات الهيكل الخفيف، وسهولة التوازي، والقدرة على التحفيز. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، تدريب البيانات بجهود جماعية ومهام التوصيف، تدريب نماذج أساسية صغيرة يمكن السيطرة على مواردها، فضلاً عن سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتميز هذه المهام عادةً بوجود توازي عالٍ، وفصل منخفض، وقابلية لتحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جداً للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، والمُحسِّنات الموزعة.
اللامركزية تدريب الكلاسيكيات تحليل المشاريع
في الوقت الحالي، تشمل المشاريع الرئيسية في مجال التدريب اللامركزي والتعلم الفيدرالي على الحدود الممثلة، Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة في الأبحاث النظرية الحالية؛ بينما طرق التنفيذ لـ Gensyn و Flock.io واضحة نسبيًا، وقد لوحظ تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، ومناقشة الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية المعززة بالتعلم القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI بدون الحاجة إلى الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect في إنشاء نظام تدريب AI لامركزي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
أولاً، هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية
الثاني، شرح آلية التدريب الرئيسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من Prime Intellect لمشاهد التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولي، حيث يقوم بفصل هيكلي لعمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيف الوزن
TOPLOC هو آلية مركزية للتحقق من صحة التدريب المقترحة من قبل Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل "سلسلة الملاحظات ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة. إنه يحول لأول مرة المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول نقل وتجمع الوزن المصمم بواسطة Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية، وقيود عرض النطاق الترددي، وتغيرات حالة العقد. يجمع بين آلية نقل الأخبار واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق تقارب الوزن التدريجي والتطورات متعددة الإصدارات. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يزيد SHARDCAST بشكل كبير من قابلية توسيع التدريب اللامركزي وقدرته على التحمل، مما يجعله الأساس الرئيسي لبناء إجماع الوزن المستقر والتدريب المستمر.
OpenDiLoCo: إطار الاتصال المتناثر غير المتزامن
OpenDiLoCo هو إطار عمل لتحسين الاتصال تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، مصمم خصيصًا لمواجهة التحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكلفة الاتصال العالية الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بال结合 مع آلية التحديث غير المتزامن وآلية تحمل نقاط التوقف، يتيح OpenDiLoCo لمجموعة GPU الاستهلاكية والأجهزة الطرفية المشاركة في مهام التدريب بشكل مستقر، مما يعزز بشكل كبير إمكانية المشاركة في التدريب العالمي، ويعد أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التوافق في المكتبات التقليدية على الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرج، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد حسّن بشكل كبير من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، وفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا ولا تحتاج إلى ثقة.
ثالثًا، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريبية قابلة للتحقق، بدون إذن، وتحتوي على آلية تحفيز اقتصادية، مما يمكّن أي شخص من المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:
تشمل عملية البروتوكول الأساسية نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
أربعة، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزية
أطلقت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد غير مركزية، غير موثوقة، ومتزامنة. يبلغ حجم المعلمات 32 مليار. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة هتروغينية GPU منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط突破ًا في الأداء، بل هو أيضًا التنفيذ النظامي الأول لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة فتح عملية التدريب.