الكأس المقدسة للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود المتقدمة للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في حواجز التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء أنظمة الذكاء الاصطناعي. من منظور نماذج البنية، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل أساسي في هذه المقالة.
تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة محلية عالية الأداء، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، وصولًا إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المعمقة المتداخلة كفاءة مشاركة الذاكرة، ومزامنة التدرجات، وآليات التحمل في أفضل حالاتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية والتحكم في الموارد، ولكنها في نفس الوقت تواجه مشكلات مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة لتدريب النماذج الكبيرة في الوقت الحالي، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من وجود خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام ككل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للربط السريع، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية.
التوازي البياني: كل عقدة تدرب على بيانات مختلفة مع مشاركة المعلمات، يجب مطابقة أوزان النموذج
التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة، لتحقيق قابلية توسيع قوية
تنفيذ متسلسل على مراحل: زيادة معدل الإنتاجية من خلال المعالجة المتوازية
التوازي بالموتر: تقسيم دقيق لحساب المصفوفات، وتحسين درجة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مثل توجيه نفس المدير عن بُعد لعدة موظفين في "مكاتب" للتعاون في إكمال المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. وتتمثل الخصائص الأساسية في: عدة نقاط غير موثوقة تتعاون لإنجاز مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستخدم آليات تحفيز تشفيرية لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
صعوبة تباين الأجهزة وتقسيم المهام: تنسيق الأجهزة المتباينة صعب، وكفاءة تقسيم المهام منخفضة
عنق الزجاجة في كفاءة الاتصال: الاتصالات الشبكية غير مستقرة، وعائق تزامن التدرج واضح
نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب.
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، آلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويشمل عدة جوانب مثل هيكل النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن ما إذا كان من الممكن "التعاون بفعالية + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
التعلم الفيدرالي كونه شكل انتقالي بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يحتفظ أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب وبنية الثقة وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من حيث نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو ارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه لا يناسب بطبيعته الإنجاز الفعال بين العقد غير المتجانسة واللامركزية. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وتأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية على الشبكة المفتوحة؛ المهام التي تتطلب خصوصية البيانات وحدود السيادة مقيدة بالامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مجرد فرضية زائفة. في الواقع، في أنواع المهام التي تتميز بخفة الهيكل، وسهولة التوازي، والقدرة على التحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، تدريب وتحليل البيانات من خلال الحشد، تدريب نماذج أساسية صغيرة يمكن التحكم في مواردها، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتميز هذه المهام عادةً بقدرتها العالية على التوازي، وانخفاض ارتباطها، وتحملها للقدرات الحسابية المتنوعة، مما يجعلها مناسبة تمامًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكولات Swarm، والمحسّنات الموزعة.
تحليل مشروع التدريب الكلاسيكي اللامركزي
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة للأبحاث النظرية الحالية؛ بينما تعتبر طرق التنفيذ لـ Gensyn و Flock.io واضحة نسبيًا، حيث يمكننا رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وستستكشف المزيد عن اختلافاتها وعلاقاتها التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية لتعلم التعزيز القابل للتحقق من المسار التدريبي
تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في إنشاء نظام تدريب AI اللامركزي القابل للتحقق والمنفتح، مع آلية حوافز كاملة من خلال ثلاثة مكونات: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: بنية مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولوي، ويفصل بشكل هيكلي بين عمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنة بعمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة والتطور الاستراتيجي.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعليًا تعلم إستراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل "تسلسل المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة لإكمال التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول نشر وتجميع الوزن المصمم بواسطة Prime Intellect، مخصص لتحسين البيئات الشبكية الحقيقية غير المتزامنة، محدودة النطاق وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة، مما يحقق تقارباً تدريجياً للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع وقدرات التحمل للخطأ في التدريب اللامركزي، وهو الأساس الأساسي لبناء توافق الوزن المستقر والتدريب المستمر.
#OpenDiLoCo: إطار الاتصال غير المتناظر النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصال تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي قدمته DeepMind، وتم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. تعتمد بنية النظام على البيانات المتوازية، من خلال بناء هياكل تخطيط نادرة مثل Ring وExpander وSmall-World، مما يتجنب عبء الاتصال العالي الناتج عن التزامن العالمي، ويعتمد فقط على الجيران المحليين لإكمال تدريب النموذج التعاوني. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يسمح OpenDiLoCo لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير قابلية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للتواصل لإنشاء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL البنية التحتية النادرة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وموثوقة، ويعبر عن "آخر كيلومتر" من أساسيات الاتصال.
03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريبية قابلة للتحقق وغير مصرح بها، مزودة بآلية تحفيزية اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع السياسات
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect نموذج INTELLECT-2 في مايو 2025، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 من قبل أكثر من 100 عقدة GPU هتروغينية منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، ومدة التدريب تجاوزت 400 ساعة، مما يظهر جدوى واستقرار الشبكة المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل يعد أيضًا التنفيذ النظامي الأول لنموذج "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يشير إلى أن الشبكة اللامركزية للتدريب قد حققت لأول مرة انفتاح عملية التدريب، والتحقق، وحلقة التحفيز الاقتصادية.
فيما يتعلق بالأداء، يعتمد INTELLECT-2 على QwQ-32B وقد أجرى تدريبًا خاصًا على RL في البرمجة والرياضيات، وهو في طليعة نماذج RL المفتوحة المصدر للتعديل.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 6
أعجبني
6
7
مشاركة
تعليق
0/400
Blockwatcher9000
· منذ 4 س
هل تعطي مرة أخرى الأموال للعمالقة للعب؟
شاهد النسخة الأصليةرد0
ContractExplorer
· منذ 4 س
Metaverse هو الطريق الحقيقي للذكاء الاصطناعي
شاهد النسخة الأصليةرد0
CryptoAdventurer
· منذ 4 س
مرة أخرى يُستغل بغباء.智商税了 再接再厉
شاهد النسخة الأصليةرد0
TestnetNomad
· منذ 4 س
啧 نموذج التدريب هذه الأمور تستهلك قوة الحوسبة啊
شاهد النسخة الأصليةرد0
PuzzledScholar
· منذ 4 س
مرة أخرى أشياء لا أفهمها
شاهد النسخة الأصليةرد0
GlueGuy
· منذ 4 س
قوة الحوسبة الحرب بدأت مبكراً!
شاهد النسخة الأصليةرد0
Anon32942
· منذ 5 س
مرة أخرى شركة تلعب في مجال اللامركزية الذكاء الاصطناعي.
اللامركزية AI تدريب جديدة نموذج: Prime Intellect و Pluralis استكشاف التكنولوجيا المتطورة
الكأس المقدسة للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود المتقدمة للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في حواجز التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء أنظمة الذكاء الاصطناعي. من منظور نماذج البنية، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل أساسي في هذه المقالة.
تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة محلية عالية الأداء، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، وصولًا إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المعمقة المتداخلة كفاءة مشاركة الذاكرة، ومزامنة التدرجات، وآليات التحمل في أفضل حالاتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية والتحكم في الموارد، ولكنها في نفس الوقت تواجه مشكلات مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة لتدريب النماذج الكبيرة في الوقت الحالي، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من وجود خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام ككل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للربط السريع، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية.
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مثل توجيه نفس المدير عن بُعد لعدة موظفين في "مكاتب" للتعاون في إكمال المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. وتتمثل الخصائص الأساسية في: عدة نقاط غير موثوقة تتعاون لإنجاز مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستخدم آليات تحفيز تشفيرية لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويشمل عدة جوانب مثل هيكل النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن ما إذا كان من الممكن "التعاون بفعالية + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
التعلم الفيدرالي كونه شكل انتقالي بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يحتفظ أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون مهام التدريب وبنية الثقة وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من حيث نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو ارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه لا يناسب بطبيعته الإنجاز الفعال بين العقد غير المتجانسة واللامركزية. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وتأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية على الشبكة المفتوحة؛ المهام التي تتطلب خصوصية البيانات وحدود السيادة مقيدة بالامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مجرد فرضية زائفة. في الواقع، في أنواع المهام التي تتميز بخفة الهيكل، وسهولة التوازي، والقدرة على التحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، تدريب وتحليل البيانات من خلال الحشد، تدريب نماذج أساسية صغيرة يمكن التحكم في مواردها، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتميز هذه المهام عادةً بقدرتها العالية على التوازي، وانخفاض ارتباطها، وتحملها للقدرات الحسابية المتنوعة، مما يجعلها مناسبة تمامًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكولات Swarm، والمحسّنات الموزعة.
تحليل مشروع التدريب الكلاسيكي اللامركزي
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة للأبحاث النظرية الحالية؛ بينما تعتبر طرق التنفيذ لـ Gensyn و Flock.io واضحة نسبيًا، حيث يمكننا رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وستستكشف المزيد عن اختلافاتها وعلاقاتها التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية لتعلم التعزيز القابل للتحقق من المسار التدريبي
تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في إنشاء نظام تدريب AI اللامركزي القابل للتحقق والمنفتح، مع آلية حوافز كاملة من خلال ثلاثة مكونات: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: بنية مهمة التعلم المعزز غير المتزامن المنفصل
PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولوي، ويفصل بشكل هيكلي بين عمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنة بعمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة والتطور الاستراتيجي.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعليًا تعلم إستراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل "تسلسل المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة لإكمال التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول نشر وتجميع الوزن المصمم بواسطة Prime Intellect، مخصص لتحسين البيئات الشبكية الحقيقية غير المتزامنة، محدودة النطاق وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة، مما يحقق تقارباً تدريجياً للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع وقدرات التحمل للخطأ في التدريب اللامركزي، وهو الأساس الأساسي لبناء توافق الوزن المستقر والتدريب المستمر.
#OpenDiLoCo: إطار الاتصال غير المتناظر النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصال تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي قدمته DeepMind، وتم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. تعتمد بنية النظام على البيانات المتوازية، من خلال بناء هياكل تخطيط نادرة مثل Ring وExpander وSmall-World، مما يتجنب عبء الاتصال العالي الناتج عن التزامن العالمي، ويعتمد فقط على الجيران المحليين لإكمال تدريب النموذج التعاوني. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يسمح OpenDiLoCo لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير قابلية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للتواصل لإنشاء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL البنية التحتية النادرة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وموثوقة، ويعبر عن "آخر كيلومتر" من أساسيات الاتصال.
03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريبية قابلة للتحقق وغير مصرح بها، مزودة بآلية تحفيزية اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect نموذج INTELLECT-2 في مايو 2025، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 من قبل أكثر من 100 عقدة GPU هتروغينية منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، ومدة التدريب تجاوزت 400 ساعة، مما يظهر جدوى واستقرار الشبكة المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل يعد أيضًا التنفيذ النظامي الأول لنموذج "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يشير إلى أن الشبكة اللامركزية للتدريب قد حققت لأول مرة انفتاح عملية التدريب، والتحقق، وحلقة التحفيز الاقتصادية.
فيما يتعلق بالأداء، يعتمد INTELLECT-2 على QwQ-32B وقد أجرى تدريبًا خاصًا على RL في البرمجة والرياضيات، وهو في طليعة نماذج RL المفتوحة المصدر للتعديل.