Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У повній ціннісній ланці ШІ навчання моделей є найбільш ресурсомістким та технічно складним етапом, який безпосередньо визначає межу можливостей моделі та її фактичну ефективність. На відміну від легковісних викликів під час етапу інференції, процес навчання вимагає тривалих інвестицій у масштабні обчислювальні потужності, складні процеси обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" для побудови систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке буде обговорюватися в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, реалізованим єдиною установою на локальному високопродуктивному кластері, де весь процес навчання виконується: від апаратного забезпечення, базового програмного забезпечення, системи планування кластерів до всіх компонентів навчальної структури, які координуються єдиною контрольованою системою. Така глибока співпраця в архітектурі забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що дуже підходить для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але разом з цим існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризиків єдиних точок.
Розподілене навчання є основним способом навчання великих моделей на сьогодні, його суть полягає в тому, щоб розділити завдання навчання моделі та розподілити їх між кількома машинами для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично він має "дистрибутивні" характеристики, але в цілому все ще контролюється централізованою установою для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної взаємодії NVLink, головний вузол узгоджує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільного використання, потрібно узгодити ваги моделі
Паралелізм моделей: розгортання різних частин моделі на різних вузлах для досягнення високої масштабованості
Паралельна обробка: поетапне послідовне виконання, підвищення пропускної здатності
Тензорне паралельне обчислення: детальне розподілення матричних обчислень, підвищення паралельного масштабу
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів співпрацюють у виконанні навчальних завдань без центрального координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, і за допомогою механізму крипто-стимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність обладнання та труднощі сегментації: висока складність координації гетерогенних пристроїв, низька ефективність сегментації завдань
Проблема з ефективністю зв'язку: нестабільність мережевого зв'язку, помітна проблема синхронізації градієнтів
Відсутність довіреного виконання: відсутність довіреного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, складний механізм відкату аномалій
Децентралізація тренувань можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделей, але "справді здійснене масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але питання, чи можна "спільно ефективно + стимулювати чесність + отримати правильні результати", все ще знаходиться на стадії раннього прототипування.
Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює збереження даних на місцях та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на дотриманні приватності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно володіючи перевагами розподілених даних децентралізованого навчання, але все ще залежить від довіреного координатора та не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях, що дотримуються приватності, з відносно м'якими вимогами до навчальних завдань, структур довіри та механізмів комунікації, що робить його більш придатним для перехідної архітектури розгортання у промисловості.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або складність співпраці, воно природно не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей зазвичай залежить від великого обсягу пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розділення та синхронізацію в відкритій мережі; завдання, які мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені правовими нормами та етичними обмеженнями, що унеможливлює відкритий обмін; а завдання, які не мають основи для співпраці, позбавлені зовнішнього стимулу до участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у типах завдань, які є легкими за структурою, легко паралельними та заохочувальними, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: налаштування LoRA, завдання після навчання з вирівнюванням поведінки, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контролем ресурсів, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і толерантність до гетерогенної обчислювальної потужності, що робить їх дуже придатними для спільного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання, репрезентативними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai пропонують багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи сучасні теоретичні дослідження; в той час як реалізаційні шляхи Gensyn і Flock.io відносно ясні, вже можна спостерігати перші кроки в інженерному прогресі. У цій статті ми поетапно розглянемо основні технології та інженерну архітектуру, що стоять за цими п'ятьма проектами, а також далі обговоримо їхні відмінності та взаємодоповнюючі відносини в системі децентралізованого AI-навчання.
Prime Intellect: Тренувальна траєкторія, що може бути перевірена, підсилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний аналіз ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура завдань декомпозованого асинхронного підкріплювального навчання
PRIME-RL є рамкою моделювання завдань та виконання, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально спроектованою для гетерогенних мереж та асинхронних учасників. Вона використовує зміцнююче навчання як пріоритетний об’єкт адаптації, структурно декомпозуючи процеси навчання, висновків і завантаження ваг, що дозволяє кожному навчальному вузлу самостійно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового планування, знижуючи складність системи та закладаючи основу для підтримки багатозадачності та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локальні узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії навчання на об'єкти, які можна перевірити, що є ключовою інновацією для реалізації розподілу винагороди за навчання без довіри, та забезпечує реальний шлях для побудови аудиторних, стимулюючих мереж децентралізованого співпраці.
SHARDCAST: Асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, з обмеженою пропускною спроможністю та змінним станом вузлів у реальних мережевих умовах. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в різних станах синхронізації, забезпечуючи прогресивну конвергенцію ваг та еволюцію кількох версій. Порівняно з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основною основою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв’язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально спроектований для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв і нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на паралельній обробці даних, завдяки побудові рідких топологій, таких як Кільце, Розширювач, Малий світ, що уникає високих витрат на зв’язок глобальної синхронізації та дозволяє виконувати спільне навчання моделей лише за рахунок локальних сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що значно підвищує можливість участі в глобальному спільному навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека координації зв'язку
PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання штучного інтелекту, метою якої є вирішення проблем адаптації традиційних бібліотек зв'язку в умовах гетерогенних пристроїв та мереж з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно покращує терпимість до пропускної здатності та сумісність пристроїв навчальних мереж, прокладаючи "остання милю" комунікаційної інфраструктури для створення справді відкритої, без довіри, мережі спільного навчання.
Три, Prime Intellect система стимулювання та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та критерії валідації
Тренувальний вузол: виконання локального навчання, подання оновлень ваг і спостережуваних траєкторій
Вузли верифікації: використання механізму TOPLOC для перевірки істинності навчальної поведінки та участі у розрахунку винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегування ваг та виплату винагород, що складає стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований модель навчання
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, яка була навчена за допомогою асинхронних, без довіри децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою співпраці понад 100 гетерогенних вузлів GPU, що розташовані на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, демонструючи життєздатність і стабільність асинхронних мереж співпраці. Ця модель не тільки є проривом в продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні модулі протоколів PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше здійснення децентралізованої навчальної мережі в процесі навчання.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
15 лайків
Нагородити
15
4
Поділіться
Прокоментувати
0/400
MoonBoi42
· 13год тому
Ресурси вже вкладені, чому ж не злетіти?
Переглянути оригіналвідповісти на0
ContractSurrender
· 13год тому
Децентралізація не означає зниження ефективності
Переглянути оригіналвідповісти на0
CommunityJanitor
· 13год тому
Вже втомився від обчислювальної потужності.
Переглянути оригіналвідповісти на0
ZkSnarker
· 13год тому
ну технічно ми все ще займаємося централізованим ШІ, але з додатковими кроками... лол
AI тренування нової парадигми: від централізованого контролю до Децентралізації співпраці технологічна революція
Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У повній ціннісній ланці ШІ навчання моделей є найбільш ресурсомістким та технічно складним етапом, який безпосередньо визначає межу можливостей моделі та її фактичну ефективність. На відміну від легковісних викликів під час етапу інференції, процес навчання вимагає тривалих інвестицій у масштабні обчислювальні потужності, складні процеси обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" для побудови систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке буде обговорюватися в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, реалізованим єдиною установою на локальному високопродуктивному кластері, де весь процес навчання виконується: від апаратного забезпечення, базового програмного забезпечення, системи планування кластерів до всіх компонентів навчальної структури, які координуються єдиною контрольованою системою. Така глибока співпраця в архітектурі забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що дуже підходить для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але разом з цим існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризиків єдиних точок.
Розподілене навчання є основним способом навчання великих моделей на сьогодні, його суть полягає в тому, щоб розділити завдання навчання моделі та розподілити їх між кількома машинами для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично він має "дистрибутивні" характеристики, але в цілому все ще контролюється централізованою установою для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної взаємодії NVLink, головний вузол узгоджує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів співпрацюють у виконанні навчальних завдань без центрального координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, і за допомогою механізму крипто-стимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренувань можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделей, але "справді здійснене масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але питання, чи можна "спільно ефективно + стимулювати чесність + отримати правильні результати", все ще знаходиться на стадії раннього прототипування.
Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює збереження даних на місцях та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на дотриманні приватності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно володіючи перевагами розподілених даних децентралізованого навчання, але все ще залежить від довіреного координатора та не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях, що дотримуються приватності, з відносно м'якими вимогами до навчальних завдань, структур довіри та механізмів комунікації, що робить його більш придатним для перехідної архітектури розгортання у промисловості.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або складність співпраці, воно природно не підходить для ефективного виконання на гетерогенних, недовірених вузлах. Наприклад, навчання великих моделей зазвичай залежить від великого обсягу пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розділення та синхронізацію в відкритій мережі; завдання, які мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені правовими нормами та етичними обмеженнями, що унеможливлює відкритий обмін; а завдання, які не мають основи для співпраці, позбавлені зовнішнього стимулу до участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у типах завдань, які є легкими за структурою, легко паралельними та заохочувальними, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: налаштування LoRA, завдання після навчання з вирівнюванням поведінки, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контролем ресурсів, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і толерантність до гетерогенної обчислювальної потужності, що робить їх дуже придатними для спільного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
Наразі в області децентралізованого навчання та федеративного навчання, репрезентативними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai пропонують багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи сучасні теоретичні дослідження; в той час як реалізаційні шляхи Gensyn і Flock.io відносно ясні, вже можна спостерігати перші кроки в інженерному прогресі. У цій статті ми поетапно розглянемо основні технології та інженерну архітектуру, що стоять за цими п'ятьма проектами, а також далі обговоримо їхні відмінності та взаємодоповнюючі відносини в системі децентралізованого AI-навчання.
Prime Intellect: Тренувальна траєкторія, що може бути перевірена, підсилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний аналіз ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура завдань декомпозованого асинхронного підкріплювального навчання
PRIME-RL є рамкою моделювання завдань та виконання, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально спроектованою для гетерогенних мереж та асинхронних учасників. Вона використовує зміцнююче навчання як пріоритетний об’єкт адаптації, структурно декомпозуючи процеси навчання, висновків і завантаження ваг, що дозволяє кожному навчальному вузлу самостійно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового планування, знижуючи складність системи та закладаючи основу для підтримки багатозадачності та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локальні узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює поведінкові траєкторії навчання на об'єкти, які можна перевірити, що є ключовою інновацією для реалізації розподілу винагороди за навчання без довіри, та забезпечує реальний шлях для побудови аудиторних, стимулюючих мереж децентралізованого співпраці.
SHARDCAST: Асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, з обмеженою пропускною спроможністю та змінним станом вузлів у реальних мережевих умовах. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в різних станах синхронізації, забезпечуючи прогресивну конвергенцію ваг та еволюцію кількох версій. Порівняно з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основною основою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв’язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально спроектований для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв і нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на паралельній обробці даних, завдяки побудові рідких топологій, таких як Кільце, Розширювач, Малий світ, що уникає високих витрат на зв’язок глобальної синхронізації та дозволяє виконувати спільне навчання моделей лише за рахунок локальних сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що значно підвищує можливість участі в глобальному спільному навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека координації зв'язку
PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання штучного інтелекту, метою якої є вирішення проблем адаптації традиційних бібліотек зв'язку в умовах гетерогенних пристроїв та мереж з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно покращує терпимість до пропускної здатності та сумісність пристроїв навчальних мереж, прокладаючи "остання милю" комунікаційної інфраструктури для створення справді відкритої, без довіри, мережі спільного навчання.
Три, Prime Intellect система стимулювання та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегування ваг та виплату винагород, що складає стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований модель навчання
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, яка була навчена за допомогою асинхронних, без довіри децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою співпраці понад 100 гетерогенних вузлів GPU, що розташовані на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, демонструючи життєздатність і стабільність асинхронних мереж співпраці. Ця модель не тільки є проривом в продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні модулі протоколів PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше здійснення децентралізованої навчальної мережі в процесі навчання.