Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке ценности ИИ обучение модели является этапом с самым большим потреблением ресурсов и наивысшими техническими требованиями, что напрямую определяет пределы возможностей модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных крупных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Такая глубокая кооперация архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов устойчивости к сбоям, что делает его особенно подходящим для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но также имеет проблемы с монополизацией данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели на части и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "Децентрализация" характеристиками, в целом он по-прежнему контролируется, координируется и синхронизируется централизованными организациями и часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает различные данные, параметры делятся, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно руководит работой нескольких сотрудников "офисов" для выполнения задач. В настоящее время почти все основные модели обучаются таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь будущего. Его ключевая особенность заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптографических механизмов вознаграждения для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверенного выполнения: отсутствие доверенной вычислительной среды, сложно проверить, действительно ли узлы участвуют в вычислениях
Недостаток единой координации: нет центрального диспетчера, сложные механизмы распределения задач и отката при аномалиях
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая масштабируемая децентрализованная тренировка" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и многие другие аспекты, но возможность "совместной эффективности + стимулирования честности + правильности результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной кооперации, а также имеет преимущества в распределении данных для Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и устойчивыми к цензуре характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, с относительно мягкими аспектами в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим для промежуточной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным открытое сотрудничество; в то время как задачи, у которых нет основ для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения современной Децентрализации обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, простотой параллелизации и возможностью стимулирования Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения для выравнивания поведения, задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализ
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического дизайна, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в инженерной реализации. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно исследованы их различия и взаимодополняющие отношения в децентрализованной системе обучения ИИ.
Prime Intellect: Пионер усиленного обучения с верифицируемыми траекториями тренировки в кооперативной сети
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамочной системой моделирования и выполнения задач, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач локально и взаимодействовать с механизмами проверки и агрегирования через стандартизированный интерфейс. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения обучения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления полной модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые она преобразует поведенческие траектории во время обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивированной сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным пропускным способом и изменчивым состоянием узлов. Он сочетает механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронного состояния, что реализует постепенное сходимость весов и многоверсионную эволюцию. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированного коммуникационного фреймворка, созданного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких распространенных проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в условиях Децентрализации. Его архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Кольцо, Расширитель, Малый мир, чтобы избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседних узлов для совместной тренировки модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в тренировочных задачах, значительно повышая доступность глобальной кооперативной тренировки. Это одна из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, целью которой является решение проблем адаптации традиционных библиотек связи в условиях гетерогенных устройств и сетей с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал разрешительную, проверяемую и обладающую экономическими стимулами тренировочную сеть, позволяющую любому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Узлы проверки: Используйте механизм TOPLOC для проверки подлинности тренировочного поведения и участия в вычислении вознаграждений и агрегации стратегий.
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя стимульный замкнутый цикл вокруг "реальных тренировочных действий".
04, INTELLECT-2: Первая публикация проверяемой Децентрализации обучающей модели
В мае 2025 года Prime Intellect выпустил INTELLECT-2, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, бездоверительных Децентрализация узлов. Масштаб параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры. Время обучения превысило 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы "обучение как консенсус". INTELLECT-2 интегрирует ключевые протокольные модули, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию открытости, проверяемости и замкнутого экономического стимула в процессе обучения в Децентрализация сети.
В отношении производительности, INTELLECT-2 основан на QwQ-32B и прошел специализированное RL-обучение как в коде, так и в математике, находясь на переднем крае современных открытых моделей RL.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
7 Лайков
Награда
7
7
Поделиться
комментарий
0/400
Blockwatcher9000
· 18ч назад
Снова даем деньги гигантам?
Посмотреть ОригиналОтветить0
ContractExplorer
· 18ч назад
Метавселенная才是AI真出路
Посмотреть ОригиналОтветить0
CryptoAdventurer
· 18ч назад
Снова будут играть для лохов, продолжайте в том же духе.
Посмотреть ОригиналОтветить0
TestnetNomad
· 18ч назад
Цэ, обучение модели требует вычислительной мощности.
Посмотреть ОригиналОтветить0
PuzzledScholar
· 18ч назад
Снова сделаем что-то непонятное
Посмотреть ОригиналОтветить0
GlueGuy
· 18ч назад
Война вычислительной мощности началась раньше!
Посмотреть ОригиналОтветить0
Anon32942
· 18ч назад
Ещё одна компания, занимающаяся Децентрализация AI.
Децентрализация AI тренировка нового парадигмы: Prime Intellect и Pluralis исследуют передовые технологии
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке ценности ИИ обучение модели является этапом с самым большим потреблением ресурсов и наивысшими техническими требованиями, что напрямую определяет пределы возможностей модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных крупных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Такая глубокая кооперация архитектуры позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов устойчивости к сбоям, что делает его особенно подходящим для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но также имеет проблемы с монополизацией данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели на части и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "Децентрализация" характеристиками, в целом он по-прежнему контролируется, координируется и синхронизируется централизованными организациями и часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно руководит работой нескольких сотрудников "офисов" для выполнения задач. В настоящее время почти все основные модели обучаются таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь будущего. Его ключевая особенность заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптографических механизмов вознаграждения для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая масштабируемая децентрализованная тренировка" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и многие другие аспекты, но возможность "совместной эффективности + стимулирования честности + правильности результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной кооперации, а также имеет преимущества в распределении данных для Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и устойчивыми к цензуре характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, с относительно мягкими аспектами в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим для промежуточной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным открытое сотрудничество; в то время как задачи, у которых нет основ для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения современной Децентрализации обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, простотой параллелизации и возможностью стимулирования Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения для выравнивания поведения, задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализ
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического дизайна, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в инженерной реализации. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно исследованы их различия и взаимодополняющие отношения в децентрализованной системе обучения ИИ.
Prime Intellect: Пионер усиленного обучения с верифицируемыми траекториями тренировки в кооперативной сети
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамочной системой моделирования и выполнения задач, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач локально и взаимодействовать с механизмами проверки и агрегирования через стандартизированный интерфейс. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения обучения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления полной модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые она преобразует поведенческие траектории во время обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивированной сети децентрализованного совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным пропускным способом и изменчивым состоянием узлов. Он сочетает механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронного состояния, что реализует постепенное сходимость весов и многоверсионную эволюцию. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированного коммуникационного фреймворка, созданного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких распространенных проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в условиях Децентрализации. Его архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Кольцо, Расширитель, Малый мир, чтобы избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседних узлов для совместной тренировки модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в тренировочных задачах, значительно повышая доступность глобальной кооперативной тренировки. Это одна из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, целью которой является решение проблем адаптации традиционных библиотек связи в условиях гетерогенных устройств и сетей с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал разрешительную, проверяемую и обладающую экономическими стимулами тренировочную сеть, позволяющую любому участвовать в заданиях и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя стимульный замкнутый цикл вокруг "реальных тренировочных действий".
04, INTELLECT-2: Первая публикация проверяемой Децентрализации обучающей модели
В мае 2025 года Prime Intellect выпустил INTELLECT-2, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, бездоверительных Децентрализация узлов. Масштаб параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры. Время обучения превысило 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы "обучение как консенсус". INTELLECT-2 интегрирует ключевые протокольные модули, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию открытости, проверяемости и замкнутого экономического стимула в процессе обучения в Децентрализация сети.
В отношении производительности, INTELLECT-2 основан на QwQ-32B и прошел специализированное RL-обучение как в коде, так и в математике, находясь на переднем крае современных открытых моделей RL.