Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация сотрудничества в технологической революции
В полной цепочке создания стоимости ИИ, обучение модели является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, который напрямую определяет пределы возможностей модели и реальные результаты применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных инвестиций в мощные вычисления, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающим весь процесс обучения, включая аппаратное обеспечение, программное обеспечение нижнего уровня, систему управления кластерами и все компоненты обучающей рамки, которые координируются единым управляющим системой. Эта архитектура глубокой взаимосвязи обеспечивает наилучшую эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но в то же время существуют проблемы монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически оно обладает характеристиками "Децентрализации", в целом оно все еще контролируется централизованной организацией, которая управляет планированием и синхронизацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение параллельной гранулярности
Распределенное обучение — это сочетание "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники могли совместно выполнять задачи. На данный момент практически все основные большие модели обучаются таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевые особенности заключаются в следующем: несколько недоверяющих друг другу узлов совместно выполняют задачу тренировки без централизованного координатора, обычно с помощью протоколов, направляющих распределение задач и сотрудничество, а также с использованием механизмов криптоощущения для обеспечения честности вкладов. Главные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Узкие места в эффективности связи: нестабильная сетявая связь, явные узкие места в синхронизации градиентов
Отсутствие доверяемого выполнения: недостаток доверяемой среды выполнения, затрудняющее проверку того, действительно ли узлы участвуют в вычислениях
Недостаток единого координирования: отсутствие центрального диспетчера, сложное распределение задач и механизмы отката ошибок
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системным инженерным вызовом, затрагивающим архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и другие аспекты, но вопрос о том, удастся ли "совместно эффективно + мотивировать честность + получить правильный результат", все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, а также преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемое Децентрализация" решение в контексте соблюдения конфиденциальности, которое относительно мягкое в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения в гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, сильно ограниченные конфиденциальностью данных и суверенитетом, подвержены юридическим и этическим ограничениям и не могут быть открыто поделены; а задачи, лишенные основ мотивации для сотрудничества, не имеют внешнего участия. Эти границы составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной проблемой. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью стимулирования, Децентрализация обучения демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: тонкая настройка LoRA, задачи постобучения для выравнивания поведения, обучение и аннотирование данных с помощью краудсорсинга, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительный прогресс в инженерии. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: Проверяемые траектории обучения в сети совместного обучения
Prime Intellect стремится создать сеть AI-тренировок без необходимости доверия, позволяя любому участвовать в тренировке и получать надежную награду за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную тренировочную систему AI с проверяемостью, открытостью и полным механизмом стимулов через три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
Одна, Структура стека протокола Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Децентрализованная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является рамкой моделирования задач и выполнения, разработанной Prime Intellect для децентрализованных учебных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо выполнять цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированный интерфейс. По сравнению с традиционным процессом контролируемого обучения, PRIME-RL более подходит для реализации эластичного обучения в средах без централизованного управления, что как снижает сложность системы, так и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения в обучении
TOPLOC — это ядро механизма проверки обучения, предложенное Prime Intellect, предназначенное для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а использует анализ локальной согласованности траекторий между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легковесной структуры. Впервые он преобразует траектории поведения в процессе обучения в объекты, которые можно проверять, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, обеспечивая жизнеспособный путь для построения可审计、可激励的 Децентрализация совместной обучающей сети.
SHARDCAST: Протокол асинхронной агрегации и распространения веса
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, который оптимизирован для реальных сетевых условий с асинхронной передачей, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает механизмы госсип-распространения и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в различных состояниях синхронизации, что обеспечивает прогрессивное схождение весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к ошибкам децентрализованного обучения, являясь核心基础 для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально предназначенная для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и избегает высоких коммуникационных затрат глобальной синхронизации путем построения разреженных топологических структур, таких как Ring, Expander, Small-World, и позволяет выполнять совместное обучение модели, полагаясь лишь на локальных соседей узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, значительно повышая доступность участия в глобальном совместном обучении и являясь одной из ключевых коммуникационных инфраструктур для создания сети Децентрализация обучения.
PCCL:Библиотека согласованной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой и ненадежной сети совместного обучения.
Три, Prime Intellect стимулирующая сеть и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать награды на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет среду обучения, начальную модель, функцию вознаграждения и критерии валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и отслеживание траектории
Узлы верификации: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участие в расчете вознаграждений и агрегировании стратегий.
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального учебного поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой Децентрализации обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронных, бездоверительных Децентрализация-узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 ГПУ-гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, демонстрируя жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрировала ключевые протокольные модули, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первый случай, когда Децентрализация-обучающая сеть достигла открытия процесса обучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
15 Лайков
Награда
15
4
Поделиться
комментарий
0/400
MoonBoi42
· 13ч назад
Ресурсы уже вложены, а мы все еще не На луну.
Посмотреть ОригиналОтветить0
ContractSurrender
· 13ч назад
Децентрализация не означает отсутствие эффективности
Посмотреть ОригиналОтветить0
CommunityJanitor
· 13ч назад
Умереть от вычислительной мощности, да?
Посмотреть ОригиналОтветить0
ZkSnarker
· 13ч назад
ну, технически мы все еще занимаемся централизованным ИИ, но с дополнительными шагами... лол
Новая парадигма обучения ИИ: технологическая революция от централизованного контроля к Децентрализация сотрудничества
Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация сотрудничества в технологической революции
В полной цепочке создания стоимости ИИ, обучение модели является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, который напрямую определяет пределы возможностей модели и реальные результаты применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных инвестиций в мощные вычисления, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающим весь процесс обучения, включая аппаратное обеспечение, программное обеспечение нижнего уровня, систему управления кластерами и все компоненты обучающей рамки, которые координируются единым управляющим системой. Эта архитектура глубокой взаимосвязи обеспечивает наилучшую эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но в то же время существуют проблемы монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически оно обладает характеристиками "Децентрализации", в целом оно все еще контролируется централизованной организацией, которая управляет планированием и синхронизацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение — это сочетание "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники могли совместно выполнять задачи. На данный момент практически все основные большие модели обучаются таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевые особенности заключаются в следующем: несколько недоверяющих друг другу узлов совместно выполняют задачу тренировки без централизованного координатора, обычно с помощью протоколов, направляющих распределение задач и сотрудничество, а также с использованием механизмов криптоощущения для обеспечения честности вкладов. Главные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системным инженерным вызовом, затрагивающим архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и другие аспекты, но вопрос о том, удастся ли "совместно эффективно + мотивировать честность + получить правильный результат", все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, а также преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемое Децентрализация" решение в контексте соблюдения конфиденциальности, которое относительно мягкое в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения в гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, сильно ограниченные конфиденциальностью данных и суверенитетом, подвержены юридическим и этическим ограничениям и не могут быть открыто поделены; а задачи, лишенные основ мотивации для сотрудничества, не имеют внешнего участия. Эти границы составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной проблемой. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью стимулирования, Децентрализация обучения демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: тонкая настройка LoRA, задачи постобучения для выравнивания поведения, обучение и аннотирование данных с помощью краудсорсинга, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительный прогресс в инженерии. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: Проверяемые траектории обучения в сети совместного обучения
Prime Intellect стремится создать сеть AI-тренировок без необходимости доверия, позволяя любому участвовать в тренировке и получать надежную награду за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную тренировочную систему AI с проверяемостью, открытостью и полным механизмом стимулов через три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
Одна, Структура стека протокола Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Децентрализованная асинхронная архитектура задач обучения с подкреплением
PRIME-RL является рамкой моделирования задач и выполнения, разработанной Prime Intellect для децентрализованных учебных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо выполнять цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированный интерфейс. По сравнению с традиционным процессом контролируемого обучения, PRIME-RL более подходит для реализации эластичного обучения в средах без централизованного управления, что как снижает сложность системы, так и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения в обучении
TOPLOC — это ядро механизма проверки обучения, предложенное Prime Intellect, предназначенное для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а использует анализ локальной согласованности траекторий между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легковесной структуры. Впервые он преобразует траектории поведения в процессе обучения в объекты, которые можно проверять, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, обеспечивая жизнеспособный путь для построения可审计、可激励的 Децентрализация совместной обучающей сети.
SHARDCAST: Протокол асинхронной агрегации и распространения веса
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, который оптимизирован для реальных сетевых условий с асинхронной передачей, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает механизмы госсип-распространения и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в различных состояниях синхронизации, что обеспечивает прогрессивное схождение весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к ошибкам децентрализованного обучения, являясь核心基础 для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная структура, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально предназначенная для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и избегает высоких коммуникационных затрат глобальной синхронизации путем построения разреженных топологических структур, таких как Ring, Expander, Small-World, и позволяет выполнять совместное обучение модели, полагаясь лишь на локальных соседей узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, значительно повышая доступность участия в глобальном совместном обучении и являясь одной из ключевых коммуникационных инфраструктур для создания сети Децентрализация обучения.
PCCL:Библиотека согласованной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой и ненадежной сети совместного обучения.
Три, Prime Intellect стимулирующая сеть и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать награды на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального учебного поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой Децентрализации обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронных, бездоверительных Децентрализация-узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 ГПУ-гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, демонстрируя жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрировала ключевые протокольные модули, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первый случай, когда Децентрализация-обучающая сеть достигла открытия процесса обучения.