Еволюція технології індексації даних Блокчейн: від первинних Нод до штучного інтелекту, що надає послуги з даних по всьому ланцюгу
1. Вступ
З моменту появи перших dApp у 2017 році екосистема блокчейн-додатків стала дедалі багатшою. Коли ми обговорюємо децентралізовані додатки, чи замислювались ми над джерелом даних, які використовуються цими dApp?
У 2024 році AI та Web3 стали гарячими темами. У сфері штучного інтелекту дані є джерелом життя і є надзвичайно важливими для навчання та мислення систем AI. Без підтримки даних навіть найвишуканіші алгоритми AI не можуть проявити інтелект.
Ця стаття глибоко дослідить розвиток доступності даних Блокчейн, проаналізує еволюцію індексації даних і порівняє характеристики таких протоколів даних, як The Graph, Chainbase та Space and Time, з особливим акцентом на інновації двох останніх у поєднанні з технологією ШІ.
2. Складність та простота даних індексації: від ноди Блокчейн до бази даних всієї ланцюга
2.1 Джерело даних: Блокчейн Нода
Блокчейн вважається децентралізованою книгою обліку, Ноди є його інфраструктурою, відповідальною за запис, зберігання та поширення всіх даних про транзакції в ланцюгу. Однак звичайні користувачі стикаються з технічними та витратними викликами при самостійному створенні та обслуговуванні Нодів. Хоча теоретично кожен може запустити Ноду, на практиці користувачі більше покладаються на послуги третіх сторін.
Щоб вирішити цю проблему, з'явилися постачальники RPC-ноди. Вони керують нодами та надають дані через RPC-інтерфейси, що дозволяє користувачам отримувати доступ до даних Блокчейн без необхідності створення власних нод. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, приватні RPC-інтерфейси мають кращу продуктивність, але їх ефективність все ще потребує покращення. Стандартизовані API-інтерфейси постачальників нод знижують бар'єри доступу до даних, закладаючи основу для подальшого аналізу та застосування даних.
2.2 Аналіз даних: від прототипних даних до придатних даних
Блокчейн Нода, що надає сирі дані, зазвичай проходить шифрування та кодування, що збільшує складність розшифровки. Для звичайних користувачів та розробників безпосередня обробка цих даних потребує великої технічної підготовки та обчислювальних ресурсів.
Процес解析 даних є надзвичайно важливим, оскільки він перетворює складні прототипні дані в зрозумілий і зручний для використання формат, що дозволяє користувачам більш інтуїтивно використовувати ці дані. Якість解析 безпосередньо впливає на ефективність і результативність застосування даних, є ключовим етапом у всьому процесі індексації.
2.3 Еволюція індексатора даних
Зі збільшенням обсягу даних Блокчейн зростає попит на індексатори. Індексатори організовують дані на ланцюгу та надсилають їх до бази даних, що забезпечує зручний пошук. Вони індексують дані Блокчейн і роблять дані завжди доступними через подібну до SQL мову запитів (, таку як GraphQL API ), що значно спрощує процес отримання даних.
Різні типи індексаторів оптимізують способи отримання даних:
Повний індексатор нод: безпосередньо витягує дані з повного ноду Блокчейн, що забезпечує цілісність та точність, але потребує великої пам'яті та обчислювальної потужності.
Легкий індексатор: покладається на повні ноди для отримання конкретних даних за потребою, зменшуючи вимоги до зберігання, але може збільшити час запиту.
Спеціалізований індексатор: для оптимізації певних типів даних або Блокчейн, таких як дані NFT або DeFi-транзакції.
Агент з агрегованими індексами: витягує дані з кількох Блокчейн та джерел, включаючи поза ланцюгова інформація, надаючи єдиний інтерфейс запитів, придатний для багатоланцевих dApp.
Наразі, архівні ноди Ethereum займають від 3 до 13,5 ТБ пам'яті в різних клієнтах, і ця кількість зростає зі збільшенням Блокчейн. Перед обличчям величезного обсягу даних основні протоколи індексації підтримують мульти-ланцюгову індексацію та налаштовують структури解析 даних відповідно до різних потреб застосування, такі як "субграф" The Graph.
Індексатор значно підвищує ефективність індексації та запиту даних. На відміну від традиційних RPC-інтерфейсів, індексатор підтримує ефективну індексацію великих обсягів даних та швидкі запити. Вони дозволяють виконувати складні запити, фільтрувати дані та проводити аналіз. Деякі індексатори також підтримують агрегацію джерел даних з кількох блокчейнів, уникаючи проблеми розгортання кількох API для багатоланцюгових dApp. Завдяки розподіленій роботі, індексатор забезпечує більшу безпеку та продуктивність, зменшуючи ризик перерв, які можуть виникнути через централізованих постачальників RPC.
2.4 Вся База Даних: вирівнювання за пріоритетом потоку
Використання індексних нод для запиту даних зазвичай залежить від API як єдиного порталу даних. Однак, коли проекти розширюються, часто виникає потреба в більш гнучких джерелах даних, і стандартизовані API важко задовольнити. З ускладненням вимог застосування первинним індексатором даних та його стандартизованим форматом індексації важко задовольнити різноманітні вимоги до запитів, такі як пошук, міжланцюговий доступ або відображення даних поза ланцюгом.
У сучасній архітектурі даних, метод "потокового пріоритету" став рішенням для обмежень традиційної пакетної обробки, що дозволяє здійснювати реальний збір, обробку та аналіз даних. Постачальники послуг даних на базі блокчейн також розвиваються в напрямку створення потоків даних, таких як Substreams від The Graph, Mirror від Goldsky, а також Chainbase і SubSquid з їхніми реальними даними.
Ці послуги спрямовані на задоволення потреб в аналізі реальних торгових операцій та наданні всебічних можливостей для запитів. Вони підтримують розвиток програм за рахунок більш розвинених та зрілих джерел даних і сприяють аналізу даних на блокчейні.
Переглядаючи виклики даних на блокчейні з точки зору сучасних даних, ми можемо по-новому розглянути потенціал управління, зберігання та надання даних. Вважаючи підграфи та індексатори, такі як Ethereum ETL, як потік даних, а не як кінцевий вихід, ми можемо уявити можливість налаштування високопродуктивних наборів даних для будь-якого бізнес-випадку.
3. AI + База Даних? Глибоке порівняння The Graph, Chainbase, Space and Time
3.1 Граф
Мережа The Graph надає послуги індексації та запиту даних з мульти-ланцюгів через децентралізовану мережу нод, що спрощує розробникам індексацію даних Блокчейн та створення децентралізованих додатків. Основні продукти включають ринок виконання запитів даних та ринок кешування індексації даних, що задовольняють потреби користувачів у запитах продуктів.
Субграф є базовою структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з блокчейну в запитуваний формат. Будь-хто може створити субграф, кілька додатків можуть повторно використовувати його, підвищуючи повторюваність даних та ефективність використання.
Мережа The Graph складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які разом забезпечують підтримку даних для веб3-додатків.
The Graph перейшов на повністю децентралізовані послуги з хостингу підграфів, різні учасники отримують економічні стимули для забезпечення роботи системи.
Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, підвищують продуктивність екосистеми в багатьох аспектах, таких як динамічне ціноутворення, оптимальне розподілення ресурсів та запити природною мовою. Ці інструменти дозволяють The Graph в поєднанні з ШІ додатково підвищити інтелектуальність системи та зручність для користувачів.
3.2 Ланцюгова база
Chainbase є мережею даних всього блокчейну, яка інтегрує всі дані блокчейну на одній платформі, що спрощує розробникам створення та підтримку програм. Його особливості включають:
Реальний дата-озеро: надає спеціалізоване реальне дата-озеро для потоків даних Блокчейн, підтримує миттєвий доступ до даних.
Подвійна архітектура: побудована на основі Eigenlayer AVS виконавчого шару, разом з алгоритмом консенсусу CometBFT утворює паралельну подвійна архітектура, що підсилює програмованість та комбінованість крос-лінійних даних.
Інноваційний стандарт формату даних: впровадження стандарту формату даних "manuscripts", оптимізація структуризації та використання даних у криптоіндустрії.
Модель криптовалютного світу: поєднуючи технології AI, створити AI-модель, яка здатна розуміти, передбачати блокчейн-транзакції та взаємодіяти з ними, як базова модель Theia.
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи дані з блокчейну та поза ним, а також просторово-часову активність, аналізуючи крипто-моделі та реагуючи через причинно-наслідкові висновки, глибоко вивчаючи потенційну цінність даних з блокчейну.
AI-можливості роблять Chainbase більш конкурентоспроможним постачальником інтелектуальних даних, здатним надати більш широкий спектр даних та оптимізувати процес обробки даних.
3.3 Простір та час
Простір і Час (SxT) має на меті створення перевірного обчислювального шару, що розширює нульові знання в децентралізованих сховищах даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей і підприємств.
SxT впроваджує технологію Proof of SQL, яка є інноваційною технологією нульового знання, що забезпечує захист від підробок і перевірку SQL запитів, виконаних на децентралізованому сховищі даних. Proof of SQL генерує криптографічні докази, що підтверджують цілісність та точність результатів запитів, дозволяючи будь-якому перевіряючому незалежно підтвердити, що дані не були підроблені.
SxT співпрацює з Інноваційною лабораторією AI Microsoft для розробки генеративних AI інструментів, що полегшують користувачам обробку даних Блокчейн за допомогою обробки природної мови. Space and Time Studio дозволяє користувачам вводити запити природною мовою, AI автоматично перетворює їх на SQL і виконує запит, представляючи остаточний результат.
Висновки та перспективи
Технологія індексації даних Блокчейн від початкових джерел даних Нода, через解析 даних і індексатор, еволюціонувала до повноцінного сервісу даних з підтримкою ШІ, пройшовши процес поступового вдосконалення. Ці технології постійно еволюціонують, підвищуючи ефективність і точність доступу до даних, надаючи користувачам інтелектуальний досвід.
У майбутньому, з розвитком нових технологій, таких як AI-технології та нульові докази, послуги з даних Блокчейн стануть ще більш інтелектуальними та безпечними. Послуги з даних Блокчейн, як інфраструктура, продовжать відігравати важливу роль, підтримуючи прогрес і інновації в галузі.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Еволюція індексації даних Блокчейн: від Ноди до AI повного сервісу
Еволюція технології індексації даних Блокчейн: від первинних Нод до штучного інтелекту, що надає послуги з даних по всьому ланцюгу
1. Вступ
З моменту появи перших dApp у 2017 році екосистема блокчейн-додатків стала дедалі багатшою. Коли ми обговорюємо децентралізовані додатки, чи замислювались ми над джерелом даних, які використовуються цими dApp?
У 2024 році AI та Web3 стали гарячими темами. У сфері штучного інтелекту дані є джерелом життя і є надзвичайно важливими для навчання та мислення систем AI. Без підтримки даних навіть найвишуканіші алгоритми AI не можуть проявити інтелект.
Ця стаття глибоко дослідить розвиток доступності даних Блокчейн, проаналізує еволюцію індексації даних і порівняє характеристики таких протоколів даних, як The Graph, Chainbase та Space and Time, з особливим акцентом на інновації двох останніх у поєднанні з технологією ШІ.
2. Складність та простота даних індексації: від ноди Блокчейн до бази даних всієї ланцюга
2.1 Джерело даних: Блокчейн Нода
Блокчейн вважається децентралізованою книгою обліку, Ноди є його інфраструктурою, відповідальною за запис, зберігання та поширення всіх даних про транзакції в ланцюгу. Однак звичайні користувачі стикаються з технічними та витратними викликами при самостійному створенні та обслуговуванні Нодів. Хоча теоретично кожен може запустити Ноду, на практиці користувачі більше покладаються на послуги третіх сторін.
Щоб вирішити цю проблему, з'явилися постачальники RPC-ноди. Вони керують нодами та надають дані через RPC-інтерфейси, що дозволяє користувачам отримувати доступ до даних Блокчейн без необхідності створення власних нод. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, приватні RPC-інтерфейси мають кращу продуктивність, але їх ефективність все ще потребує покращення. Стандартизовані API-інтерфейси постачальників нод знижують бар'єри доступу до даних, закладаючи основу для подальшого аналізу та застосування даних.
2.2 Аналіз даних: від прототипних даних до придатних даних
Блокчейн Нода, що надає сирі дані, зазвичай проходить шифрування та кодування, що збільшує складність розшифровки. Для звичайних користувачів та розробників безпосередня обробка цих даних потребує великої технічної підготовки та обчислювальних ресурсів.
Процес解析 даних є надзвичайно важливим, оскільки він перетворює складні прототипні дані в зрозумілий і зручний для використання формат, що дозволяє користувачам більш інтуїтивно використовувати ці дані. Якість解析 безпосередньо впливає на ефективність і результативність застосування даних, є ключовим етапом у всьому процесі індексації.
2.3 Еволюція індексатора даних
Зі збільшенням обсягу даних Блокчейн зростає попит на індексатори. Індексатори організовують дані на ланцюгу та надсилають їх до бази даних, що забезпечує зручний пошук. Вони індексують дані Блокчейн і роблять дані завжди доступними через подібну до SQL мову запитів (, таку як GraphQL API ), що значно спрощує процес отримання даних.
Різні типи індексаторів оптимізують способи отримання даних:
Наразі, архівні ноди Ethereum займають від 3 до 13,5 ТБ пам'яті в різних клієнтах, і ця кількість зростає зі збільшенням Блокчейн. Перед обличчям величезного обсягу даних основні протоколи індексації підтримують мульти-ланцюгову індексацію та налаштовують структури解析 даних відповідно до різних потреб застосування, такі як "субграф" The Graph.
Індексатор значно підвищує ефективність індексації та запиту даних. На відміну від традиційних RPC-інтерфейсів, індексатор підтримує ефективну індексацію великих обсягів даних та швидкі запити. Вони дозволяють виконувати складні запити, фільтрувати дані та проводити аналіз. Деякі індексатори також підтримують агрегацію джерел даних з кількох блокчейнів, уникаючи проблеми розгортання кількох API для багатоланцюгових dApp. Завдяки розподіленій роботі, індексатор забезпечує більшу безпеку та продуктивність, зменшуючи ризик перерв, які можуть виникнути через централізованих постачальників RPC.
2.4 Вся База Даних: вирівнювання за пріоритетом потоку
Використання індексних нод для запиту даних зазвичай залежить від API як єдиного порталу даних. Однак, коли проекти розширюються, часто виникає потреба в більш гнучких джерелах даних, і стандартизовані API важко задовольнити. З ускладненням вимог застосування первинним індексатором даних та його стандартизованим форматом індексації важко задовольнити різноманітні вимоги до запитів, такі як пошук, міжланцюговий доступ або відображення даних поза ланцюгом.
У сучасній архітектурі даних, метод "потокового пріоритету" став рішенням для обмежень традиційної пакетної обробки, що дозволяє здійснювати реальний збір, обробку та аналіз даних. Постачальники послуг даних на базі блокчейн також розвиваються в напрямку створення потоків даних, таких як Substreams від The Graph, Mirror від Goldsky, а також Chainbase і SubSquid з їхніми реальними даними.
Ці послуги спрямовані на задоволення потреб в аналізі реальних торгових операцій та наданні всебічних можливостей для запитів. Вони підтримують розвиток програм за рахунок більш розвинених та зрілих джерел даних і сприяють аналізу даних на блокчейні.
Переглядаючи виклики даних на блокчейні з точки зору сучасних даних, ми можемо по-новому розглянути потенціал управління, зберігання та надання даних. Вважаючи підграфи та індексатори, такі як Ethereum ETL, як потік даних, а не як кінцевий вихід, ми можемо уявити можливість налаштування високопродуктивних наборів даних для будь-якого бізнес-випадку.
3. AI + База Даних? Глибоке порівняння The Graph, Chainbase, Space and Time
3.1 Граф
Мережа The Graph надає послуги індексації та запиту даних з мульти-ланцюгів через децентралізовану мережу нод, що спрощує розробникам індексацію даних Блокчейн та створення децентралізованих додатків. Основні продукти включають ринок виконання запитів даних та ринок кешування індексації даних, що задовольняють потреби користувачів у запитах продуктів.
Субграф є базовою структурою даних мережі The Graph, що визначає, як витягувати та перетворювати дані з блокчейну в запитуваний формат. Будь-хто може створити субграф, кілька додатків можуть повторно використовувати його, підвищуючи повторюваність даних та ефективність використання.
Мережа The Graph складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів та розробників, які разом забезпечують підтримку даних для веб3-додатків.
The Graph перейшов на повністю децентралізовані послуги з хостингу підграфів, різні учасники отримують економічні стимули для забезпечення роботи системи.
Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, підвищують продуктивність екосистеми в багатьох аспектах, таких як динамічне ціноутворення, оптимальне розподілення ресурсів та запити природною мовою. Ці інструменти дозволяють The Graph в поєднанні з ШІ додатково підвищити інтелектуальність системи та зручність для користувачів.
3.2 Ланцюгова база
Chainbase є мережею даних всього блокчейну, яка інтегрує всі дані блокчейну на одній платформі, що спрощує розробникам створення та підтримку програм. Його особливості включають:
AI-модель Theia від Chainbase базується на моделі DORA від NVIDIA, поєднуючи дані з блокчейну та поза ним, а також просторово-часову активність, аналізуючи крипто-моделі та реагуючи через причинно-наслідкові висновки, глибоко вивчаючи потенційну цінність даних з блокчейну.
AI-можливості роблять Chainbase більш конкурентоспроможним постачальником інтелектуальних даних, здатним надати більш широкий спектр даних та оптимізувати процес обробки даних.
3.3 Простір та час
Простір і Час (SxT) має на меті створення перевірного обчислювального шару, що розширює нульові знання в децентралізованих сховищах даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей і підприємств.
SxT впроваджує технологію Proof of SQL, яка є інноваційною технологією нульового знання, що забезпечує захист від підробок і перевірку SQL запитів, виконаних на децентралізованому сховищі даних. Proof of SQL генерує криптографічні докази, що підтверджують цілісність та точність результатів запитів, дозволяючи будь-якому перевіряючому незалежно підтвердити, що дані не були підроблені.
SxT співпрацює з Інноваційною лабораторією AI Microsoft для розробки генеративних AI інструментів, що полегшують користувачам обробку даних Блокчейн за допомогою обробки природної мови. Space and Time Studio дозволяє користувачам вводити запити природною мовою, AI автоматично перетворює їх на SQL і виконує запит, представляючи остаточний результат.
Висновки та перспективи
Технологія індексації даних Блокчейн від початкових джерел даних Нода, через解析 даних і індексатор, еволюціонувала до повноцінного сервісу даних з підтримкою ШІ, пройшовши процес поступового вдосконалення. Ці технології постійно еволюціонують, підвищуючи ефективність і точність доступу до даних, надаючи користувачам інтелектуальний досвід.
У майбутньому, з розвитком нових технологій, таких як AI-технології та нульові докази, послуги з даних Блокчейн стануть ще більш інтелектуальними та безпечними. Послуги з даних Блокчейн, як інфраструктура, продовжать відігравати важливу роль, підтримуючи прогрес і інновації в галузі.