16 октября 2020

Интеграция финансового датасета Tezos в Google BigQuery

Мы рады поделиться новостью о том, что завершили интеграцию датасета Tezos в Google BigQuery!

Он есть в Google Cloud в виде общедоступного набора данных в разделе «Финансовые услуги», внесен в список на Google Cloud Marketplace, а также находится по ссылке.

Google Cloud размещает набор данных для общего доступа, вы платите только за запросы по данным. Однако вы можете запрашивать этот набор данных бесплатно, до 1 ТБ в месяц, каждый месяц!

Google BigQuery упрощает выполнение запросов он-чейн просто и организованно в облаке с использованием стандартного синтаксиса SQL. Вы можете думать об этом как о массивном индексаторе, который позволяет выполнять мощный анализ данных. Вы также можете выполнять одни и те же или похожие запросы на нескольких блокчейнах одновременно и сравнивать их или отслеживать межцепочечную активность на совместимых токенах, таких как tzBTC.

Хотя ноды Tezos позволяют выполнять базовые запросы для получения данных об адресах и транзакциях, анализ, даже базовый, не поддерживается. Данные Tezos необходимо загрузить в хранилище данных, чтобы получить необходимую информацию. Например, на этой диаграмме показан рост сообщества Tezos (финансируемые счета) с течением времени, запрошенный через BigQuery и визуализированный с помощью Google Data Studio:

Конечно, есть бесчисленное количество способов того, как использовать это для сбора и анализа данных. Некоторые из возможностей:

  • Отследить расходы на газ со временем
  • Отследить активность по смарт-контрактам
  • Путеводитель по структуре данных с двойной записью. которая позволяет выполнять многоцепочечный мета-анализ
  • Интеграция с обычными системами обработки финансовой документации
  • Определить самые активные / популярные токены, контракты или приложения на Tezos
  • Запросить все транзакции, которые соответствуют определенным условиям
  • Журналы аудита

Ниже показано, насколько просто можно запросить данные по общему количеству транзакций в сети Tezos :

#standardSQL
SELECT COUNT(*) as count
FROM `public-data-finance.crypto_tezos.transaction_operations`

Сейчас Tezos Commons загружает данные Tezos в BigQuery ежедневно с помощью новых инструментов Tezos ETL (извлечение, преобразование, загрузка), Airflow DAG и нода Kubernetes. Все они с открытым исходным кодом, и их можно найти здесь:

Будем признательны за ваш вклад, а также используйте их для своих проектов!

Нам было очень приятно работать с Аленом Деем, всей командой Google Cloud над этим проектом, а также с основателем проекта Blockchain ETLЕвгением Медведевым и его командой Helix Technologies, которых мы смело рекомендуем всем, кто хочет начать работать с ETL и интеграцией BigQuery.

Мы с нетерпением ждем продолжения работы над улучшением проекта и развитием его функционала.

Другие полезные ссылки:

Материал переведен на русский язык командой Tezos Ukraine
Оригинал:
Tezos Public Finance Dataset Integrated into Google BigQuery

Подписывайтесь на наши социальные сети:

Telegram

LinkedIn

Facebook

Twitter

Обсудить в Discord!