Cointime

Download App
iOS & Android

Pinax データセットは、Parquet と S3 を使用するとよりシンプルになります

Validated Project

TL;DR: Pinax のデータセットは、Parquet ファイルと S3 を使用してブロックチェーン データ アクセスを簡素化します。この組み合わせにより、効率的なストレージ、高速化されたクエリ パフォーマンス、およびさまざまな分析ツールとのシームレスな統合が実現します。生のブロックチェーン データは SQL スキーマを使用して構造化されているため、分析が簡単です。私たちのデータセットは、複数の複雑なブロックチェーン情報にアクセスして分析するためのユーザーフレンドリーなソリューションを提供します。

前回のブログ投稿では、Pinpoint のデータセットと、それがブロックチェーン データへのアクセスを簡素化する方法について紹介しました。この記事では、Parquet ファイルや SQL スキーマなど、データセットを強力にするツールと構造について詳しく説明します。 Pinax が効率的なデータ ストレージのために Parquet ファイルをどのように使用しているか、またオリジナルのブロックチェーン データセットを支える包括的な SQL アーキテクチャについて説明します。データ アナリストに使いやすい最先端のテクノロジーを提供する計画をご覧ください。

Pinax データセットにより、ブロックチェーン データに簡単にアクセスできるようになり、ブロックチェーン情報を分析したいが専門的なツールやインフラストラクチャを持っていない人にとって障壁が取り除かれます。 S3 でホストされている Parquet ファイルを活用して、マクロ分析から AI チャットボット、財務分析まで、さまざまな分野の専門家がデータ ラングリングではなく分析に集中できるようにします。

データセットは既存の分析ツールと互換性があるように設計されており、分析者が現在の設定を簡単にプラグアンドプレイできるようにしています。これは、Amazon S3 を外部テーブルとして使用して、データセットを既存のワークフローにシームレスに統合できることを意味します。外部テーブルはさまざまなデータベースで広くサポートされているため、大規模なセットアップやカスタム インフラストラクチャを必要とせずに S3 から直接データをクエリでき、データ管理が簡素化されます。

Ethereum データセットをお試しください: Snowflake で 30 日間無料でお試しください。

ブロックチェーン データへのアクセス、処理、分析は、特にテクノロジーが業界全体で進化し続け、データ量と複雑さが増加しているため、困難になる可能性があります。 Pinax は、アクセスを簡素化し、技術ユーザーと非技術ユーザーの両方を念頭に置いて設計された使いやすいデータセットを提供します。私たちの簡略化されたアプローチの中心となるのは、特に大規模なデータ セットの効率とスケーラビリティを向上させる強力な列指向ストレージ形式である Parquet ファイルです。

しかし、Parquet ファイルとは正確には何ですか?また、ブロックチェーン データにアクセスする上でなぜそれほど重要なのでしょうか?

Parquet は、その効率的な圧縮とパフォーマンスにより、データ処理に広く使用されている列指向のストレージ ファイル形式です。データを順番に保存する行ベースのストレージ形式とは異なり、Parquet はデータを列に編成することでストレージとクエリのパフォーマンスを最適化し、特に分析に効果的です。

---この図は、行レイアウト (各行が順番に格納される) と列レイアウト (各列が完全に格納される (ソース)) を比較しています。

Parquet ファイルの列形式は、ブロックチェーン内の複雑で大量のデータ セットの管理に最適です。選択的な列クエリを有効にすることで、Parquet はクエリ速度を向上させ、ストレージ コストを削減し、テラバイト規模のブロックチェーン データを処理するための実用的なソリューションを提供します。

主な利点は次のとおりです。

Parquet ファイルの列形式は、ブロックチェーン内の複雑で大量のデータ セットの管理に最適です。選択的な列クエリを有効にすることで、Parquet はクエリ速度を向上させ、ストレージ コストを削減し、テラバイト規模のブロックチェーン データを処理するための実用的なソリューションを提供します。

主な利点は次のとおりです。

  1. 効率的なストレージ: Parquet は、品質を損なうことなくデータを圧縮することでストレージ コストを削減します。これは、大規模なブロックチェーン データセットに特に有益です。
  2. クエリの高速化: 列ベースのストレージにより、アナリストは必要なデータのみにアクセスできるため、Messari などのツールのパフォーマンスが向上します。
  3. 幅広い互換性: Parquet はさまざまな分析ツールとシームレスに統合し、SQL、Python、R などにわたるワークフローをサポートします。

Pinax は、ブロックチェーン データを使いやすい形式で提供します。

  • シームレスな統合: 生のブロックチェーン データを Parquet 形式で提供し、ユーザーがデータを既存のパイプラインにスムーズに統合できるようにします。
  • 最新の洞察: データセットは毎日更新されるため、ユーザーは最新のブロックチェーン データに確実にアクセスできます。
  • 使いやすさの向上: Parquet の使い慣れた形式により分析プロセスが簡素化され、アナリストはインフラストラクチャではなく分析に集中できるようになります。

データセットのパイロット プログラムは順調に進んでおり、データ アクセスとパフォーマンスの向上を目指して新たな進歩を遂げています。セットアップに関する最新情報は次のとおりです。

  • データの分離とアクセスのオプション: S3 外部テーブルの設定により、アナリストはデータ アクセスを独立して管理できます。オプションには、S3 データのカスタム テーブルへのコピー、S3 外部テーブルへの直接接続、または事前構成された Snowflake ビューの使用が含まれます。さらに、データをローカル ディスク処理にダウンロードできるため、データ処理が柔軟になります。
  • カスタマイズ要件への関与を最小限に抑える: この設定により、Pinex の役割は軽くなり、主にデータの整合性と正確なスキーマ定義を確保することに重点が置かれ、一方、アナリストは特定のデータのニーズを制御できます。
  • データの同期とフォーマット: 自動 S3 同期アップロードによりデータフォーマットの可読性が確保され、データセット上にカスタム ビューを作成して分析ニーズをより適切に満たすことができます。
  • パフォーマンスの最適化: 速度を向上させるためのパーティションの再編成など、大規模なデータ セットでのクエリ パフォーマンスを向上させるための構成のテストを継続します。

Pinax データセットは、さまざまなアプリケーションに役立つ可能性があります。

  • マクロ分析: Messari や Snowflake などのプラットフォームは、ブロックチェーンの洞察をより広範な市場分析にシームレスに統合することで、当社のデータセットの恩恵を受けています。
  • 会計: ブロックチェーン記録は透明性と不変の台帳を提供するため、会計および監査の目的で価値があります。
  • ブロックチェーンフォレンジック: データセットは、フォレンジック調査員がトランザクションを追跡し、詐欺を検出し、ブロックチェーン上の不審なアクティビティを監視するのに役立ちます。
  • AI チャットボットと LLM: 構造化ブロックチェーン データへのアクセスは、AI モデル、特にブロックチェーン関連のクエリを理解したり分析を実行するために設計された大規模言語モデル (LLM) の高品質トレーニング データとして機能します。
  • 財務分析: DeFi アプリケーションは Pinax データを統合して過去の取引統計を表示し、より賢明な財務上の意思決定のための洞察を提供できます。

ブロックチェーン データは生の形式で表示され、ネットワーク上のすべての重要なトランザクションとインタラクションをキャプチャします。 Pinax は、ブロック、トランザクション、拡張追跡、ログなどの拡張ベース Ethereum データ テーブルへのアクセスを提供します。当社のデータセットは、個々のトランザクションの追跡からブロック全体の傾向の理解まで、きめ細かい分析を可能にし、さまざまな分野のアプリケーションに最適です。

---ブロック、トランザクション、ログ、および詳細な分析のための拡張追跡をカバーする包括的な EVM ブロックチェーン データ。

効率的なアクセスを実現するために、Pinax は SQL アーキテクチャを使用してブロックチェーン データを構造化します。このスキーマは Parquet ファイル内のデータの構造を定義し、さまざまなアプリケーションにわたるデータ アクセスと分析を簡素化します。 EVM SQL スキーマは、ブロック、トランザクション、ログ、状態変化などの EVM データを追跡するための詳細なテーブルを提供します。各テーブルは詳細な分析のための詳細なデータを取得し、ユーザーがブロックチェーンの相互作用を効率的に探索できるようにします。

Ethereum データを構築するための SQL スキーマを調べるには、GitHub で Pinpoint の EVM SQL スキーマを確認してください。

Ethereum データを構築するための SQL スキーマを調べるには、GitHub で Pinpoint の EVM SQL スキーマを確認してください。

この SQL スキーマを実際の分析にどのように適用できるかを説明するために、ブロックチェーン データから特定のデータを取得する方法を示すサンプル クエリをいくつか示します。

-- This query calculates the number of unique active users per minute on a specific date. SELECT date_trunc('minute', block_time) AS minute, count(distinct "from") AS user FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY minute ORDER BY minute ASC;

-- This query retrieves the top 10 contracts with the most transactions on a specific date, ordered by transaction count. SELECT "to" AS contract, count(*) AS transactions FROM ethereum.transactions WHERE block_date = '2024-10-01' GROUP BY contract ORDER BY transactions DESC LIMIT 10;

-- This query counts the total number of successful ERC-20 token transfers (using Transfer and TransferFrom functions) per day within a specified date range. SELECT block_date, count(*) as total FROM ethereum.traces WHERE tx_success = true AND SUBSTR(input, 1, 10) IN ('0xa9059cbb', '0x23b872dd') -- Transfer and TransferFrom AND block_date >= '2024-09-01' AND block_date <= '2024-09-07' GROUP BY block_date ORDER BY block_date;

Pinax データ コレクションは Snowflake 上で使用できます。Snowflake は、その使いやすさと大きな成功の実現により、ブロック データを収集するためのクラウド ベースのデータ プラットフォームです。

Snowflake Marketplace は、より広範囲のデータ コレクションを提供し、より大規模なデータのアクセス可能性を促進します。

セクショナリデータは一般にアクセスや分析に適さないと考えられていますが、Pinax データコレクションはこの考えを変えるものであり、セクショナリデータをユーザーの好みに合わせて分析から AI までさまざまな用途に使用できるようにします。モデルの議論が行われます。

リクエストの実行により、ゾーン データ アクセスがどのように変更されるのかを知ることができます。

お客様のニーズに基づいてブロックチェーン データ アクセスを簡素化する方法を検討することに興味がある場合は、当社の Web サイトにアクセスするか、詳細についてお問い合わせください。デモをリクエストして、ブロックチェーン データの洞察をどのように変換できるかを確認してください。

私たちの ETH データセットは、Snowflake で 30 日間無料で利用できることを忘れないでください。

(関連する専門用語、コメント、コード ライブラリ、ハイパーリンクなどについては、ブログを参照してください)

💡 この記事は次の質問に答えます。

- Pinax は使いやすさと最適なパフォーマンスを実現するブロックチェーン データセットをどのように構築していますか?

- Pinax のデータセットはどのような種類の業界やユースケースにメリットをもたらしますか?

- 寄木細工ファイルとは何ですか?

- Parquet ファイルがブロックチェーン データに適しているのはなぜですか?

- 生のブロックチェーンデータには何がキャプチャされますか?

- ブロックチェーン データの構造化における SQL スキーマの役割は何ですか?

- Pinax データセットを無料で試すにはどうすればよいですか?

#ブロックチェーンデータ分析#データセット#Web3データ#ブロックチェーン開発

コメント

全てのコメント

Recommended for you

  • 暗号通貨ウォレットのDeblockがシードラウンドで約1,680万米ドルの資金調達を完了

    英国企業庁に今月提出された文書によると、RevolutとLedgerの元幹部らが設立した暗号通貨ウォレットであるDeblockは、追加のシード資金として1,330万ポンド(約1,680万ドル)を調達した。別の10月の提出書類では、ヘッドライン、ホクストン、20VC、チャルフェンがラウンドの主要投資家であることが示されている。 Siftedは、このスタートアップが昨年密かに1,200万ユーロを調達したと以前に報じた。 報道によると、Deblockは2022年8月、元Revolut暗号通貨ディレクターのジーン・マイヤー氏、決済ディレクターのアーロン・ベック氏、レジャー社の元エンジニアリングディレクターのマリオ・エギリウス氏によって共同設立された。

  • 4E: 仮想通貨コンセプト株は市場が開く前に急騰し、MicroStrategy は 10% 以上上昇した

    11月21日の報道によると、トランプ氏のチームはホワイトハウス内に仮想通貨政策を専門とする新たな役職の設置について議論しており、トランプ・メディア・グループが暗号通貨取引会社バックトの買収に向けて交渉しているという以前の報道と重ね合わせられている。トランプ政権下の仮想通貨業界の見通しはより楽観的になっています。仮想通貨コンセプト株は市場が開く前に急騰し、MicroStrategyは10%以上上昇した。本稿執筆時点でビットコインは97,530ドルで取引されており、待望の節目となる10万ドルに近づいている。ビットコインの上昇で多くの流動性が集まったが、イーサリアムとアルトコインは全般的に下落した。 米国の主要3株価指数先物は本記事執筆時点で総じて下落し、ダウ先物は0.15%下落、ナスダック100先物は0.40%下落、S&P500先物は0.29%下落した。 木曜日の香港株式市場は全般的に下落して終了し、ハンセン指数は0.53%安、国有企業指数は0.79%安、ハンセンテクノロジー指数は1.24%安となった。しかし、ビットコインが10万米ドルに近づき、新高値を更新し続ける中、仮想通貨コンセプト株は活発でトレンドに逆らっており、Linekong Interactiveは54%以上上昇、Boyaa Interactiveは17%近く上昇、OSL Groupは2ドル近く上昇した。 %。

  • バイナンスはSLERFUSDTとSCRTUSDTの無期限契約を開始します

    Binance は、2024 年 11 月 21 日 11:30 (UTC) に、最大 75 倍のレバレッジをサポートする SLERFUSDT および SCRTUSDT の無期限契約を開始します。

  • ブロックチェーン技術者が立場を利用して仮想通貨を入手し利益を得た、懲役3年半の実刑判決

    11月21日の労働者日報の報道によると、北京昌平区人民法院は最近、従業員がその地位を利用して仮想通貨を入手して利益を得たとして、コンピューター情報システムのデータを違法に入手した罪に当たる訴訟を言い渡した。 Zhang 氏はインターネット企業のブロックチェーン エンジニアであり、プロジェクト開発に参加しているときに、アカウントに大量のイーサリアムがあることを知り、それを入手するために会社のアカウントを攻撃することを計画しました。仕事を利用して、同僚に許可を超えたプログラムコードと秘密鍵を求め、それを「技術交換グループ」で共有し、グループのメンバーを招待して会社のアカウントをクラックして攻撃し、106.15イーサリアムの入手に成功しました。 38,329.76元の不法利益を得た。 裁判所は、張氏が規制に違反し、会社のコンピューターシステム内のイーサリアム情報を違法に取得し、取引で利益を得たとして、コンピューター情報システムからデータを違法に取得した犯罪に当たると判示した。会社の経営には抜け穴があるが、これは張氏の犯罪の言い訳にはならない。結局、張さんには懲役3年6か月、罰金6万元が言い渡され、不法利得3万8329.76元が取り戻された。二審判決は控訴を棄却し、原判決を支持した。

  • MicroStrategy 米国株は市場開始前から急騰を続け、現在は 10% 上昇

    MicroStrategyの株価は米国株式市場が開く前から上昇を続け、現在は10%上昇している。 MicroStrategy の株価は、200,000 ビットコイン以上を保有しているため、最近急騰しており、ビットコインは今日 97,000 米ドルを超え、あと一歩で 100,000 米ドルに達しました。

  • Bithumb は ORB トランザクションのサポートを停止します

    11月21日の公式ニュースによると、Bithumbはデジタル資産交換協定(DAXA)の決定に従い、Orbcity(ORB)トークンの取引サポートを終了すると発表した。具体的なタイムスケジュールは、取引(売買)は2024年12月19日15時(韓国時間)に終了し、出金サポートは2025年1月17日15時(韓国時間)に終了する。 DAXAは、プロジェクト当事者が取引リスクについて十分な説明資料を提供していなかったとして、プロジェクト当事者の情報開示、事業の重要性、持続可能性を総合的に評価した結果、継続的な取引支援の基準を満たしていないと考えたとしている。 Bithumbは、引き出し期限前に資産移管を完了するようユーザーに注意を喚起し、期限後はメインネット、ハードフォーク、エアドロップ、トークンスワップなどの技術サポートがサポートされなくなる可能性があることを強調している。

  • Huobi HTX「Golden Dog Plan」第一段階戦闘レポート:投資調査が先導、ACTSOLが120倍の上昇をリード、高品質資産が最初の立ち上げで強さを示す

    最近、世界の暗号化市場、特にミームトラックが好調に推移しています。 Huobi HTX投資調査チームは、ユーザーにとっての可能性と価値の両方を備えた高品質の新しいコインを選択するために懸命に努力を続けており、複数の100倍の「ゴールデンドッグ」を獲得しています。 Huobi HTX は先月の新しい資産のパフォーマンスを評価し、「ゴールデン ドッグ プラン」の最初の戦闘レポートを発表しました。7 つの主要な初期開始通貨が予想外の成長を遂げ、ユーザーに大きな資産効果をもたらしました。

  • ビットコイン価格が70万元を超え、過去最高値を更新し続ける

    市場状況によると、ビットコインの価格は1コイン当たり70万元を超え、過去最高値を更新し続けており、現在は24時間で5.8%上昇し、1コイン当たり70万6,841元となっている。相場は大きく変動しますので、リスクをコントロールしてください。

  • BTCが97,000ドルを突破

    市場状況によると、BTCは97,000米ドルを超え、現在は24時間で5.28%上昇し、97,011米ドルで取引されています。市場は大きく変動しますので、リスクを管理してください。

  • BTCが94,000ドルを突破

    市場によると、BTCは94,000米ドルを超え、現在は24時間で1.44%上昇し、94,008.25米ドルで取引されています。市場は大きく変動しているため、リスクを管理してください。