AI が GPU 不足を引き起こす: ブロックチェーンは機械学習のボトルネックをどのように軽減できるでしょうか?

ブロックチェーンは、モデルへの分散アクセスを許可し、暗号化インセンティブを備えた安価なモデルの市場を作成することで、より低い計算コストの GPU にアクセスするための橋渡しをします。

原題: 「AI の台頭と GPU 不足: ブロックチェーンが機械学習のボトルネックを軽減する方法」

トミー・イーストマン脚本の作品

編集者: Frank、Foresight News

人工知能が発展し、GPU の需要が高まるにつれて、機械学習業界は GPU のコストとアクセシビリティの問題に直面しています。ブロックチェーンテクノロジーがどのように解決策を提供できるかを見てみましょう。

GPU業界

過去 1 年間で、AI ベースのアプリケーションと統合が大幅に成長しました。 OpenAI の ChatGPT は史上最も急成長しているアプリケーションとなり、発売からわずか 2 か月で月間アクティブユーザー数が 1 億人に達しました。比較すると、同じマイルストーンに到達するまでに、TikTokは9か月、Instagramは18か月かかりました。

人工知能の需要は、グラフィックスプロセッシングユニット (GPU) の価値と可用性に大きな影響を与えています。 GPU は、並列計算を実行し、多くのデータを同時に処理するために最適化された処理ユニットであり、機械学習、ビデオ編集、ゲームアプリケーションに役立ちます。人工知能回路における GPU の多目的使用により、GPU に対する市場の需要が増加しています。

GPU は少数の企業によって開発および販売されており、これは製造サプライチェーンの遅れから明らかです。彼らは2017年の強気相場以来ブロックチェーン業界と密接に関係しており、2018年にはイーサリアムのプルーフオブワークマイナーが利用可能なほぼすべてのGPUを購入しました。イーサリアムブロックチェーンはプルーフオブステークに移行しましたが、人工知能の爆発的な普及に伴い、ブロックチェーンテクノロジーは依然として GPU へのアクセス、トレーニングコスト、分散推論などの一般的な問題に対する有用なソリューションを提供しています。

機械学習のプロセスとボトルネック

機械学習は大規模かつ急速に成長している業界です。モデルのトレーニングは通常、いくつかのステップに分割されており、各ステップには特定のボトルネックがあります。

1. 基本的なモデルのトレーニング

基本モデルのトレーニングには、大規模なデータセット (Wikipedia など) を取得し、一般的なインテリジェンスモデルとして使用するか、最終的には微調整される初期基本モデルをトレーニングすることが含まれます。このモデルは、学習したパターンと関係を使用してシーケンス内の次の項目を予測します。

たとえば、画像生成モデルは、画像パターンと対応するテキストを関連付けるようにトレーニングされているため、テキスト入力が与えられると、これらの学習されたパターンに基づいて画像が生成されます。同様に、テキストの場合、モデルは前の単語とコンテキストに基づいてテキスト文字列内の次の単語を予測します。

基本モデルのトレーニングは、人件費、インフラストラクチャ、時間、労力の点で高価であり、現在のサプライチェーンでは、たとえ潤沢な資金を持っている企業であっても、最先端の NVIDIA GPU を入手することが困難です。

たとえば、OpenAI の GPT-3 の反復トレーニングは数か月続き、エネルギーコストだけで数百万ドルを消費しました。したがって、ベースモデルのトレーニングは依然として法外に高価な取り組みであり、アクセスできるのは少数の民間企業だけです。

2.微調整

特に、基本モデルのトレーニングよりもリソースの消費が少なく、微調整により特定のタスク (新しい方言を学習するための言語モデルなど) に合わせてモデルが最適化されます。特定のタスクにおける基本モデルのパフォーマンスは、微調整によって大幅に向上できます。

GPU の不足はこれら 3 つの領域に影響しますが、微調整への影響はほとんどありません。ただし、微調整は完全にオープンソースの基本モデルに依存しています。民間企業がモデルのオープンソース化をやめる決断をした場合、コミュニティモデルは驚くべき速度で最先端（SOTA）モデルに後れを取ることになる。

3. 推論

モデルへのアクセスは、このステップの最終ステップ (ユーザープロンプトの安定した拡散に基づいて生成された画像である ChatGPT からの質問に対する回答の受信など) を表し、モデルのクエリに GPU リソースが必要です。推論は、コンピューティング要件、特に GPU 支出の観点から急速に拡大しています。

推論には、エンドユーザーと開発者の両方がモデルをアプリケーションに組み込むことが含まれます。これは、モデルの経済的実行可能性を確保する方法です。この概念は、人工知能システムを社会に統合するために不可欠であり、その重要性は、ChatGPT などのツールを積極的に使用するエンドユーザーの急速な普及率に反映されています。

GPU の不足により、推論コストが急速に上昇します。推論のベースライン要件はベースモデルのトレーニングよりも低いですが、企業が展開するアプリケーションの規模は、モデルのクエリに驚異的な GPU 負荷を必要とします。 GPU モデルの多様性が (微調整と新しい基本モデルの開発を通じて) 増加するにつれて、アプリケーションの多様性も増加し、推論による GPU の需要が劇的に増加します。

ブロックチェーンは機械学習のボトルネックに対する解決策を提供します

過去には、GPU はイーサリアムやその他の PoW トークンのマイニングに使用されてきました。現在、ブロックチェーンは、特に機械学習において、アクセスを提供し、GPU スペースのボトルネック間の調整を強化するユニークな機会とみなされています。

暗号通貨インセンティブ

大規模な GPU の導入には多額の先行投資が必要となるため、大企業を除くすべての企業がこの分野での進歩を妨げてきました。ブロックチェーンのインセンティブは、GPU 所有者が予備のコンピューティングから利益を得る可能性を生み出し、ユーザーにとってより安価でアクセスしやすい市場を生み出します。

分散アクセス

誰でも計算、ホスティングモデル、クエリモデルを提供/使用できます。これは、ベータ版である必要があることや、従来のスペースでアクセスが制限されている必要があることとは大きく異なります。

ブロックチェーンが機械学習空間に提供できる重要な機能は、分散アクセスです。機械学習には従来、大規模なデータセンターが必要でした。これは、FMT が非クラスター化 GPU で大規模に実現されていないためであり、分散プロトコルがこの問題を解決しようとしており、成功すれば FMT への水門が開かれることになります。

市場調整

ブロックチェーンマーケットプレイスは GPU の購入を調整するのに役立ち、GPU を所有する個人や企業は、GPU を遊ばせておくのではなくレンタルしたい人を見つけることができます。また、GPU がアイドル状態の間に収益を生み出すことで、GPU の購入にかかる初期費用を相殺して、より多くの収益を得ることができます。エンティティは GPU ホスティングに参加します。

責任ある AI に対する Foundry の取り組み

ブロックチェーン機械学習の分野は、メインネット上に少数のプロジェクトしか存在しない初期の業界です。 Foundry は現在、Bittensor AI プロジェクトと分散型 AI を進歩させる有意義な方法である Akash をサポートしています。

ビテンソール

Bittensor は、モデルへの簡単なアクセスを可能にし、暗号化インセンティブを通じて安価なモデルマーケットプレイスを作成する分散型のパーミッションレスコンピューティングネットワークです。そこでは誰でもモデルをホストでき、ユーザープロンプトは特定のモダリティでランク付けされ、最高のモデルと一致します。

Bittensor は、ブロックチェーンを活用して大規模な計算推論ネットワークを構築し、暗号通貨分野で最大の人工知能プロジェクトの 1 つに成長しました。最近では、画像生成や予測市場などを含むさまざまなモードを奨励するサブネットをリリースしました。

Foundry はネットワーク上で検証とマイニングを実行し、Proof-of-Authority ノードを実行してコンセンサスを確保します。

アカシュ

Akash は、大規模な GPU へのアクセスを容易にし、より多くの基本モデルをトレーニングし、GPU のコストを削減する汎用コンピューティングマーケットプレイスです。

Akash は最近、参入に対する経済的障壁の軽減、GPU コンピューティングコストの削減、アクセシビリティの向上と同様の目標を掲げて GPU マーケットプレイスを立ち上げました。また、Akash では基盤となるモデルトレーニングプログラムが成長しています。 Foundry はネットワークに GPU コンピューティングを提供し、チームと協力して機能を開発しています。

次は何ですか？

機械学習が企業に統合され続けるにつれて、GPU の需要は急増し続け、機械学習分野でサプライチェーンの問題が継続的に発生します。ブロックチェーンテクノロジーは、モデルへの分散アクセスを可能にし、暗号化インセンティブを備えた安価なモデル市場を創出することで支援しています。、計算コストの低い GPU にアクセスするためのブリッジを提供します。