Cointime

Download App
iOS & Android

DeepSeek、AIデータアクセスを最適化する高速並列ファイルシステム3FSをオープンソース化してリリース

DeepSeekの発表によると、オープンソースウィークの5日目に、同社のFire-Flyerファイルシステム(3FS)が正式にオープンソース化された。高性能並列ファイルシステムである3FSは、最新のSSDとRDMAネットワークを最大限に活用して高速データアクセスを実現し、AIモデルのトレーニングと推論の効率を向上させることができる。 3FS の主要パフォーマンス指標: 180 ノード クラスターで合計 6.6 TiB/秒の読み取りスループット、25 ノードの GraySort ベンチマークで 3.66 TiB/分のスループット、単一ノードの KVCache クエリのピーク スループットは 40+ GiB/秒を超えます。 3FS は分離されたアーキテクチャを採用し、データの前処理、データセットの読み込み、チェックポイントの保存/回復、埋め込みベクトル検索および推論 KVCache クエリをサポートし、強力な一貫性セマンティクスを備えています。 DeepSeek は同時に、3FS データ管理機能をさらに最適化するための Smallpond データ処理フレームワークもリリースしました。

コメント

全てのコメント

Recommended for you