Voxel51 3.0: ロボットAIのデータ基盤

Voxel51は、データプラットフォームの非常に重要なアップデートであるVoxel51 3.0をリリースしました。Voxel51 3.0は、検索、キュレーション、アノテーション、評価を1つのシステムに統合したエンドツーエンドのマルチモーダルデータプラットフォームです。これは、ロボット、車両、工場からのセンサーデータでモデルをトレーニングするチームを対象としています。このリリースでは、Voxel51 Agent、データ来歴レイヤー、無料のセルフサービスアクセスが追加されています。TL;DR Scale: Voxel51 Agentには、45以上のMCPツール、80以上のオペレーター、18のオープンソーススキルが搭載されています。動作環境: app.voxel51.comでホストされているウェブアプリ、またはクラウド、ハイブリッド、オンプレミス、エアギャップ設定でのセルフホスト。ローカルGPU要件は開示されていません。パフォーマンス: 製品ベンチマークは公開されていません。Voxel51は代わりに自社の調査データを引用しています。良い点: 無料ティアにはVoxel51 Agent、月間30,000回のinference requests、30時間のcompute hoursが含まれます。悪い点: 無料ティアは、それぞれ10,000サンプルまでのデータセット3つと20GBのストレージに制限されています。Voxel51 3.0の新機能は何ですか？Voxel51 3.0は、3つの主要な追加機能により、視覚データに限定されていたプラットフォームの範囲を拡大しています。Time-series multimodal support: チームは複数のセンサーデータストリームを1つのタイムラインで表示できます。Segment-level embeddingsは、長い記録の中から特定の瞬間を見つけ出します。Unified annotation: ラベル付けは2D、3D、ビデオ、マルチモーダルデータをカバーします。これには、自動QA、annotator metrics、human-in-the-loopレビューが含まれます。Agentic Labeling: Vision-language modelsは、自然言語の指示と例からラベルを生成します。サポートされるモダリティには、MCAP、images、video、3D point clouds、meshes、DICOM、NIfTI、geospatial data、audioが含まれます。Voxel51 Searchはどのように機能しますか？Voxel51 Searchは、永続的なハイブリッドインデックスです。データセットをインデックス化し、embeddingsを自動的に計算するため、初日から検索が機能します。Semantic retrievalは、共有ラベルがなくても、視覚的または意味的に類似した瞬間を見つけ出します。Lexical and structured queriesは、正確な用語、タイムスタンプ、センサーフィールド、メタデータを処理します。Embeddingsと構造化フィールドはネイティブ形式で保持され、検索時に結合されます。Vector retrievalはLanceDB上で動作します。