ホームサービス › Distributed Llama

Distributed Llama を Mac で

Tensor-parallel Llama across cheap nodes (root + workers) · AI Clusters

Distributed Llama splits Llama-family models across multiple low-cost devices over the network (tensor parallelism) to speed up inference and pool RAM — one root node coordinates several workers. Build from the repo (make dllama), start workers with dllama worker --port 9998, then run the root with --workers . Works on CPUs/Raspberry-Pi clusters and Macs; pairs well with a small fleet of identical nodes.

Distributed Llama を FrontierStack で使う

FrontierStack は Distributed Llama を AI Clusters カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールとマルウェア監査で保護し、バックアップできます。

すべてをひとつの Mac アプリで。

FrontierStack は、ローカルでもフリート全体でも、スタック全体のインストール・監視・保護をひとつのネイティブ macOS アプリで行います。

FrontierStack をダウンロード

関連 AI Clusters