AI Governance & Safety:17 件のソリューションを比較
AI Governance & Safety のツールで、セルフホストや Mac での実行、連携ができるものは? FrontierStack のカタログには AI Governance & Safety の選択肢が 17 件あります:Arize Phoenix, Credo AI, Fiddler AI, garak, Guardrails AI, Helicone ほか。15 件は、FrontierStack が Mac やサーバにインストールするか、すでに運用中の環境に接続し、該当する場合は状態・ポート・証明書を確認します。2 件はホスト型サービスで、API トークンで連携して監視します。
| 名前 | 種類 | FrontierStack でできること |
|---|---|---|
| Arize Phoenix | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Credo AI | ホスト型サービス | API トークンで連携し、到達性とステータスを監視・通知 |
| Fiddler AI | ホスト型サービス | API トークンで連携し、到達性とステータスを監視・通知 |
| garak | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Guardrails AI | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Helicone | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Holistic AI | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Lakera Guard | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Langfuse | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| LangSmith | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| NeMo Guardrails | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| OpenLLMetry | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Promptfoo | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Protect AI | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| Ragas | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| TruLens | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
| WhyLabs | セルフホストまたは連携 | インストールまたは接続し、該当する場合は状態・ポート・証明書を確認 |
Arize Phoenix
Open-source LLM tracing & evaluation (self-hosted)
Phoenix (Arize) is an open-source LLM observability and evaluation tool — OpenTelemetry-based tracing of LLM/agent/RAG apps, plus built-in evaluators and datasets, in a local web UI. pip install arize-phoenix, then phoenix serve (UI on :6006), and instrument with OpenInference. The OSS companion to Arize's cloud AI-observability platform.
FrontierStack は Arize Phoenix を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Credo AI
AI governance, risk & compliance platform (cloud)
Credo AI is an AI governance platform — register AI use cases, assess them against policies and regulations (EU AI Act, NIST AI RMF, ISO 42001), manage risk and generate evidence/reports, with technical assessments via the open-source credoai-lens. Cloud SaaS with an API. Store credentials in Keychain. Governs the AI program, not just a single model.
FrontierStack は Credo AI を AI Governance & Safety カタログに収録しています。Credo AI はホスト型サービスのため、インストールは不要です。API トークンでアカウントを連携すると、セルフホストのサービスと並べて、到達性・公開ステータスを監視し、応答しなくなればアラートを通知します。認証情報は Mac のキーチェーンに保管されます。
Fiddler AI
AI observability & model monitoring with explainability (cloud)
Fiddler AI is an enterprise AI Observability platform — monitor ML and LLM applications for performance, drift, data integrity and safety, with explainability, LLM metrics and alerting. Cloud (or VPC) with a Python client and REST API. Store credentials in Keychain. Pairs governance with day-2 monitoring.
FrontierStack は Fiddler AI を AI Governance & Safety カタログに収録しています。Fiddler AI はホスト型サービスのため、インストールは不要です。API トークンでアカウントを連携すると、セルフホストのサービスと並べて、到達性・公開ステータスを監視し、応答しなくなればアラートを通知します。認証情報は Mac のキーチェーンに保管されます。
garak
LLM vulnerability scanner / red-teaming (self-hosted CLI)
garak (NVIDIA) is an open-source LLM vulnerability scanner — probes a model for jailbreaks, prompt injection, toxicity, data leakage, hallucination and more across many providers, and reports what fails. pip install garak, then garak --model_type openai --model_name gpt-4. The nmap of LLM security testing.
FrontierStack は garak を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Guardrails AI
Input/output validation guardrails for LLMs (Python)
Guardrails AI is an open-source framework that validates and corrects LLM inputs/outputs — composable validators from the Guardrails Hub (PII, toxicity, topic restriction, structured-output/JSON schema, hallucination checks) with reask/repair. pip install guardrails-ai, configure a guard, and wrap your LLM calls; can also run as a server. Enforce safety and structure in production.
FrontierStack は Guardrails AI を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Helicone
LLM observability & gateway — logs, costs, caching (self-hosted / cloud)
Helicone is an open-source LLM observability platform and gateway — proxy your LLM calls (or use async logging) to get request logs, cost/latency analytics, caching, rate-limiting and prompt experiments across providers. Self-host with Docker or use Helicone Cloud; integrates by changing the base URL or via SDKs. Store the API key in Keychain.
FrontierStack は Helicone を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Holistic AI
AI governance, risk & audit platform (cloud + OSS)
Holistic AI is an AI governance and risk-management platform — inventory AI systems, assess bias/robustness/privacy/explainability, track regulatory compliance (EU AI Act, NYC LL144) and run audits, with an open-source library for technical risk metrics. Cloud SaaS with an API. Store credentials in Keychain.
FrontierStack は Holistic AI を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Lakera Guard
Real-time GenAI security — prompt-injection firewall (cloud / self-host)
Lakera Guard is an AI security layer that screens LLM traffic in real time — prompt-injection/jailbreak detection, PII and data-leakage filtering, content moderation and unsafe-output blocking — via a low-latency API (cloud or self-managed). Integrate with a few lines and store the API key in Keychain. Defends agents and chatbots against adversarial input.
FrontierStack は Lakera Guard を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Langfuse
Open-source LLM observability & tracing (self-hosted / cloud)
Langfuse is open-source LLM engineering observability — traces, prompt management, evals, datasets and cost/latency analytics for your AI apps and agents. Self-host with Docker Compose (web UI on :3000) or use Langfuse Cloud; SDKs (Python/JS) and an OpenAI drop-in send traces, and it integrates with LiteLLM, LangChain and others. Pairs with the Model Costs pane.
FrontierStack は Langfuse を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
LangSmith
LangChain's tracing, evals and agent deployment platform (cloud / self-hosted)
LangSmith is LangChain's platform for tracing, debugging, evaluating and deploying LLM apps and agents — built for LangChain and LangGraph but usable from any framework through its SDKs and OpenTelemetry. FrontierStack reads your tracing projects with the same API key the LangSmith Deployment pane uses (one key, both places): each project's runs, error rate, latency and cost over the last 24 hours, and raises an alert when a project's error rate passes your threshold. Works with the US (api.smith.langchain.com) and EU (eu.api.smith.langchain.com) clouds and self-hosted LangSmith.
FrontierStack は LangSmith を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
NeMo Guardrails
Programmable guardrails for LLM conversations (NVIDIA, Python)
NeMo Guardrails (NVIDIA) is an open-source toolkit for adding programmable rails to LLM apps — topical, safety, jailbreak and fact-checking rails defined in Colang, plus dialogue control. pip install nemoguardrails, define rails configs, and wrap your model; can run as a server. Keeps conversational agents on-policy.
FrontierStack は NeMo Guardrails を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
OpenLLMetry
OpenTelemetry instrumentation for LLM apps (SDK)
OpenLLMetry (Traceloop) is a set of OpenTelemetry-based SDK extensions that add tracing/metrics to LLM and vector-DB calls, so your AI app's spans flow to any OTel backend (Traceloop, Langfuse, Datadog, Grafana, …). pip install traceloop-sdk (or the JS SDK) and initialize; standards-based, vendor-neutral instrumentation. Pairs with Phoenix/Langfuse as the backend.
FrontierStack は OpenLLMetry を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Promptfoo
Prompt/RAG testing, evals & LLM red-teaming (self-hosted CLI)
Promptfoo is an open-source CLI for testing and evaluating LLM apps — declarative test cases and assertions, side-by-side model comparison, and a security red-teaming suite (jailbreaks, prompt injection, PII leakage) that maps to OWASP LLM Top 10. brew install promptfoo, then promptfoo eval / promptfoo redteam. Runs in CI and locally with a web viewer.
FrontierStack は Promptfoo を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Protect AI
AI/ML security — model scanning & ML supply chain (cloud + OSS)
Protect AI (now part of Palo Alto) secures the ML/AI lifecycle — model scanning (the OSS modelscan for unsafe serialized models), LLM guardrails (LLM Guard), ML-bill-of-materials and a platform (Guardian/Recon) for AI red-teaming and threat detection. Use the open-source scanners locally and the platform/API for org-wide coverage; keep credentials in Keychain.
FrontierStack は Protect AI を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
Ragas
Evaluation framework for RAG pipelines (Python)
Ragas is an open-source evaluation framework for Retrieval-Augmented Generation — reference-free metrics (faithfulness, answer/context relevancy, context recall) plus test-set generation to measure and regression-test RAG quality. pip install ragas; integrates with LangChain/LlamaIndex and observability tools. Run it in CI to keep RAG honest.
FrontierStack は Ragas を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
TruLens
Evaluation & tracking for LLM apps — feedback functions (Python)
TruLens (Snowflake) is an open-source library for evaluating and tracking LLM apps and agents — instrument your app and score it with feedback functions (groundedness, relevance, the RAG triad, harmfulness), then compare versions in a local dashboard. pip install trulens, then launch the dashboard. Systematic eval to reduce hallucination and improve quality.
FrontierStack は TruLens を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
WhyLabs
AI observability & data/LLM monitoring (cloud + whylogs)
WhyLabs is an AI observability platform — monitor data quality, drift and model/LLM health with privacy-preserving statistical profiles, plus LangKit metrics for LLMs (sentiment, toxicity, prompt-injection signals). Profile locally with the open-source whylogs and ship to the WhyLabs platform for dashboards and alerts. Store the API key in Keychain.
FrontierStack は WhyLabs を AI Governance & Safety カタログに収録しています。ひとつの場所でインストール/接続し、状態・ポート・証明書を監視、ファイアウォールと保護機能の確認で保護し、バックアップできます。
すべてをひとつの Mac アプリで。
FrontierStack は、ローカルでもフリート全体でも、スタック全体のインストール・監視・保護をひとつのネイティブ macOS アプリで行います。パスワードも鍵も AI には見せないから、安全で安心です。
FrontierStack をダウンロードApple 公証済み · 安全・安心 · macOS 13 Ventura 以降
