홈 › 서비스 › AI Governance & Safety

AI 거버넌스 및 안전: 솔루션 17개 비교

셀프 호스팅하거나 Mac에서 실행하거나 연결할 수 있는 AI 거버넌스 및 안전 도구는 무엇입니까? FrontierStack 카탈로그에는 AI 거버넌스 및 안전 선택지가 17개 있습니다: Arize Phoenix, Credo AI, Fiddler AI, garak, Guardrails AI, Helicone 등. 15개는 FrontierStack이 Mac이나 서버에 설치하거나 이미 운영 중인 서비스에 연결하고, 해당되는 경우 상태, 포트, 인증서를 확인합니다. 2개는 호스팅 서비스로, API 토큰으로 연결해 모니터링합니다.

서비스 설명은 앱 카탈로그를 따라 영어로 표시합니다.
이름유형FrontierStack이 하는 일
Arize Phoenix셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Credo AI호스팅 서비스API 토큰으로 연결하고 연결 가능 여부와 상태를 알림
Fiddler AI호스팅 서비스API 토큰으로 연결하고 연결 가능 여부와 상태를 알림
garak셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Guardrails AI셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Helicone셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Holistic AI셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Lakera Guard셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Langfuse셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
LangSmith셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
NeMo Guardrails셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
OpenLLMetry셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Promptfoo셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Protect AI셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
Ragas셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
TruLens셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인
WhyLabs셀프 호스팅 또는 연결설치 또는 연결 후 해당되는 경우 상태, 포트, 인증서 확인

Arize Phoenix

Open-source LLM tracing & evaluation (self-hosted)

Phoenix (Arize) is an open-source LLM observability and evaluation tool — OpenTelemetry-based tracing of LLM/agent/RAG apps, plus built-in evaluators and datasets, in a local web UI. pip install arize-phoenix, then phoenix serve (UI on :6006), and instrument with OpenInference. The OSS companion to Arize's cloud AI-observability platform.

Arize Phoenix을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Credo AI

AI governance, risk & compliance platform (cloud)

Credo AI is an AI governance platform — register AI use cases, assess them against policies and regulations (EU AI Act, NIST AI RMF, ISO 42001), manage risk and generate evidence/reports, with technical assessments via the open-source credoai-lens. Cloud SaaS with an API. Store credentials in Keychain. Governs the AI program, not just a single model.

Credo AI은(는) 호스팅 서비스이므로 FrontierStack이 설치하지 않습니다. API 토큰을 연결하면 직접 호스팅하는 서비스와 함께 연결 가능 여부와 공개 상태를 확인하며, 응답이 멈추면 FrontierStack이 알려 줍니다. 자격 증명은 키체인에 보관됩니다.

Fiddler AI

AI observability & model monitoring with explainability (cloud)

Fiddler AI is an enterprise AI Observability platform — monitor ML and LLM applications for performance, drift, data integrity and safety, with explainability, LLM metrics and alerting. Cloud (or VPC) with a Python client and REST API. Store credentials in Keychain. Pairs governance with day-2 monitoring.

Fiddler AI은(는) 호스팅 서비스이므로 FrontierStack이 설치하지 않습니다. API 토큰을 연결하면 직접 호스팅하는 서비스와 함께 연결 가능 여부와 공개 상태를 확인하며, 응답이 멈추면 FrontierStack이 알려 줍니다. 자격 증명은 키체인에 보관됩니다.

garak

LLM vulnerability scanner / red-teaming (self-hosted CLI)

garak (NVIDIA) is an open-source LLM vulnerability scanner — probes a model for jailbreaks, prompt injection, toxicity, data leakage, hallucination and more across many providers, and reports what fails. pip install garak, then garak --model_type openai --model_name gpt-4. The nmap of LLM security testing.

garak을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Guardrails AI

Input/output validation guardrails for LLMs (Python)

Guardrails AI is an open-source framework that validates and corrects LLM inputs/outputs — composable validators from the Guardrails Hub (PII, toxicity, topic restriction, structured-output/JSON schema, hallucination checks) with reask/repair. pip install guardrails-ai, configure a guard, and wrap your LLM calls; can also run as a server. Enforce safety and structure in production.

Guardrails AI을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Helicone

LLM observability & gateway — logs, costs, caching (self-hosted / cloud)

Helicone is an open-source LLM observability platform and gateway — proxy your LLM calls (or use async logging) to get request logs, cost/latency analytics, caching, rate-limiting and prompt experiments across providers. Self-host with Docker or use Helicone Cloud; integrates by changing the base URL or via SDKs. Store the API key in Keychain.

Helicone을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Holistic AI

AI governance, risk & audit platform (cloud + OSS)

Holistic AI is an AI governance and risk-management platform — inventory AI systems, assess bias/robustness/privacy/explainability, track regulatory compliance (EU AI Act, NYC LL144) and run audits, with an open-source library for technical risk metrics. Cloud SaaS with an API. Store credentials in Keychain.

Holistic AI을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Lakera Guard

Real-time GenAI security — prompt-injection firewall (cloud / self-host)

Lakera Guard is an AI security layer that screens LLM traffic in real time — prompt-injection/jailbreak detection, PII and data-leakage filtering, content moderation and unsafe-output blocking — via a low-latency API (cloud or self-managed). Integrate with a few lines and store the API key in Keychain. Defends agents and chatbots against adversarial input.

Lakera Guard을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Langfuse

Open-source LLM observability & tracing (self-hosted / cloud)

Langfuse is open-source LLM engineering observability — traces, prompt management, evals, datasets and cost/latency analytics for your AI apps and agents. Self-host with Docker Compose (web UI on :3000) or use Langfuse Cloud; SDKs (Python/JS) and an OpenAI drop-in send traces, and it integrates with LiteLLM, LangChain and others. Pairs with the Model Costs pane.

Langfuse을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

LangSmith

LangChain's tracing, evals and agent deployment platform (cloud / self-hosted)

LangSmith is LangChain's platform for tracing, debugging, evaluating and deploying LLM apps and agents — built for LangChain and LangGraph but usable from any framework through its SDKs and OpenTelemetry. FrontierStack reads your tracing projects with the same API key the LangSmith Deployment pane uses (one key, both places): each project's runs, error rate, latency and cost over the last 24 hours, and raises an alert when a project's error rate passes your threshold. Works with the US (api.smith.langchain.com) and EU (eu.api.smith.langchain.com) clouds and self-hosted LangSmith.

LangSmith을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

NeMo Guardrails

Programmable guardrails for LLM conversations (NVIDIA, Python)

NeMo Guardrails (NVIDIA) is an open-source toolkit for adding programmable rails to LLM apps — topical, safety, jailbreak and fact-checking rails defined in Colang, plus dialogue control. pip install nemoguardrails, define rails configs, and wrap your model; can run as a server. Keeps conversational agents on-policy.

NeMo Guardrails을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

OpenLLMetry

OpenTelemetry instrumentation for LLM apps (SDK)

OpenLLMetry (Traceloop) is a set of OpenTelemetry-based SDK extensions that add tracing/metrics to LLM and vector-DB calls, so your AI app's spans flow to any OTel backend (Traceloop, Langfuse, Datadog, Grafana, …). pip install traceloop-sdk (or the JS SDK) and initialize; standards-based, vendor-neutral instrumentation. Pairs with Phoenix/Langfuse as the backend.

OpenLLMetry을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Promptfoo

Prompt/RAG testing, evals & LLM red-teaming (self-hosted CLI)

Promptfoo is an open-source CLI for testing and evaluating LLM apps — declarative test cases and assertions, side-by-side model comparison, and a security red-teaming suite (jailbreaks, prompt injection, PII leakage) that maps to OWASP LLM Top 10. brew install promptfoo, then promptfoo eval / promptfoo redteam. Runs in CI and locally with a web viewer.

Promptfoo을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Protect AI

AI/ML security — model scanning & ML supply chain (cloud + OSS)

Protect AI (now part of Palo Alto) secures the ML/AI lifecycle — model scanning (the OSS modelscan for unsafe serialized models), LLM guardrails (LLM Guard), ML-bill-of-materials and a platform (Guardian/Recon) for AI red-teaming and threat detection. Use the open-source scanners locally and the platform/API for org-wide coverage; keep credentials in Keychain.

Protect AI을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

Ragas

Evaluation framework for RAG pipelines (Python)

Ragas is an open-source evaluation framework for Retrieval-Augmented Generation — reference-free metrics (faithfulness, answer/context relevancy, context recall) plus test-set generation to measure and regression-test RAG quality. pip install ragas; integrates with LangChain/LlamaIndex and observability tools. Run it in CI to keep RAG honest.

Ragas을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

TruLens

Evaluation & tracking for LLM apps — feedback functions (Python)

TruLens (Snowflake) is an open-source library for evaluating and tracking LLM apps and agents — instrument your app and score it with feedback functions (groundedness, relevance, the RAG triad, harmfulness), then compare versions in a local dashboard. pip install trulens, then launch the dashboard. Systematic eval to reduce hallucination and improve quality.

TruLens을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

WhyLabs

AI observability & data/LLM monitoring (cloud + whylogs)

WhyLabs is an AI observability platform — monitor data quality, drift and model/LLM health with privacy-preserving statistical profiles, plus LangKit metrics for LLMs (sentiment, toxicity, prompt-injection signals). Profile locally with the open-source whylogs and ship to the WhyLabs platform for dashboards and alerts. Store the API key in Keychain.

WhyLabs을(를) 설치하거나 연결한 뒤 FrontierStack에서 상태, 포트, 인증서를 확인하십시오. 해당되는 경우 같은 화면에서 방화벽 점검, 백업으로 이동할 수 있습니다.

모든 서비스 장르 →

Mac에서 모두 운영하십시오.

FrontierStack은 이 Mac과 연결된 서버에서 서비스를 설치, 모니터링, 보호하며 — 암호와 키는 어떤 AI에게도 보이지 않게 지킵니다.

FrontierStack 다운로드

Apple 공증 완료 · 안전 & 보안 · macOS 13 Ventura 이상