evaluation-framework — 开源软件健康

npm

96卓越健康指数

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.

TypeScript★ 23.9K↓ 2.1M/月2026年8月5日

MIT2026年8月5日 · 指标 2.10.0

PyPI

94卓越健康指数

EleutherAI/lm-evaluation-harness

A framework for few-shot evaluation of language models.

Python★ 13.8K↓ 1.8M/月2026年8月27日

MIT2026年8月27日 · 指标 2.10.0

PyPI · npm

94卓越健康指数

confident-ai/deepeval

The LLM Evaluation Framework

Python · TypeScript★ 17.4K↓ 6.3M/月2026年8月5日

Apache-2.02026年8月5日 · 指标 2.10.0

PyPI · npm

89优秀健康指数

UiPath/coder_eval

Test that your Claude Code skills, MCP servers, and CLIs actually work when an agent uses them — sandboxed YAML suites, activation checks, A/B experiments, CI gates.

Python · TypeScript★ 116↓ 13.9K/月2026年8月19日

Apache-2.02026年8月19日 · 指标 2.10.0

RubyGems

67良好健康指数

homemade-software-inc/completion-kit

Your prompts need tests too. Run prompts against real datasets, score outputs with LLM judges, version everything, and compare runs to see what got better.

Ruby · HTML★ 12026年7月17日

自定义许可证2026年7月17日 · 指标 2.10.0

npm

50中等健康指数

empirical-run/empirical

Test and evaluate LLMs and model configurations, across all the scenarios that matter for your application

TypeScript★ 1672026年7月15日

MIT2026年7月15日 · 指标 2.10.0

41薄弱健康指数

CircleCI-Research/evalbench

Evaluate LLMs side-by-side. Benchmark AI models and coding agents across providers like OpenAI, Google, Anthropic, DeepSeek, and more. Supports custom tasks, structured JSON responses, tool use, and LLM-as-judge validation. Originally created by Petr Malik as MindTrial.

HTML★ 02026年7月25日

MPL-2.02026年7月25日 · 指标 2.10.0

#evaluation-framework