evaluation-framework — 开源软件健康

npm

97卓越健康指数

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.

TypeScript★ 25.2K↓ 2.6M/月2026年9月16日

MIT2026年9月16日 · 指标 2.10.0

PyPI

94卓越健康指数

EleutherAI/lm-evaluation-harness

A framework for few-shot evaluation of language models.

Python★ 13.8K↓ 1.8M/月2026年8月27日

MIT2026年8月27日 · 指标 2.10.0

PyPI · npm

94卓越健康指数

confident-ai/deepeval

The LLM Evaluation Framework

Python · TypeScript★ 18.3K↓ 6.3M/月2026年9月16日

Apache-2.02026年9月16日 · 指标 2.10.0

PyPI · npm

92优秀健康指数

UiPath/coder_eval

Playwright for coding agents. Test that your skills, MCP servers, and CLIs actually work when an agent uses them — sandboxed YAML suites, A/B experiments, CI gates.

Python · TypeScript★ 152↓ 7,982/月2026年10月19日

Apache-2.02026年10月19日 · 指标 2.10.0

PyPI

91优秀健康指数

Kiln-AI/Kiln

Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, synthetic data generation, dataset management, MCP, and more.

Python · Svelte · TypeScript★ 5,075↓ 1,637/月2026年9月19日

自定义许可证2026年9月19日 · 指标 2.10.0

RubyGems

69良好健康指数

homemade-software-inc/completion-kit

Your prompts need tests too. Run prompts against real datasets, score outputs with LLM judges, version everything, and compare runs to see what got better.

Ruby · HTML★ 32026年9月10日

自定义许可证2026年9月10日 · 指标 2.10.0

42薄弱健康指数

CircleCI-Research/evalbench

Evaluate LLMs side-by-side. Benchmark AI models and coding agents across providers like OpenAI, Google, Anthropic, DeepSeek, and more. Supports custom tasks, structured JSON responses, tool use, and LLM-as-judge validation. Originally created by Petr Malik as MindTrial.

HTML★ 02026年9月13日

MPL-2.02026年9月13日 · 指标 2.10.0

npm

31存在风险健康指数

empirical-run/empirical

Test and evaluate LLMs and model configurations, across all the scenarios that matter for your application

TypeScript★ 166↓ 287/月2026年9月8日

MIT2026年9月8日 · 指标 2.10.0

#evaluation-framework