Alle Tags
Katalog-Tag

#evaluation-framework

Alle Repositories im öffentlichen Register, die dieses Tag tragen — aus ihren GitHub-Topics oder den von ihren Paket-Registries veröffentlichten Schlagwörtern. Die Gesundheit wird nach derselben versionierten Methodik gemessen wie im übrigen Register.

7 Einträge
Getaggt als „evaluation-framework“Geordnet nach Gesundheitsindex
npm
96AußergewöhnlichGesundheitsindex
promptfoo/promptfoo
Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.
TypeScript★ 23.9K↓ 2.1M/Monat5. Aug. 2026
MIT5. Aug. 2026 · Metriken 2.10.0
PyPI
94AußergewöhnlichGesundheitsindex
EleutherAI/lm-evaluation-harness
A framework for few-shot evaluation of language models.
Python★ 13.8K↓ 1.8M/Monat27. Aug. 2026
MIT27. Aug. 2026 · Metriken 2.10.0
PyPI · npm
94AußergewöhnlichGesundheitsindex
confident-ai/deepeval
The LLM Evaluation Framework
Python · TypeScript★ 17.4K↓ 6.3M/Monat5. Aug. 2026
Apache-2.05. Aug. 2026 · Metriken 2.10.0
PyPI · npm
89ExzellentGesundheitsindex
UiPath/coder_eval
Test that your Claude Code skills, MCP servers, and CLIs actually work when an agent uses them — sandboxed YAML suites, activation checks, A/B experiments, CI gates.
Python · TypeScript★ 116↓ 13.9K/Monat19. Aug. 2026
Apache-2.019. Aug. 2026 · Metriken 2.10.0
RubyGems
67GutGesundheitsindex
homemade-software-inc/completion-kit
Your prompts need tests too. Run prompts against real datasets, score outputs with LLM judges, version everything, and compare runs to see what got better.
Ruby · HTML★ 117. Juli 2026
Eigene Lizenz17. Juli 2026 · Metriken 2.10.0
npm
50MittelGesundheitsindex
empirical-run/empirical
Test and evaluate LLMs and model configurations, across all the scenarios that matter for your application
TypeScript★ 16715. Juli 2026
MIT15. Juli 2026 · Metriken 2.10.0
Go
41SchwachGesundheitsindex
CircleCI-Research/evalbench
Evaluate LLMs side-by-side. Benchmark AI models and coding agents across providers like OpenAI, Google, Anthropic, DeepSeek, and more. Supports custom tasks, structured JSON responses, tool use, and LLM-as-judge validation. Originally created by Petr Malik as MindTrial.
HTML★ 025. Juli 2026
MPL-2.025. Juli 2026 · Metriken 2.10.0