Усі теги
Тег каталогу

#evaluation-framework

Усі репозиторії публічного реєстру з цим тегом — із тем GitHub або ключових слів, які публікують їхні реєстри пакетів. Здоров'я вимірюється за тією ж версіонованою методологією, що й решта реєстру.

8 записів
З тегом «evaluation-framework»Упорядковано за індексом здоров'я
npm
97Винятковийіндекс здоров'я
promptfoo/promptfoo
Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.
TypeScript★ 25.2K↓ 2.6M/міс16 вер. 2026 р.
MIT16 вер. 2026 р. · метрики 2.10.0
PyPI
94Винятковийіндекс здоров'я
EleutherAI/lm-evaluation-harness
A framework for few-shot evaluation of language models.
Python★ 13.8K↓ 1.8M/міс27 серп. 2026 р.
MIT27 серп. 2026 р. · метрики 2.10.0
PyPI · npm
94Винятковийіндекс здоров'я
confident-ai/deepeval
The LLM Evaluation Framework
Python · TypeScript★ 18.3K↓ 6.3M/міс16 вер. 2026 р.
Apache-2.016 вер. 2026 р. · метрики 2.10.0
PyPI · npm
92Відміннийіндекс здоров'я
UiPath/coder_eval
Playwright for coding agents. Test that your skills, MCP servers, and CLIs actually work when an agent uses them — sandboxed YAML suites, A/B experiments, CI gates.
Python · TypeScript★ 152↓ 7 982/міс19 жовт. 2026 р.
Apache-2.019 жовт. 2026 р. · метрики 2.10.0
PyPI
91Відміннийіндекс здоров'я
Kiln-AI/Kiln
Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, synthetic data generation, dataset management, MCP, and more.
Python · Svelte · TypeScript★ 5 075↓ 1 637/міс19 вер. 2026 р.
Власна ліцензія19 вер. 2026 р. · метрики 2.10.0
RubyGems
69Добрийіндекс здоров'я
homemade-software-inc/completion-kit
Your prompts need tests too. Run prompts against real datasets, score outputs with LLM judges, version everything, and compare runs to see what got better.
Ruby · HTML★ 310 вер. 2026 р.
Власна ліцензія10 вер. 2026 р. · метрики 2.10.0
Go
42Слабкийіндекс здоров'я
CircleCI-Research/evalbench
Evaluate LLMs side-by-side. Benchmark AI models and coding agents across providers like OpenAI, Google, Anthropic, DeepSeek, and more. Supports custom tasks, structured JSON responses, tool use, and LLM-as-judge validation. Originally created by Petr Malik as MindTrial.
HTML★ 013 вер. 2026 р.
MPL-2.013 вер. 2026 р. · метрики 2.10.0
npm
31У зоні ризикуіндекс здоров'я
empirical-run/empirical
Test and evaluate LLMs and model configurations, across all the scenarios that matter for your application
TypeScript★ 166↓ 287/міс8 вер. 2026 р.
MIT8 вер. 2026 р. · метрики 2.10.0