PyPI
BrainLesion/panoptica
panoptica -- instance-wise evaluation of 3D semantic and instance segmentation maps
Apache-2.02026年9月14日 · 指标 2.10.0
全部标签
目录标签
#evaluation
公开记录中带有此标签的全部仓库——标签来自其 GitHub 主题或软件包注册表发布的关键词。健康度量遵循与记录其余部分相同的版本化方法论。
93 条记录
npm · crates.io · PyPI
PSU3D0/formualizer
Embeddable spreadsheet engine - parse, evaluate & mutate Excel workbooks from Rust, Python, or the browser. Arrow-powered, 400+ functions.
Apache-2.02026年9月5日 · 指标 2.10.0
PyPI
Toloka/tolokaforge
Universal LLM benchmarking harness for tool use, browser, mobile, coding, and long-horizon evals
自定义许可证2026年9月25日 · 指标 2.10.0
PyPI
VectorInstitute/cyclops
A toolkit for evaluating and monitoring AI models in clinical settings
自定义许可证2026年10月19日 · 指标 2.10.0
PyPI · crates.io
derekallman/hotcoco
Perception evaluation toolkit in Rust with Python bindings. A pycocotools drop-in for COCO, LVIS, and Open Images detection metrics, up to 36× faster, plus TIDE error analysis, confusion matrices, calibration, model comparison, and a dataset browser.
MIT2026年10月7日 · 指标 2.10.0
PyPI
SuperagenticAI/superqode
The harness interoperability layer for coding agent. Agent to Agent connect over ACP, A2A and UHP
Apache-2.02026年9月11日 · 指标 2.10.0
PyPI · npm
awslabs/llm-evaluation-system
Agentic AI-guided evaluation system for comparing LLMs with multi-judge jury scoring
Apache-2.02026年9月19日 · 指标 2.10.0
npm
mattapperson/noetic
该仓库未发布描述。
Apache-2.02026年9月18日 · 指标 2.10.0
npm
Kromatic-Innovation/panelist
Synthetic user panels for any artifact, run across multiple model providers to correct for self-preference bias — models the exact point a persona quits, dismisses, or refuses to click, not a warmth score.
Apache-2.02026年10月20日 · 指标 2.10.0
npm · PyPI · Go
memoturn/memoturn
Open-source AI engineering platform — LLM observability, evals, metrics, prompt management, playground, and datasets. OpenTelemetry-native, self-hostable. Because "it worked when I tried it" is not an eval.
Apache-2.02026年10月3日 · 指标 2.10.0
npm
Precisa-Saude/medbench-brasil
Leaderboard reproduzível de LLMs em provas médicas brasileiras (Revalida, INEP) — zero-shot, 3 execuções, análise de contaminação
自定义许可证2026年10月18日 · 指标 2.10.0
PyPI
digline/digline
Regression testing for LLM applications — with the baseline in your repository, not on someone's server.
Apache-2.02026年9月18日 · 指标 2.10.0
NuGet
elbruno/ElBruno.MarkItDotNet
.NET library that converts file formats to Markdown for AI pipelines
MIT2026年10月19日 · 指标 2.10.0
npm · PyPI
hue-run/hue-sdk
Hue TypeScript and Python SDKs for OpenTelemetry tracing and local evaluations
MIT2026年9月23日 · 指标 2.10.0
PyPI
OpenAdaptAI/openadapt-evals
Windows Agent Arena and GUI-agent evaluation for OpenAdapt. Live support surface. Install the product with pip install openadapt; this repo is the eval harness, including WAA.
MIT2026年9月14日 · 指标 2.10.0
npm
crewhaus/factory
Open-source compiler for AI agents. Write one crewhaus.yaml; compile it to a CLI, a Slack bot, and an eval harness from the same spec. Apache-2.0.
Apache-2.02026年9月13日 · 指标 2.10.0
PyPI
huggingface/evaluate
🤗 Evaluate: A library for easily evaluating machine learning models and datasets.
Apache-2.02026年9月10日 · 指标 2.10.0
npm
o-stepper/graphorin
Project Graphorin is a TypeScript framework for personal AI assistants and long-living agents with rich memory, durable workflow, and observability out of the box.
MIT2026年9月15日 · 指标 2.10.0
npm
JudgmentLabs/judgeval-js
The open source post-building layer for agents.
无许可证2026年9月15日 · 指标 2.10.0
npm
axl-sdk/axl
TypeScript SDK for orchestrating Agentic Systems — concurrency, structured output, cost control, and consensus as first-class primitives.
Apache-2.02026年9月14日 · 指标 2.10.0
npm
baabakk/llm-ports
TypeScript LLM Abstraction Layer for Multi-Provider AI Systems. Multi-provider routing, fallback chains, USD cost gating, capability factories, tool-use security.
MIT2026年9月15日 · 指标 2.10.0
PyPI
ianarawjo/ChainForge
An open-source visual programming environment for battle-testing prompts to LLMs.
MIT2026年10月1日 · 指标 2.10.0
PyPI
mjpost/sacrebleu
Reference BLEU implementation that auto-downloads test sets and reports a version string to facilitate cross-lab comparisons
Apache-2.02026年8月27日 · 指标 2.10.0
PyPI
AgentX-ai/AgentX-Python
AgentX python SDK. Build multi-agent AI workforce. Run evaluation. Trace your agent. Full Observability.
Apache-2.02026年9月16日 · 指标 2.10.0
npm
agenticklabs/agentick
The component framework for AI.
MIT2026年9月18日 · 指标 2.10.0
PyPI
bullpeng72/Agent-Evaluator
LLM agent evaluation framework with 7 Harness Gates (A–G) and 58 metrics. Supports LangChain, CrewAI, AutoGen, DSPy, PydanticAI. Native LLM-as-Judge, OTEL tracing, FastAPI dashboard.
MIT2026年10月18日 · 指标 2.10.0
PyPI
danthedeckie/simpleeval
Simple Safe Sandboxed Extensible Expression Evaluator for Python
自定义许可证2026年9月12日 · 指标 2.10.0
PyPI
HarperZ9/flywheel
Flywheel runs AI tasks with a model you choose and keeps a receipt anyone can recheck offline.
自定义许可证2026年10月15日 · 指标 2.10.0
PyPI
datalab-to/omni_extract_bench
A consistent, fair, benchmark for structured extraction.
Apache-2.02026年10月16日 · 指标 2.10.0
PyPI · crates.io · npm +1
nickderobertis/onejudge
A simulated interaction and evaluation loop over oneharness: drive a harness through a multi-turn conversation and score the transcript.
MIT2026年10月20日 · 指标 2.10.0