Python★ 4,565↓ 378.1K/月2026年8月28日

UiPath/coder_evalPlaywright for coding agents. Test that your skills, MCP servers, and CLIs actually work when an agent uses them — sandboxed YAML suites, A/B experiments, CI gates.
Python · TypeScript★ 152↓ 7,982/月2026年10月19日
TypeScript★ 9↓ 12K/月2026年9月18日

lmfit/astevalminimalistic evaluator of python expression using ast module
Python★ 221↓ 5.8M/月2026年9月12日
TypeScript · JavaScript★ 258↓ 390.2K/月2026年9月15日

Coolhand-Labs/coolhand-rubyZero-config LLM cost & quality monitoring for Ruby apps - automatically log AI API calls and collect user feedback for analysis using Coolhand.
Ruby★ 102026年10月14日
TypeScript · MDX★ 17↓ 3,928/月2026年9月18日
C#★ 2,2392026年9月24日

zernie/vigilesLike Lighthouse for your agent harness - verify your CLAUDE.md/AGENTS.md, skills & hooks are real, then test and measure they actually work. Claude Code + Codex.
TypeScript★ 15↓ 6,794/月2026年9月11日

Kikobeats/isolated-functionRun JavaScript from AI agents, plugins, and workflows in a separate Node.js process with strict safety limits.
JavaScript★ 23↓ 4,305/月2026年9月12日

digline/diglineRegression testing for LLM applications — with the baseline in your repository, not on someone's server.
Python★ 52026年9月18日

crewhaus/factoryOpen-source compiler for AI agents. Write one crewhaus.yaml; compile it to a CLI, a Slack bot, and an eval harness from the same spec. Apache-2.0.
TypeScript★ 3↓ 13.6K/月2026年9月13日
TypeScript★ 0↓ 40.4K/月2026年9月9日
Gherkin · PHP★ 10↓ 366.7K/月2026年9月12日
TypeScript★ 7↓ 9,011/月2026年9月18日

justi/ruby_llm-contractValidate and retry LLM outputs for ruby_llm. Describe the JSON response you expect, fall back to a stronger model when the cheaper one fails the rules, and gate CI on regressions — all as one contract object per step.
Ruby★ 362026年10月20日

justjake/quickjs-emscriptenSafely execute untrusted Javascript in your Javascript, and execute synchronous code that uses async functions
TypeScript · Makefile★ 1,710↓ 24.1M/月2026年9月17日
Rust★ 18↓ 368.7K/月2026年10月19日
Python★ 611↓ 11.1M/月2026年9月12日
JavaScript★ 100↓ 614.3K/月2026年10月21日
PHP★ 5↓ 54.1K/月2026年9月16日

phierceweb/pw-corePython foundation for LLM apps whose prompts and spend you can actually see — versioned prompts, every call recorded and replayable, budgets, evals, jobs.
Python★ 22026年10月21日
TypeScript★ 22↓ 2,731/月2026年9月10日

claimidx/claimidxPrior art for AI agents. Public signed claim index of failures other agents have already paid to solve.
Python★ 1↓ 3,483/月2026年9月25日
TypeScript★ 711↓ 645/月2026年9月16日

AntonovAnton/math.evaluationThis .NET library allows you to evaluate and compile any mathematical expression from a string dynamically at runtime. It supports a wide range of operations and allows for the use of custom variables, operators, and functions. The evaluator can be configured for different contexts, such as scientific, programming, boolean math expressions.
C#★ 772026年10月4日

reggi/evalmd:fishing_pole_and_fish: Evaluates javascript code blocks from markdown files.
JavaScript★ 48↓ 69.3K/月2026年9月14日

jettyio/jetty-sdkTyped client SDK for the Jetty AI/ML workflow platform (@jetty/sdk) + worked example
TypeScript★ 2↓ 30K/月2026年9月15日
JavaScript★ 20↓ 9,084/月2026年9月18日

mykim-aus/hey-llm-you-okayHey LLM, you okay? — pyramid-ordered LLM testing CLI for CI/CD. One YAML for every layer, LLM-as-a-judge gates, and A/B triage that tells prompt regressions from model drift.
TypeScript · JavaScript★ 1↓ 4,056/月2026年9月14日