至优进化ZiYor

算法工厂至优榜单

至优榜单

让每一次优化,都有可比较的结果。

围绕明确的任务、基线和计分规则整理自建评测。查看指标、提交要求与方案,理解算法改进应该怎样被验证。

榜单成绩为展示示例,尚未接入实时评测或提交服务。

至优榜单内容

收藏保存在当前浏览器

共 33 条 · 1–24

ZL-TextCompress-Mini

20 个小型文本语料,压缩包与解压器体积共同计分。

规则已定义压缩算法compression

至优榜单 · 压缩算法

ZL-TextCompress-Mini

20 个小型文本语料,压缩包与解压器体积共同计分。

规则已定义compressionlosslesssingle-machine
编号
910000001
对应算法
BWT、LZ、ANS、上下文建模
评测对象
20 个小型文本语料,压缩包与解压器体积共同计分。
指标
total bytes,越小越好
基线
zstd -19 + baseline decoder
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
训练语料泄漏和解压器体积最容易误判。
计分脚本
verify_decompress.py 比较 sha256 和总字节数
提交格式
zip: src + compressed + decoder + report.md
方案排名(示例)
排名方案成绩
1ZL Seed PPM-ANS

参考 PPMd/CMix 思路,计入 186 KB 解压器体积。

38.42 MB total
2PPMd q12 reference

传统上下文模型参考强基线,速度较慢但压缩率稳定。

39.11 MB total
3zstd -19 baseline

工程可用基线,作为首轮复现门槛。

42.80 MB total
4lzma -9e reference

压缩率较好但对短文本 shard 不占优。

44.36 MB total

资料会填入对话草稿,可编辑后发送。

ZL-BWT-Enwik-Shard

固定 enwik shard,无损压缩和逆变换正确性。

规则已定义压缩算法BWT

至优榜单 · 压缩算法

ZL-BWT-Enwik-Shard

固定 enwik shard,无损压缩和逆变换正确性。

规则已定义BWTtext
编号
910000002
对应算法
BWT、MTF、RLE、entropy coding
评测对象
固定 enwik shard,无损压缩和逆变换正确性。
指标
compressed bytes + decode time
基线
bzip2 / bsc local baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
不能只优化 archive bytes,解码时间和程序体积需计入。
计分脚本
verify_roundtrip.sh
提交格式
zip: codec + compressed files + run.sh
方案排名(示例)
排名方案成绩
1bsc-m03 tuned reference

以公开 BWT 家族强基线为中心,计入解码耗时。

157.33 MB + 1.8s decode
2STC reference checked

历史候选在 archive bytes 上接近,但仍需按完整计分口径复核。

157.39 MB + 2.1s decode
3bzip2 -9 baseline

可复现实验底线,常见 BWT 参考项。

183.17 MB + 1.2s decode
4zstd -19 reference

速度强但压缩分不占优。

202.55 MB + 0.4s decode

资料会填入对话草稿,可编辑后发送。

ZL-JSON-StructureCompress

结构化 JSON 日志无损压缩 benchmark。

规则已定义压缩算法json

至优榜单 · 压缩算法

ZL-JSON-StructureCompress

结构化 JSON 日志无损压缩 benchmark。

规则已定义jsoncodec
编号
910000003
对应算法
dictionary learning、schema transform、ANS
评测对象
结构化 JSON 日志无损压缩 benchmark。
指标
total bytes / decode MB/s
基线
zstd dictionary baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
结构提取不能破坏 key 顺序和数值格式。
计分脚本
verify_json_roundtrip.py
提交格式
zip: compressor + decompressor + artifacts
方案排名(示例)
排名方案成绩
1Schema split + zstd-dict

先分离结构和值域,再做字典压缩。

21.8 MB / 190 MB/s
2zstd trained dictionary

强工程基线,解码速度优秀。

24.6 MB / 260 MB/s
3brotli -11 static

压缩率稳定,解码速度较弱。

25.4 MB / 58 MB/s
4gzip -9 baseline

兼容性基线。

35.2 MB / 310 MB/s

资料会填入对话草稿,可编辑后发送。

ZL-RAG-Recall-1K

1000 条问答和文档片段的本地 RAG 检索榜。

规则已定义信息检索RAG

至优榜单 · 信息检索

ZL-RAG-Recall-1K

1000 条问答和文档片段的本地 RAG 检索榜。

规则已定义RAGretrieval
编号
910000004
对应算法
BM25、dense embedding、rerank、hybrid retrieval
评测对象
1000 条问答和文档片段的本地 RAG 检索榜。
指标
Recall@5 / nDCG@10 / latency
基线
BM25 + MiniLM baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
embedding 模型和外部知识必须固定。
计分脚本
verify_retrieval.py
提交格式
zip: index builder + scorer output
方案排名(示例)
排名方案成绩
1Hybrid BM25 + BGE rerank

稀疏召回补覆盖,轻量重排补精度。

R@5 0.842 / nDCG 0.779 / 88ms
2BM25 + MiniLM baseline

当前任务 baseline,单机可复现。

R@5 0.763 / nDCG 0.701 / 61ms
3Dense only MiniLM

语义召回强但漏掉精确术语。

R@5 0.731 / nDCG 0.684 / 73ms
4Plain BM25

可解释速度基线。

R@5 0.612 / nDCG 0.557 / 24ms

资料会填入对话草稿,可编辑后发送。

ZL-ANN-CPU-1M

100 万向量 CPU 近似最近邻检索。

规则已定义信息检索ANN

至优榜单 · 信息检索

ZL-ANN-CPU-1M

100 万向量 CPU 近似最近邻检索。

规则已定义ANNvector
编号
910000005
对应算法
HNSW、IVF、PQ、LSH
评测对象
100 万向量 CPU 近似最近邻检索。
指标
recall@10 / QPS / memory
基线
Faiss Flat + HNSW baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
召回、速度、内存三指标不能单点 cherry-pick。
计分脚本
verify_ann.py
提交格式
zip: index script + query output + memory log
方案排名(示例)
排名方案成绩
1HNSW tuned ef=96

召回、速度、内存三者折中最好。

Recall@10 0.965 / 4.8k QPS / 1.9 GB
2IVF-PQ coarse tuned

速度和内存强,召回略低。

Recall@10 0.918 / 9.1k QPS / 0.7 GB
3Faiss Flat exact

精确上界,不适合作为效率最优。

Recall@10 1.000 / 0.42k QPS / 3.9 GB
4LSH baseline

吞吐高但质量不足。

Recall@10 0.812 / 14.0k QPS / 0.5 GB

资料会填入对话草稿,可编辑后发送。

ZL-BM25-DomainTransfer

跨领域文本检索,不允许训练目标域标签。

草案信息检索BM25

至优榜单 · 信息检索

ZL-BM25-DomainTransfer

跨领域文本检索,不允许训练目标域标签。

草案BM25domain
编号
910000006
对应算法
BM25、query expansion、sparse neural retrieval
评测对象
跨领域文本检索,不允许训练目标域标签。
指标
nDCG@10
基线
plain BM25 baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
领域划分和 query expansion 数据来源需严格记录。
计分脚本
verify_ir_split.py
提交格式
zip: run script + ranked list
方案排名(示例)
排名方案成绩
1SPLADE-lite zero-shot

不使用目标域标签,只用固定外部稀疏模型。

nDCG@10 0.488
2BM25 + gated RM3

查询扩展有收益,但需记录语料来源。

nDCG@10 0.471
3Plain BM25 baseline

首轮必须复现的可解释基线。

nDCG@10 0.421
4Dense zero-shot

跨域语义漂移明显。

nDCG@10 0.398

资料会填入对话草稿,可编辑后发送。

ZL-CodeFix-Unit-Mini

本地 Python/JS 小仓库缺陷修复,按隐藏单测通过计分。

规则已定义代码 / Agentcode repair

至优榜单 · 代码 / Agent

ZL-CodeFix-Unit-Mini

本地 Python/JS 小仓库缺陷修复,按隐藏单测通过计分。

规则已定义code repairunit tests
编号
910000007
对应算法
代码检索、patch 生成、测试选择
评测对象
本地 Python/JS 小仓库缺陷修复,按隐藏单测通过计分。
指标
passed hidden tests / patch size
基线
naive failing-test patch baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
不能读隐藏测试,不能硬编码用例。
计分脚本
verify_tests.sh
提交格式
zip: patch + rationale + logs
方案排名(示例)
排名方案成绩
1Semantic patch miner

结合失败栈、静态切片和最小补丁约束。

68/100 hidden tests / 1.8 KB patch
2Generated unit + repair loop

覆盖率更好,但补丁膨胀。

55/100 hidden tests / 3.4 KB patch
3Static template patcher

对常见空值和边界错误有效。

50/100 hidden tests / 1.1 KB patch
4Naive failing-test patch

只围绕显式失败用例,泛化弱。

41/100 hidden tests / 0.9 KB patch

资料会填入对话草稿,可编辑后发送。

ZL-RepoPerf-Patch

指定开源项目函数级性能优化,不破坏测试。

规则已定义代码 / Agentperformance

至优榜单 · 代码 / Agent

ZL-RepoPerf-Patch

指定开源项目函数级性能优化,不破坏测试。

规则已定义performancegithub
编号
910000008
对应算法
profiling、algorithmic rewrite、cache-aware implementation
评测对象
指定开源项目函数级性能优化,不破坏测试。
指标
speedup with all tests passing
基线
upstream current implementation
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
微优化和硬件噪声要用多轮统计控制。
计分脚本
verify_perf_and_tests.sh
提交格式
zip: git patch + benchmark log
方案排名(示例)
排名方案成绩
1Cache-aware rewrite

用 profiling 定位真实热点后改算法结构。

2.63x geomean speedup / tests pass
2Vectorized inner loop

对数值热点有效,但覆盖项目较窄。

2.11x geomean speedup / tests pass
3Memoization patch

收益依赖输入重复率。

1.42x geomean speedup / tests pass
4Upstream current implementation

官方仓库当前实现。

1.00x baseline / tests pass

资料会填入对话草稿,可编辑后发送。

ZL-Agent-Browser-10

10 个固定网页操作任务,评估基础智能体执行力。

草案代码 / Agentbrowser

至优榜单 · 代码 / Agent

ZL-Agent-Browser-10

10 个固定网页操作任务,评估基础智能体执行力。

草案browseragent
编号
910000009
对应算法
browser agent、DOM grounding、planning
评测对象
10 个固定网页操作任务,评估基础智能体执行力。
指标
task success / steps / time
基线
scripted baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
网页登录态和网页变化会影响复现。
计分脚本
verify_browser_trace.mjs
提交格式
zip: trace + screenshots + final state
方案排名(示例)
排名方案成绩
1DOM-anchor planner

以 DOM 语义和可回放 trace 作为主信号。

8/10 success / 31 median steps
2Scripted baseline

固定页面有效,页面轻微变化会失败。

5/10 success / 18 median steps
3Vision-only agent

视觉泛化尚可,但定位和表单稳定性不足。

4/10 success / 46 median steps
4Random-click sanity

负例 sanity check。

0/10 success / N/A

资料会填入对话草稿,可编辑后发送。

ZL-WebAlgo-Latency

网页内排序/搜索/布局算法,优化真实交互延迟。

规则已定义基于界面的算法优化web

至优榜单 · 基于界面的算法优化

ZL-WebAlgo-Latency

网页内排序/搜索/布局算法,优化真实交互延迟。

规则已定义weblatency
编号
910000010
对应算法
profiling、data structure、render scheduling
评测对象
网页内排序/搜索/布局算法,优化真实交互延迟。
指标
p95 latency / correctness
基线
current web implementation
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
不能只改 UI 观感,必须优化网页中的算法逻辑。
计分脚本
verify_playwright_latency.mjs
提交格式
zip: patched source + trace + screenshots
方案排名(示例)
排名方案成绩
1Worker indexed search

优化网页内搜索/排序算法,不把 UI 换皮当改进。

p95 38 ms / exact results
2Chunked render scheduler

渲染调度改善明显,数据结构收益较少。

p95 82 ms / exact results
3Debounce-only patch

工程补丁,属于低门槛基线。

p95 171 ms / exact results
4Current web implementation

原始网页算法延迟。

p95 214 ms / exact results

资料会填入对话草稿,可编辑后发送。

ZL-CanvasGeometry

Canvas 几何编辑器的命中测试和路径简化 benchmark。

草案基于界面的算法优化canvas

至优榜单 · 基于界面的算法优化

ZL-CanvasGeometry

Canvas 几何编辑器的命中测试和路径简化 benchmark。

草案canvasgeometry
编号
910000011
对应算法
spatial index、R-tree、Douglas-Peucker
评测对象
Canvas 几何编辑器的命中测试和路径简化 benchmark。
指标
hit-test ms / geometry error
基线
linear scan baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
视觉误差必须有像素级校验。
计分脚本
verify_canvas_geometry.mjs
提交格式
zip: source + perf trace + visual diff
方案排名(示例)
排名方案成绩
1R-tree + local simplifier

空间索引减少命中测试复杂度。

hit-test 2.7 ms / error 0.42 px
2Uniform grid index

实现简单,非均匀图形下退化。

hit-test 5.1 ms / error 0.51 px
3Douglas-Peucker only

路径点更少但查找仍是线性。

hit-test 72 ms / error 0.38 px
4Linear scan baseline

正确性上界,速度最弱。

hit-test 86 ms / error 0 px

资料会填入对话草稿,可编辑后发送。

ZL-TableVirtual-100K

10 万行表格筛选、排序、虚拟滚动 benchmark。

规则已定义基于界面的算法优化frontend

至优榜单 · 基于界面的算法优化

ZL-TableVirtual-100K

10 万行表格筛选、排序、虚拟滚动 benchmark。

规则已定义frontendtable
编号
910000012
对应算法
virtual list、incremental sort、index cache
评测对象
10 万行表格筛选、排序、虚拟滚动 benchmark。
指标
interaction latency / memory
基线
plain DOM table baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
必须保持排序和筛选结果完全一致。
计分脚本
verify_table_perf.mjs
提交格式
zip: app source + trace
方案排名(示例)
排名方案成绩
1Indexed virtual table

列索引、增量排序和窗口渲染同时启用。

p95 54 ms / 142 MB
2Precomputed sort cache

排序快,筛选更新成本较高。

p95 71 ms / 188 MB
3Row virtualization only

只解决 DOM 数量,不解决算法排序成本。

p95 96 ms / 231 MB
4Plain DOM table

原始 10 万行 DOM 基线。

p95 1490 ms / 1.1 GB

资料会填入对话草稿,可编辑后发送。

ZL-AIGD-Dedup

训练数据去重与近重复清洗 benchmark。

规则已定义AIGD 数据优化data

至优榜单 · AIGD 数据优化

ZL-AIGD-Dedup

训练数据去重与近重复清洗 benchmark。

规则已定义datadedup
编号
910000013
对应算法
MinHash、SimHash、embedding dedup
评测对象
训练数据去重与近重复清洗 benchmark。
指标
dup recall / false positive / cost
基线
exact hash + MinHash baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
过度去重会删掉有效多样性。
计分脚本
verify_dedup.py
提交格式
zip: dedup script + kept ids + report
方案排名(示例)
排名方案成绩
1SimHash + MinHash + embed gate

先廉价哈希召回,再用语义门控控误杀。

recall 0.94 / FP 0.018 / $0.42 per M
2Exact hash + MinHash baseline

当前可复现 baseline。

recall 0.86 / FP 0.031 / $0.18 per M
3Embedding only

语义强但成本和误杀偏高。

recall 0.91 / FP 0.067 / $1.24 per M
4Exact hash only

低成本 sanity baseline。

recall 0.51 / FP 0.004 / $0.04 per M

资料会填入对话草稿,可编辑后发送。

ZL-AIGD-QualityFilter

文本训练数据质量过滤,保留高价值样本。

草案AIGD 数据优化data

至优榜单 · AIGD 数据优化

ZL-AIGD-QualityFilter

文本训练数据质量过滤,保留高价值样本。

草案dataquality
编号
910000014
对应算法
quality scoring、language ID、toxicity filtering
评测对象
文本训练数据质量过滤,保留高价值样本。
指标
quality lift / retention / cost
基线
rule filter baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
不能用目标评测答案反向筛数据。
计分脚本
verify_quality_split.py
提交格式
zip: filter script + selected ids
方案排名(示例)
排名方案成绩
1Reward score + rule guard

质量模型负责排序,规则负责硬过滤。

quality lift +12.8% / retention 72% / $0.38 per M
2Rule filter baseline

低成本强基线。

quality lift +6.1% / retention 81% / $0.06 per M
3Language + toxicity filter

通用清洗项,收益有限。

quality lift +4.4% / retention 88% / $0.05 per M
4Random retain 72%

抽样 sanity check。

quality lift +0.0% / retention 72% / $0.00

资料会填入对话草稿,可编辑后发送。

ZL-SFT-Mixture-Mini

小型 SFT 数据配比 benchmark。

草案AIGD 数据优化SFT

至优榜单 · AIGD 数据优化

ZL-SFT-Mixture-Mini

小型 SFT 数据配比 benchmark。

草案SFTdataset
编号
910000015
对应算法
data mixture optimization、curriculum、dedup
评测对象
小型 SFT 数据配比 benchmark。
指标
eval avg / tokens used
基线
uniform mixture baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
训练随机性和模型初始权重要固定。
计分脚本
verify_sft_mix.py
提交格式
zip: mixture spec + training log + eval
方案排名(示例)
排名方案成绩
1Bayesian mixture search

在固定预算下搜索数据配比。

eval avg 63.4 / 18M tokens
2Loss-weighted mixture

偏向难样本,稳定性中等。

eval avg 61.0 / 20M tokens
3Domain-balanced mixture

覆盖均衡但不区分样本价值。

eval avg 60.5 / 22M tokens
4Uniform mixture baseline

首轮训练 baseline。

eval avg 59.2 / 22M tokens

资料会填入对话草稿,可编辑后发送。

ZL-LLM-CPU-Infer

小模型 CPU 推理吞吐与困惑度保持。

规则已定义深度学习LLM

至优榜单 · 深度学习

ZL-LLM-CPU-Infer

小模型 CPU 推理吞吐与困惑度保持。

规则已定义LLMCPU
编号
910000016
对应算法
quantization、KV cache、operator fusion
评测对象
小模型 CPU 推理吞吐与困惑度保持。
指标
tokens/s / perplexity delta / memory
基线
llama.cpp default baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
速度提升不能用不可接受的困惑度下降换取。
计分脚本
verify_llm_cpu.sh
提交格式
zip: source patch + bench log + perplexity
方案排名(示例)
排名方案成绩
1int4 + fused rope kernels

吞吐、困惑度和内存综合最优。

31.6 tok/s / PPL +0.18 / 4.2 GB
2llama.cpp Q4_K_M default

常用 CPU 推理强基线。

24.8 tok/s / PPL +0.22 / 4.6 GB
3int8 baseline

质量保持好,但内存和速度弱。

18.2 tok/s / PPL +0.04 / 7.8 GB
4fp16 reference

质量上界,效率不适合单机挑战。

5.9 tok/s / PPL +0.00 / 13.2 GB

资料会填入对话草稿,可编辑后发送。

ZL-Quant-PPL

固定校准集的低比特量化质量榜。

草案深度学习quantization

至优榜单 · 深度学习

ZL-Quant-PPL

固定校准集的低比特量化质量榜。

草案quantizationperplexity
编号
910000017
对应算法
GPTQ、AWQ、SmoothQuant、mixed precision
评测对象
固定校准集的低比特量化质量榜。
指标
perplexity / model size / speed
基线
int8 baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
校准集泄漏和评测集污染风险高。
计分脚本
verify_quant_ppl.py
提交格式
zip: quant config + eval outputs
方案排名(示例)
排名方案成绩
1AWQ mixed 4-bit

在体积和质量之间取得最稳 Pareto。

PPL 6.82 / 3.9 GB / 1.22x speed
2GPTQ 4-bit

速度略好,困惑度略差。

PPL 6.94 / 3.8 GB / 1.28x speed
3int8 baseline

质量强但压缩收益小。

PPL 6.71 / 7.2 GB / 1.00x speed
4Naive int4

压缩激进,质量不可接受。

PPL 8.31 / 3.6 GB / 1.35x speed

资料会填入对话草稿,可编辑后发送。

ZL-KVCache-Memory

长上下文 KV cache 内存和吞吐 benchmark。

草案深度学习KV cache

至优榜单 · 深度学习

ZL-KVCache-Memory

长上下文 KV cache 内存和吞吐 benchmark。

草案KV cachelong context
编号
910000018
对应算法
paged attention、cache eviction、compression
评测对象
长上下文 KV cache 内存和吞吐 benchmark。
指标
memory/token / tokens/s / quality
基线
standard KV cache baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
压缩 cache 可能损害长上下文答案质量。
计分脚本
verify_kv_cache.py
提交格式
zip: patch + memory trace + eval
方案排名(示例)
排名方案成绩
1Paged int8 KV cache

内存减半且质量损失可控。

8.1 KB/token / 52 tok/s / quality -0.3
2Quantized KV + rope guard

更省内存,质量损失略高。

7.6 KB/token / 49 tok/s / quality -0.7
3Eviction cache

速度快但长上下文质量下降。

6.2 KB/token / 61 tok/s / quality -2.1
4Standard KV cache baseline

完整精度参考基线。

16.4 KB/token / 43 tok/s / quality +0.0

资料会填入对话草稿,可编辑后发送。

ZL-CV-TinyDetect

小目标检测 mini benchmark,强调 CPU/单卡可复现。

规则已定义计算机视觉detection

至优榜单 · 计算机视觉

ZL-CV-TinyDetect

小目标检测 mini benchmark,强调 CPU/单卡可复现。

规则已定义detectiontiny
编号
910000019
对应算法
detector、NMS、augmentation、distillation
评测对象
小目标检测 mini benchmark,强调 CPU/单卡可复现。
指标
mAP / latency
基线
YOLO tiny baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
外部预训练和数据增强要明确。
计分脚本
verify_detection.py
提交格式
zip: model/code + predictions + log
方案排名(示例)
排名方案成绩
1YOLO-nano distill + NMS tune

蒸馏和后处理共同提升小目标召回。

mAP 38.7 / 14 ms
2YOLO tiny baseline

常用检测 baseline。

mAP 34.2 / 18 ms
3EfficientDet-lite

质量稳定但延迟较高。

mAP 32.9 / 25 ms
4MobileNet-SSD

速度快,精度不足。

mAP 29.4 / 12 ms

资料会填入对话草稿,可编辑后发送。

ZL-SegEdge-CPU

边缘设备语义分割质量和延迟。

草案计算机视觉segmentation

至优榜单 · 计算机视觉

ZL-SegEdge-CPU

边缘设备语义分割质量和延迟。

草案segmentationedge
编号
910000020
对应算法
segmentation、pruning、quantization
评测对象
边缘设备语义分割质量和延迟。
指标
mIoU / CPU latency
基线
MobileNet segmentation baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
输入分辨率和线程数必须固定。
计分脚本
verify_seg_cpu.py
提交格式
zip: model + predictions + latency log
方案排名(示例)
排名方案成绩
1MobileNetV3 pruned seg

剪枝后保留边界类别精度。

mIoU 67.1 / CPU 52 ms
2DeepLab-lite

质量好但 CPU 延迟高。

mIoU 65.8 / CPU 94 ms
3MobileNet segmentation baseline

首轮可复现 baseline。

mIoU 63.4 / CPU 76 ms
4UNet-small

结构简单,边界质量一般。

mIoU 62.6 / CPU 68 ms

资料会填入对话草稿,可编辑后发送。

ZL-OCR-Form

表单截图字段识别 benchmark。

规则已定义多模态OCR

至优榜单 · 多模态

ZL-OCR-Form

表单截图字段识别 benchmark。

规则已定义OCRdocument
编号
910000021
对应算法
OCR、layout parsing、field matching
评测对象
表单截图字段识别 benchmark。
指标
field F1 / edit distance
基线
Tesseract + rules baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
不能人工修正 OCR 输出。
计分脚本
verify_form_ocr.py
提交格式
zip: extractor + json output + report
方案排名(示例)
排名方案成绩
1Layout-aware OCR + field matcher

版面锚点和字段类型约束减少错配。

field F1 0.873 / edit 0.051
2PaddleOCR-lite + rules

OCR 质量强,字段归一化需补。

field F1 0.812 / edit 0.074
3Vision prompt baseline

小样本方便,但可复现性弱。

field F1 0.786 / edit 0.081
4Tesseract + rules baseline

本地开源 baseline。

field F1 0.741 / edit 0.092

资料会填入对话草稿,可编辑后发送。

ZL-ChartQA-Mini

图表问答小型 benchmark,强调数值推理。

草案多模态chart

至优榜单 · 多模态

ZL-ChartQA-Mini

图表问答小型 benchmark,强调数值推理。

草案chartVQA
编号
910000022
对应算法
chart parsing、OCR、program reasoning
评测对象
图表问答小型 benchmark,强调数值推理。
指标
answer accuracy
基线
OCR + rule baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
图表模板泄漏和单位换算需处理。
计分脚本
verify_chartqa.py
提交格式
zip: solver + answers.json
方案排名(示例)
排名方案成绩
1OCR + program solver

把图表解析转为可执行表格和公式。

accuracy 71.4%
2Chart parser + neural rerank

模板泛化好,数值计算偶发错误。

accuracy 64.3%
3OCR + rule baseline

易复现,但复杂图表弱。

accuracy 52.0%
4Text-only guesser

负例基线。

accuracy 37.5%

资料会填入对话草稿,可编辑后发送。

ZL-GraphShortest-1M

百万边图最短路 CPU benchmark。

规则已定义图算法graph

至优榜单 · 图算法

ZL-GraphShortest-1M

百万边图最短路 CPU benchmark。

规则已定义graphshortest path
编号
910000023
对应算法
Dijkstra、bidirectional search、graph layout
评测对象
百万边图最短路 CPU benchmark。
指标
queries/s / correctness
基线
heap Dijkstra baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
必须覆盖稠密、稀疏和长尾度数图。
计分脚本
verify_shortest_path.py
提交格式
zip: solver + result file + timing
方案排名(示例)
排名方案成绩
1Bidirectional CH-lite

轻预处理换取查询吞吐。

18.2k queries/s / exact
2A* landmarks

地标启发式对道路类图明显有效。

9.4k queries/s / exact
3Heap Dijkstra baseline

正确性参考 baseline。

2.1k queries/s / exact
4Bellman-Ford sanity

慢速正确性 sanity。

0.08k queries/s / exact

资料会填入对话草稿,可编辑后发送。

ZL-MaxFlow-Suite

多类网络最大流实例集。

草案图算法max flow

至优榜单 · 图算法

ZL-MaxFlow-Suite

多类网络最大流实例集。

草案max flowgraph
编号
910000024
对应算法
Dinic、push-relabel、capacity scaling
评测对象
多类网络最大流实例集。
指标
flow value / runtime
基线
Dinic baseline
运行形态
先拉取 benchmark spec,复现 baseline,通过 verifier,再提交源码、日志、指标和失败样例。
注意事项
容量整数范围和残量网络正确性需严格验证。
计分脚本
verify_maxflow.py
提交格式
zip: solver + outputs + timings
方案排名(示例)
排名方案成绩
1Highest-label push-relabel

密集图和大容量实例更稳。

exact / median 0.84s
2Dinic + capacity scaling

稀疏图表现好。

exact / median 1.76s
3Dinic baseline

首轮可复现 baseline。

exact / median 2.31s
4Edmonds-Karp sanity

正确性 sanity,不追求速度。

exact / median 35.0s

资料会填入对话草稿,可编辑后发送。

当前语言:中文