至优进化ZiYor

算法工厂算法wiki

算法wiki

从问题出发,找到方法与依据。

汇集公开榜单、经典算法与开源项目。通过搜索和筛选找到研究目标,再查看核心信息与原始来源,建立下一步研究的依据。

算法wiki内容

共 413 条 · 1–24

Large Text Compression Benchmark / LTCB

大文本无损压缩,总分通常由压缩包与解压器/程序体积共同决定。

榜单压缩算法无损压缩
原榜单

榜单 · 压缩算法

Large Text Compression Benchmark / LTCB

大文本无损压缩,总分通常由压缩包与解压器/程序体积共同决定。

无损压缩BWT文本
编号
1
对应算法
BWT、PPM、LZ、ANS、上下文建模
评测对象
大文本无损压缩,总分通常由压缩包与解压器/程序体积共同决定。
指标
compressed bytes / total bytes
基线
公开榜首与强压缩器组合
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
计分口径、解压器体积和训练数据泄漏最容易误判。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

Hutter Prize

enwik 数据压缩挑战,强调可执行解压程序与压缩包总大小。

榜单压缩算法压缩
原榜单

榜单 · 压缩算法

Hutter Prize

enwik 数据压缩挑战,强调可执行解压程序与压缩包总大小。

压缩enwik模型大小
编号
2
对应算法
上下文混合、神经压缩、算术编码
评测对象
enwik 数据压缩挑战,强调可执行解压程序与压缩包总大小。
指标
total compressed size
基线
PAQ/CMIX/NNCP 系列
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
模型大小、外部知识和解压时间边界必须复核。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

MLPerf Training

多任务训练吞吐、收敛速度和系统效率 benchmark。

榜单深度学习训练
原榜单

榜单 · 深度学习

MLPerf Training

多任务训练吞吐、收敛速度和系统效率 benchmark。

训练系统benchmark
编号
3
对应算法
分布式训练、优化器、内核融合
评测对象
多任务训练吞吐、收敛速度和系统效率 benchmark。
指标
time-to-train / accuracy target
基线
官方参考实现和最新提交
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
硬件预算差异会导致不公平比较。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

MLPerf Inference

多模型推理延迟、吞吐与能耗 benchmark。

榜单深度学习推理
原榜单

榜单 · 深度学习

MLPerf Inference

多模型推理延迟、吞吐与能耗 benchmark。

推理吞吐延迟
编号
4
对应算法
量化、调度、KV cache、推理引擎
评测对象
多模型推理延迟、吞吐与能耗 benchmark。
指标
latency / throughput / accuracy
基线
官方参考与厂商提交
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
不同场景和硬件配置必须分开比较。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

SWE-bench Verified

真实 GitHub issue 修复任务,按测试通过率计分。

榜单代码 / Agent代码修复
原榜单

榜单 · 代码 / Agent

SWE-bench Verified

真实 GitHub issue 修复任务,按测试通过率计分。

代码修复Agent软件工程
编号
5
对应算法
代码检索、patch 生成、测试选择
评测对象
真实 GitHub issue 修复任务,按测试通过率计分。
指标
resolved rate
基线
公开 agent baseline
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
测试泄漏和非同预算工具调用会污染结果。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

HumanEval

Python 函数生成与单元测试通过率。

榜单代码 / Agent代码生成
原榜单

榜单 · 代码 / Agent

HumanEval

Python 函数生成与单元测试通过率。

代码生成单测
编号
6
对应算法
程序合成、采样、self-consistency
评测对象
Python 函数生成与单元测试通过率。
指标
pass@k
基线
公开 LLM/code model baseline
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
过拟合公开题和隐藏测试不足是主要风险。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

MMLU-Pro

多学科选择题推理,较 MMLU 更强调困难选项。

榜单推理评测
原榜单

榜单 · 推理

MMLU-Pro

多学科选择题推理,较 MMLU 更强调困难选项。

推理评测
编号
7
对应算法
检索增强、思维链、校准
评测对象
多学科选择题推理,较 MMLU 更强调困难选项。
指标
accuracy
基线
公开模型榜单
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
prompt 和 contamination 风险高。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

SuperGLUE

多任务 NLU benchmark。

榜单自然语言处理NLP
原榜单

榜单 · 自然语言处理

SuperGLUE

多任务 NLU benchmark。

NLPNLU
编号
8
对应算法
Transformer 微调、prompt、蒸馏
评测对象
多任务 NLU benchmark。
指标
aggregate score
基线
公开 leaderboard 强模型
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
训练数据重叠和任务饱和度要复核。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

BEIR

跨域检索 benchmark,常用于零样本 retrieval。

榜单信息检索检索
原榜单

榜单 · 信息检索

BEIR

跨域检索 benchmark,常用于零样本 retrieval。

检索RAG
编号
9
对应算法
BM25、dense retrieval、rerank
评测对象
跨域检索 benchmark,常用于零样本 retrieval。
指标
nDCG@10 / Recall
基线
BM25、Contriever、DPR、ColBERT
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
不同语料预处理和负样本采样影响很大。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

MTEB

文本 embedding 多任务评测。

榜单信息检索Embedding
原榜单

榜单 · 信息检索

MTEB

文本 embedding 多任务评测。

Embedding检索
编号
10
对应算法
向量表征、对比学习、rerank
评测对象
文本 embedding 多任务评测。
指标
average score
基线
公开 embedding 模型
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
训练集泄漏和多语言分区需要拆开看。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

MS COCO

检测、分割、caption 等视觉 benchmark。

榜单计算机视觉检测
原榜单

榜单 · 计算机视觉

MS COCO

检测、分割、caption 等视觉 benchmark。

检测分割
编号
11
对应算法
检测器、Transformer、NMS、分割
评测对象
检测、分割、caption 等视觉 benchmark。
指标
AP / mAP
基线
公开 detector baseline
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
预训练数据和 test-dev 提交规则要复核。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

Cityscapes

城市街景语义/实例分割 benchmark。

榜单计算机视觉自动驾驶
原榜单

榜单 · 计算机视觉

Cityscapes

城市街景语义/实例分割 benchmark。

自动驾驶分割
编号
12
对应算法
分割网络、CRF、后处理
评测对象
城市街景语义/实例分割 benchmark。
指标
mIoU / AP
基线
公开 segmentation baseline
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
外部数据和 test server 次数受限。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

KITTI Vision Benchmark

自动驾驶检测、跟踪、深度和里程计 benchmark。

榜单计算机视觉自动驾驶
原榜单

榜单 · 计算机视觉

KITTI Vision Benchmark

自动驾驶检测、跟踪、深度和里程计 benchmark。

自动驾驶SLAM
编号
13
对应算法
立体视觉、检测、跟踪、SLAM
评测对象
自动驾驶检测、跟踪、深度和里程计 benchmark。
指标
AP / EPE / odometry error
基线
公开 KITTI leaderboard
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
任务众多,必须先锁定单一赛道。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

TSPLIB

TSP/CVRP 等经典算例库。

榜单组合优化TSP
原榜单

榜单 · 组合优化

TSPLIB

TSP/CVRP 等经典算例库。

TSPVRP
编号
14
对应算法
局部搜索、分支定界、启发式
评测对象
TSP/CVRP 等经典算例库。
指标
tour length / optimality gap
基线
Concorde / LKH
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
算例规模和最优值证据要逐一锁定。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

DIMACS Challenge Benchmarks

最短路、最大流、匹配、SAT 等挑战基准。

榜单图算法图
原榜单

榜单 · 图算法

DIMACS Challenge Benchmarks

最短路、最大流、匹配、SAT 等挑战基准。

图优化
编号
15
对应算法
图算法、组合优化、启发式
评测对象
最短路、最大流、匹配、SAT 等挑战基准。
指标
runtime / objective / correctness
基线
官方参考实现和冠军实现
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
输入格式和 correctness verifier 不可跳过。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

ANN-Benchmarks

近似最近邻索引速度、召回、内存对比。

榜单信息检索向量检索
原榜单

榜单 · 信息检索

ANN-Benchmarks

近似最近邻索引速度、召回、内存对比。

向量检索ANN
编号
16
对应算法
HNSW、IVF、PQ、LSH
评测对象
近似最近邻索引速度、召回、内存对比。
指标
recall-speed-memory tradeoff
基线
Faiss、HNSWlib、Annoy 等
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
硬件和 recall 目标不同会使排名不可比。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

Graph500

大规模图遍历和 HPC 图计算 benchmark。

榜单图算法HPC
原榜单

榜单 · 图算法

Graph500

大规模图遍历和 HPC 图计算 benchmark。

HPCBFS
编号
17
对应算法
BFS、图划分、并行通信
评测对象
大规模图遍历和 HPC 图计算 benchmark。
指标
TEPS
基线
公开 Graph500 排名实现
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
硬件规模对结果影响极大,适合先做单机子集。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

TPC-H

分析型 SQL 查询 benchmark。

榜单数值计算数据库
原榜单

榜单 · 数值计算

TPC-H

分析型 SQL 查询 benchmark。

数据库SQL
编号
18
对应算法
查询优化、执行引擎、向量化
评测对象
分析型 SQL 查询 benchmark。
指标
QphH / latency
基线
DuckDB/ClickHouse 等公开实现
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
商业规则严格,本地优化要标清 unofficial。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

ImageNet Classification

图像分类 top-1/top-5 accuracy benchmark。

榜单计算机视觉分类
原榜单

榜单 · 计算机视觉

ImageNet Classification

图像分类 top-1/top-5 accuracy benchmark。

分类视觉
编号
19
对应算法
CNN、ViT、训练 recipe、蒸馏
评测对象
图像分类 top-1/top-5 accuracy benchmark。
指标
top-1 accuracy / throughput
基线
公开 ImageNet 强模型
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
预训练和增强策略口径要透明。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

GLUE Benchmark

通用语言理解多任务 benchmark。

榜单自然语言处理NLP
原榜单

榜单 · 自然语言处理

GLUE Benchmark

通用语言理解多任务 benchmark。

NLPNLU
编号
20
对应算法
Transformer 微调、adapter、蒸馏
评测对象
通用语言理解多任务 benchmark。
指标
aggregate score
基线
公开 GLUE leaderboard
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
部分任务已饱和,突破意义需谨慎。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

LMArena Arena Leaderboard

人类偏好对战形式的模型综合能力榜单。

榜单推理LLM
原榜单

榜单 · 推理

LMArena Arena Leaderboard

人类偏好对战形式的模型综合能力榜单。

LLMArena
编号
21
对应算法
pairwise preference、Elo/Bradley-Terry、LLM-as-judge
评测对象
人类偏好对战形式的模型综合能力榜单。
指标
Arena score / win rate
基线
公开 Arena 模型
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
偏好样本、匿名策略和模型更新会影响可比性。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

Hugging Face Open LLM Leaderboard

开源语言模型多基准综合评测。

榜单推理LLM
原榜单

榜单 · 推理

Hugging Face Open LLM Leaderboard

开源语言模型多基准综合评测。

LLMHF
编号
22
对应算法
MMLU、ARC、HellaSwag、TruthfulQA、GSM8K
评测对象
开源语言模型多基准综合评测。
指标
average score
基线
公开开源 LLM
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
benchmark contamination 和模板差异需要复核。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

Big Code Models Leaderboard

代码模型在生成、补全和多语言任务上的榜单。

榜单代码 / Agentcode
原榜单

榜单 · 代码 / Agent

Big Code Models Leaderboard

代码模型在生成、补全和多语言任务上的榜单。

codeLLM
编号
23
对应算法
HumanEval、MultiPL-E、MBPP、代码生成
评测对象
代码模型在生成、补全和多语言任务上的榜单。
指标
pass@1 / pass@k
基线
公开代码模型
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
测试集泄漏和执行沙箱差异是主要风险。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

LLM-Perf Leaderboard

不同模型和硬件推理性能对比榜。

榜单深度学习LLM
原榜单

榜单 · 深度学习

LLM-Perf Leaderboard

不同模型和硬件推理性能对比榜。

LLMperf
编号
24
对应算法
推理引擎、吞吐、延迟、显存
评测对象
不同模型和硬件推理性能对比榜。
指标
tokens/s / latency / memory
基线
公开推理运行记录
运行形态
先复核榜单规则,再做本地可复现子集和完整提交包。
注意事项
硬件、量化和 batch 设置必须同口径。

AI 适合度 ·中需要锁定官方规则、公开强基线和可复现实验口径后再运行。

查看原榜单

资料会填入对话草稿,可编辑后发送。

当前语言:中文