Common Crawl Index

网页抓取语料索引

Common Crawl 提供网页抓取档案的索引与 WARC 文件。

Common Crawl Index API 是网页抓取档案的索引接口,通过 index.commoncrawl.org 对外开放。无需 Key,直接请求即可。

主要能力

  • 索引查询:/CC-MAIN-2024-10-index?url= 返回抓取记录。
  • WARC 文件:按记录的偏移和长度取原始内容。
  • 抓取批次:返回历年 crawl 列表。
  • 域名检索:支持通配和前缀匹配。
  • CDX 格式:返回状态码、时间和 MIME。

特点

  • 免费无 Key,限速宽松。
  • 档案体量以 PB 计,按需取片段。
  • 只含公开网页,动态内容常缺失。

典型使用场景:网页语料构建、历史页面分析、模型训练数据。

适合:做语料构建或网页历史研究。

  • 免费额度
  • 限速
  • 接入示例
  • 报错

基本信息

认证
无需认证
免费额度
免费,无公开配额
额度来源
人工核实
商用限制
以官网为准
状态
可用
最后检测时间
2026-11-18
分类
公共数据

常见问题

Common Crawl 怎么查网页?
index.commoncrawl.org/{crawl}-index?url=...&output=json。
WARC 怎么取?
按返回的 filename 和 offset 发 Range 请求。