Common Crawl Index
网页抓取语料索引
Common Crawl 提供网页抓取档案的索引与 WARC 文件。
Common Crawl Index API 是网页抓取档案的索引接口,通过 index.commoncrawl.org 对外开放。无需 Key,直接请求即可。
主要能力
- 索引查询:/CC-MAIN-2024-10-index?url= 返回抓取记录。
- WARC 文件:按记录的偏移和长度取原始内容。
- 抓取批次:返回历年 crawl 列表。
- 域名检索:支持通配和前缀匹配。
- CDX 格式:返回状态码、时间和 MIME。
特点
- 免费无 Key,限速宽松。
- 档案体量以 PB 计,按需取片段。
- 只含公开网页,动态内容常缺失。
典型使用场景:网页语料构建、历史页面分析、模型训练数据。
适合:做语料构建或网页历史研究。
基本信息
- 认证
- 无需认证
- 免费额度
- 免费,无公开配额
- 额度来源
- 人工核实
- 商用限制
- 以官网为准
- 状态
- 可用
- 最后检测时间
- 2026-11-18
- 分类
- 公共数据
常见问题
- Common Crawl 怎么查网页?
- index.commoncrawl.org/{crawl}-index?url=...&output=json。
- WARC 怎么取?
- 按返回的 filename 和 offset 发 Range 请求。