| # | 类别 | 估算条目数 | 单位均量 | 原始总量 | 重复率 | 去重后净量 | 属性 | 主要来源与说明 |
|---|---|---|---|---|---|---|---|---|
| 1 |
书籍与文学
出版书籍 + 历史手稿
|
1.585亿册 +~500万手稿 |
现代 5 MB 扫描 50 MB |
6 PB | 40% | 3.6 PB | 公开 | Google 2010年统计1.299亿册，UNESCO年新增220万册。含历史手稿扫描件、孤本、自出版作品 |
| 2 |
学术论文与期刊
科学论文 + 补充材料
|
1.5亿+篇 (1665年至今) |
~5 MB (含图表附件) |
1 PB | 25% | 0.75 PB | 公开 | 1996年以来超6400万篇，2024年发表514万篇。含预印本重复、多版本等因素 |
| 3 |
软件与源代码
GitHub + GitLab等全平台
|
~8亿个仓库 (含私有) |
~50 MB (含git历史) |
40 PB | 70% | 12 PB | 混合 | GitHub 2025年6.3亿仓库。大量fork、依赖副本、空仓库。去重后有效代码量约12 PB |
| 4 |
电影与电视
专业影视作品
|
~150万部/部 +独立短片 |
~10 GB (压缩高清) |
15 PB | 40% | 9 PB | 公开 | IMDb收录69.9万部影片，含电视节目共124万标题。多格式拷贝、不同分辨率版本重复 |
| 5 |
音乐与音频
录音 + 历史 + 播客
|
2亿+首歌曲 +历史录音 |
~5 MB (压缩) |
4 PB | 30% | 2.8 PB | 公开 | Spotify 1.26亿首(2024)。含古典录音、田野录音、有声书、播客、广播存档 |
| 6 |
视觉艺术与博物馆
全量数字化估算
|
30亿+件藏品 10.4万博物馆 |
~50 MB (高清扫描) |
160 PB | 20% | 128 PB | 混合 | UNESCO统计10.4万博物馆。含绘画、雕塑、考古文物、历史照片。按全量数字化估算，目前仅约15%已数字化 |
| 7 |
新闻与报刊
报纸 + 杂志
|
数十亿篇文章 (400年+历史) |
0.1-1 MB (扫描/文本) |
4 PB | 40% | 2.4 PB | 公开 | 全球约1.3万种日报。含历史报纸扫描、通讯社稿件重复、转载内容 |
| 8 |
历史档案与政府记录
全量数字化估算
|
数十亿份文档 各国国家档案 |
— | 50 PB | 30% | 35 PB | 混合 | 户籍/人口普查/法院/外交/军事记录。UNESCO称95%档案尚未数字化。按全量数字化估算 |
| 9 |
专利与技术文档
专利 + 标准 + 工程文档
|
1.8亿+件专利 (1790年至今) |
~5 MB (PDF含图) |
3.5 PB | 20% | 2.8 PB | 公开 | WIPO: 2024年370万件申请。含技术标准(ISO/IEEE等)、工程图纸、工业设计文档 |
| 10 |
百科与参考工具
维基百科 + 传统百科
|
300+语言版本 6000万+词条 |
— | 0.05 PB | 10% | 0.045 PB | 公开 | 维基百科全语言版含媒体约50 TB。含大英百科、词典、地图集等 |
| 11 |
教育资源
课程 + 教材 + 讲座
|
数百万课程 +教材/视频 |
— | 10 PB | 30% | 7 PB | 混合 | MOOC平台(Coursera/edX等)、大学公开课、K-12教材、职业培训内容 |
| 12 |
科学数据集
基因组/物理/天文/气候
|
数千个大型 科学数据库 |
— | 150 PB | 30% | 105 PB | 混合 | CERN ~200PB(含原始数据)、基因组 ~50PB、气候 ~30PB、天文 ~40PB、地球观测 ~50PB。含已处理+部分原始数据 |
| 13 |
社交媒体与UGC
文化意义部分
|
YouTube文化内容 +博客/论坛 |
— | 100 PB | 50% | 50 PB | 公开 | 仅计入有文化/知识价值的部分：知识类视频、深度博客、Stack Overflow/Reddit讨论等。不含个人自拍/日常分享 |
| 14 |
地图与地理信息
卫星/GIS/历史地图
|
全球卫星影像 +历史地图集 |
— | 50 PB | 30% | 35 PB | 混合 | Google Earth/卫星影像、各国GIS数据、历史地图数字化、海底地形、城市三维模型 |
| 公开文明数据 合计 → | ~595 PB | 均~34% | ~395 PB | |||||
| 15 |
私有/未公开信息
企业·政府·个人·未记录
|
① 企业研发与内部数据 ~300 PB ② 政府机密/军事数据 ~100 PB ③ 个人未发表知识 ~50 PB ④ 私有研究数据 ~100 PB ⑤ 未记录口述/传统知识 ~20 PB ⑥ 未数字化文化遗产 ~100 PB |
670 PB | 20% | 535 PB | 私有 | 含商业机密、军事机密、未发表研究、私人通信日记、原住民口述传统、未发现的考古遗址、私人收藏等。为估算值 | |
| 🜂 文明数据总计（公开+私有，去重后）→ | ~1,265 PB | ~930 PB | ≈ 0.91 EB ≈ 0.00089 ZB | |||||
| 类别 | 重复率 | 主要重复来源 |
|---|---|---|
| 软件与源代码 | 70% | Fork仓库、依赖包副本、镜像仓库、CI/CD产物、备份 |
| 社交媒体与UGC | 50% | 转发/转载、不同平台同步发布、缩略图/转码版本 |
| 书籍与文学 | 40% | 多版本/再版、翻译版、不同格式(ePub/PDF/MOBI)、内容重叠的合集 |
| 电影与电视 | 40% | 多分辨率版本(4K/1080p/720p)、不同编码、备份拷贝、剪辑版/导演版 |
| 新闻与报刊 | 40% | 通讯社稿件多刊转载、同一事件多篇报道、聚合内容 |
| 音乐与音频 | 30% | 多平台分发、混音/母带版、精选集重复收录 |
| 历史档案 | 30% | 档案复印件、跨机构存档、数字扫描多版本 |
| 科学数据集 | 30% | 原始/中间/结果数据叠存、多机构镜像、备份数据 |
| 地图与地理 | 30% | 多时相/多分辨率影像重叠、不同投影系统版本 |
| 教育资源 | 30% | 同一课程多平台分发、翻译版本、年度更新重叠 |
| 学术论文 | 25% | 预印本与正式版、会议+期刊双发、补充材料重复 |
| 视觉艺术与博物馆 | 20% | 多角度/多分辨率扫描、馆藏互借记录、同一作品多个数字化版本 |
| 专利与技术文档 | 20% | 同族专利(多国申请)、标准文档更新版本 |
| 私有/未公开 | 20% | 内部备份、不同部门存档副本、版本迭代残留 |
整体重复率约 34%——即原始总量的约三分之一为重复数据。其中软件代码的重复率最高(70%)， 主要因为 GitHub 上大量 fork 和依赖副本；而博物馆藏品和专利的重复率相对较低(20%)。
| 子类别 | 估算量 | 说明 |
|---|---|---|
| ① 企业研发与内部数据 | ~300 PB | 商业机密、内部代码仓库、客户数据、财务模型、产品设计文档、A/B测试数据、内部知识库。全球企业年均生成数据超100 ZB，其中私有部分可观 |
| ② 政府机密与军事数据 | ~100 PB | 各国情报机构、国防数据、机密研究、卫星侦察影像、外交密电、监控数据。仅美国国安局(NSA)据估计每日收集约3 EB数据 |
| ③ 个人未发表知识 | ~50 PB | 私人日记、未发表手稿、个人笔记、家族记录、私人信件/邮件、个人摄影/录像。80亿人×均6.25 GB≈50 PB |
| ④ 私有研究数据 | ~100 PB | 制药公司临床试验数据、专有实验数据集、未公开的学术研究、工业实验记录。仅辉瑞等大药企各自估计有数十PB |
| ⑤ 未记录口述与传统知识 | ~20 PB | 全球约7000种语言中半数无文字记录。原住民口述历史、传统医药知识、手工艺技艺、民间故事。如全部录制数字化约20 PB |
| ⑥ 未数字化文化遗产 | ~100 PB | 私人收藏的艺术品/古籍、未发掘的考古遗址(估计全球90%未发掘)、消失/损毁文明的残余信息(如亚历山大图书馆类遗失) |
| 合计 | ~670 PB | 去重后约 535 PB。此为粗略估算，不确定性范围 ±50% |
关键洞察：私有信息总量(~670 PB)约为公开文明数据(~595 PB)的 1.1倍。 这意味着人类文明中约有 53% 的知识信息目前未公开。 其中企业内部数据和未数字化遗产是最大的两个未知数。