承载镜像
本节介绍并讨论托管所需的技术要求软件遗产镜子。
托管镜像有许多不同的选项,但总体上有一些共同的选项需要满足的要求。
即,承载镜像需要:
具有足够计算能力和存储的专用基础设施
足够的网络带宽(入口和出口)
良好的IT工具(监督、警报)
法律和运营结构处理拆卸请求
镜像操作员不需要运行软件Heritage完整的软件堆栈,但有可能使用它。
全球原始硬件要求如下:
主要存储档案的数据库系统(图形结构);目前的容量约为17TB,增长率约为280GB/月,
对象的对象存储系统(存档的软件源代码文件);目前的容量约为800TB,增长率为约21TB/月,
弹性搜索引擎;目前的主要索引约为1.8亿条(原点),索引大小为360GB;增长率约为2M条目/月,
主web应用程序和公共API的web/应用程序服务器,
应用程序服务的几个计算节点。
镜像应该使用这些数字配置机器或基于云的资源记住。这应该包括通常的健壮性余量(类似RAID的存储、,复制、备份等)。
一般硬件要求
在部署基于Software Heritage软件堆栈的镜像时,将需要:
调整镜像基础结构的大小
注释
下表中带星号(*)的解决方案仍在测试中,或验证。
常见组件
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
存储 |
swh存储器 |
16 |
16 GB |
有规律的 |
10 GB |
搜索 |
弹性搜索 |
三 |
32 GB |
快速/zfs |
6万亿 |
网状物 |
swh-web |
1 |
32 GB |
有规律的 |
100 GB |
图形回放程序 |
swh存储器 |
32 |
4GB |
有规律的 |
10 GB |
内容回放程序 |
swh-obstorage-replayer软件 |
32 |
4GB |
有规律的 |
10 GB |
重放器 |
再贴现 |
1 |
8 GB |
有规律的 |
100 GB |
拱顶 |
swh-拱顶 |
1 |
4GB |
有规律的 |
10 GB |
金库工人 |
swh-拱顶 |
1 |
16 GB |
快速的 |
1TB |
拱顶 |
兔子 |
1 |
8 GB |
有规律的 |
10 GB |
存储后端
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
存储 |
postgresql数据库 |
1 |
512GB |
快速+zfs(lz4) |
40 TB |
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
存储 |
卡桑德拉 |
三 |
32 GB |
快速的 |
30 TB |
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
存储 |
卡桑德拉 |
6+ |
32 GB |
快速的 |
20 TB |
对象存储后端
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
对象存储 |
swh-对象存储 |
1 |
512GB |
zfs(带lz4) |
1PB(1PB) |
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
对象存储 |
swh-对象存储 |
2 |
32 GB |
标准 |
100 GB |
酿酒厂-db |
postgresql数据库 |
2 |
512GB |
快速的 |
10万亿 |
ceph-mon公司 |
首席执行官 |
三 |
4GB |
快速的 |
60 GB |
ceph-osd |
首席执行官 |
12个+ |
4GB |
快速混合+HDD |
1PB(总计) |
SWH服务 |
工具 |
实例 |
皇家音乐学院 |
存储类型 |
存储卷 |
对象存储 |
swh-对象存储 |
三 |
32 GB |
标准 |
100 GB |
海藻LB |
nginx公司 |
1 |
32 GB |
快速的 |
100 GB |
海藻管理员 |
海藻 |
三 |
8 GB |
标准 |
10 GB |
海藻过滤器 |
海藻 |
三 |
32 GB |
快速的 |
1TB |
海藻体积 |
海藻 |
3+ |
32 GB |
标准 |
1PB(总计) |
笔记