承载镜像#

本节介绍并讨论托管所需的技术要求软件遗产镜子。

托管镜像有许多不同的选项,但总体上有一些共同的选项需要满足的要求。

即,承载镜像需要:

  • 具有足够计算能力和存储的专用基础设施

  • 足够的网络带宽(入口和出口)

  • 良好的IT工具(监督、警报)。

运行Software Heritage不需要镜像操作员完整的软件堆栈,但有可能使用它。

警告

本节中给出的体积是根据一月2022.

全球原始硬件要求如下:

  • 主要存储档案的数据库系统(图形结构);目前的容量约为17TB,增长率约为280GB/月,

  • 对象的对象存储系统(存档的软件源代码文件);目前的容量约为800TB,增长率为约21TB/月,

  • 弹性搜索引擎;目前的主要索引约为1.8亿条(原点),索引大小为360GB;增长率约为200万条目/月,

  • 主web应用程序和公共API的web/应用程序服务器,

  • 应用程序服务的几个计算节点。

镜像应该使用这些数字配置机器或基于云的资源记住。这应该包括通常的健壮性余量(类似RAID的存储、,复制、备份等)。

一般硬件要求#

在部署基于Software Heritage软件堆栈的镜像时,将需要:

核心服务#

重播服务#

Vault服务#

调整镜像基础结构的大小#

注释

下表中带星号(*)的解决方案仍在测试中,或验证。

通用组件#

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

存储

swh存储器

16

16 GB

有规律的

10 GB

搜索

弹性搜索

32 GB

快速/zfs

6 TB

网状物

swh-web

1

32 GB

有规律的

100 GB

图形回放程序

swh存储器

32

4GB

有规律的

10 GB

内容回放程序

swh-obstorage-replayer软件

32

4GB

有规律的

10 GB

重放器

再贴现

1

8 GB

有规律的

100 GB

拱顶

swh-拱顶

1

4GB

有规律的

10 GB

保险库工作人员

swh-拱顶

1

16 GB

快速的

1TB

拱顶

兔子

1

8 GB

有规律的

10 GB

存储后端#

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

存储

postgresql数据库

1

512GB

快速+zfs(lz4)

40 TB

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

存储

卡桑德拉

32 GB

快速的

30 TB

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

存储

卡桑德拉

6+

32 GB

快速的

20 TB

Objstorage后端#

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

对象存储

swh-对象存储

1[1]

512GB

zfs(带lz4)

1PB(1PB)

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

对象存储

swh-对象存储

2[2]

32 GB

标准

100 GB

酿酒厂-db

postgresql数据库

2[2]

512GB

快速的

10 TB

ceph-mon公司

首席执行官

4GB

快速的

60 GB

ceph-osd

首席执行官

12+

4GB

快速混合+HDD

1PB(总计)

SWH服务

工具

实例

皇家音乐学院

存储类型

存储卷

对象存储

swh-对象存储

32 GB

标准

100 GB

海藻LB

nginx公司

1

32 GB

快速的

100 GB

海藻管理员

海藻

8 GB

标准

10 GB

海藻过滤器

海藻

32 GB

快速的

1TB

海藻体积

海藻

3+

32 GB

标准

1PB(总计)

笔记