研究论文

Xfast：Lustre的极端文件属性统计加速

作者:

Xi（希）锂,

马克·安德烈兽医,

安德烈亚斯 Dilger公司,

永风扇、和

安德烈布林克曼作者信息和声明

SC’23：高性能计算、网络、存储和分析国际会议记录

2023年11月

文章编号：96，页数1-12

https://doi.org/10.1145/3581784.3607080

出版:2023年11月11日出版历史

获取访问权限

摘要

并行文件系统上的目录树遍历是许多存储管理任务经常需要的成本高昂的操作。对于大型目录来说，即使列出单个目录的内容也可能需要几分钟到几小时的时间，因为通过系统调用接口顺序访问每个文件的分布式元数据会严重限制Linux中并行文件系统的树遍历性能。

我们提出了eXtreme文件属性stat（Xfast），它通过结合为Lustre文件系统开发了10年的技术来扩展目录树遍历的性能。可伸缩的statahead预测文件访问模式并预取所需的属性，而Size on MDT（SOM）机制减少了RPC调用来收集文件属性的次数。Xfast提高了常见目录操作的性能，例如，将单个进程列出100万个文件的时间从11分钟减少到不到1分钟。

工具书类

[1]

宋勋白（Sung Hoon Baek）。2013.Linux中磁盘阵列的异步分条感知预读框架。IEICE传输。信息系统。96-D，1（2013），19-27。

[2]

彼得·布拉姆。2005年，Lustre存储体系结构。CoRR公司abs/1903.01955（2005）。http://arxiv.org/abs/1903.01955

[3]

塞夫。2016.分布式文件系统的应用程序最佳实践。https://docs.ceph.com/en/latest/cephfs/app-best-practices/。访问时间：2023-03-12。

[4]

陈明（Ming Chen）、吉提卡·巴布·班格拉（Geetika Babu Bangera）、迪安·希尔德布兰德（Dean Hildebrand）、法哈安·贾利亚（Farhaan Jalia）、杰夫·库宁（Geoff Kuening）、亨利·纳尔逊（Henry Nelson）和。2017.vNFS：使用复合和矢量化I/O最大化NFS性能。ACM事务处理。保管部13, 3 (2017), 21:1--21:24.

数字图书馆

[5]

Bailu Ding、Lucja Kot和Johannes Gehrke，2018年。通过事务批处理和操作重新排序改进乐观并发控制。程序。荷兰VLDB。12, 2 (2018), 169--182.

数字图书馆

[6]

顾鹏、朱一峰、洪江和王军。2006.Nexus：Petabyte-Scale存储系统中元数据服务器的一种新的基于加权图形的预取算法。在第六届IEEE集群计算与网格国际研讨会（CCGrid 2006），2006年5月16-19日，新加坡。IEEE计算机学会，409--416。

[7]

红帽。2017.采用Intel Xeon处理器的超微型存储服务器上的Red Hat Gluster存储。https://www.supermicro.com/white_paper/white_paper_Redhat_Gluster_Storage.pdf。访问时间：2023-03-12。

[8]

红帽。2020年。Red Hat Gluster Storage 3.4:管理指南。https://access.redhat.com/documentation/en-us/red_hat_gluster_storage/3.4/pdf/administration_guide/red_hat_gluster-storage-3.4-administration_guide-en-us.pdf。访问时间：2023-03-12。

[9]

克里斯托弗·霍洛威尔（Christopher Hollowell）、理查德·霍格（Richard Hogue）、杰森·史密斯（Jason Smith）、威廉·斯特雷克·凯洛格（William Strecker-Kellogg）、安东尼奥·黄（Antonio Wong）和亚历山大·扎伊特。2014.flashcache和bcache对I/O性能的影响。在物理学杂志：会议系列第513卷。62023

[10]

IBM。2021.IBM Spectrum Scale 5.1.0版：概念、规划和安装指南。https://www.ibm.com/docs/en/STXKQY_5.1.0/com.ibm.spectrum.scale.v5r10.doc/pdf/scale_ins.pdf。访问时间：2023-03-12。

[11]

IU-HPFS公司。2018年，Zester。https://github.com/iu-hpfs/zester。访问时间：2023-03-12。

[12]

Tom M.Kroeger和Darrell D.E.Long。2001.预测文件预取算法的设计与实现。在一般轨道会议记录：2001年USENIX年度技术会议，2001年6月25日至30日，美国马萨诸塞州波士顿。USENIX，第105-118页。

[13]

Jharrod Lafon、Satyajayant Misra和Jon Bringhurst。2012.关于并行文件系统的分布式文件树遍历。在2012年11月11日至15日，美国犹他州盐湖城SC'12高性能计算网络、存储和分析会议。IEEE/ACM，87。

数字图书馆

[14]

桑明·李（Sangmin Lee）、顺·玄（Soon J.Hyun）、金红妍（Hong Yeon Kim）和金英俊（Young-Kyun Kim）。2018.APS：适用于分布式文件系统中并发读取流的不同运行环境的自适应预取方案。超级计算杂志74, 6 (2018), 2870--2902.

数字图书馆

[15]

慧蕾和丹·杜尚。1997。文件预取的分析方法。在USENIX 1997年年度技术会议，1997年1月6日至10日，美国加利福尼亚州阿纳海姆会议记录。USENIX，第275-288页。

[16]

托马斯·莱博维奇。2015.使用Robinhood Policy Engine恢复对HPC文件系统的控制。在程序。Lustre生态系统国际研讨会：挑战与机遇。https://arxiv.org/abs/1505.01448

[17]

保罗·赫尔曼·莱辛、托妮·科尔特斯、吉姆·休斯和安德烈·布林克曼。2016.独立存储设备上高度分散元数据的文件系统可扩展性。在IEEE/ACM第16届集群、云和网格计算国际研讨会，2016年CCGrid，哥伦比亚卡塔赫纳，2016年5月16-19日。IEEE计算机学会，366--375。

[18]

Andrew W.Leung、Shankar Pasupathy、Garth R.Goodson和Ethan L.Miller。2008.大规模网络文件系统工作负载的测量和分析。在USENIX年度技术会议记录，美国马萨诸塞州波士顿，6月22日至27日。USENIX协会，213-226。

[19]

卡盘杠杆。2001Linux NFS客户端中的关闭到打开缓存一致性。技术报告。Network Appliance公司。http://www.citi.umich.edu/projects/nfs-perf/results/cel/dnlc.html

[20]

李希，2017年。Lustre集成策略引擎。技术报告。DataDirect网络。

[21]

Likun Liu、Lianghong Xu、Yongwei Wu、Guangwen Yang和Gregory R.Ganger。2010SmartScan：高效的元数据爬网，用于在大型文件系统中查询存储管理元数据。技术报告CMU-PDL-10-112。美国匹兹堡卡内基梅隆大学平行数据实验室，1-17页。

[22]

Nikki Mirghafori和Anne Fontaine。1994.移动环境中的文件访问设计。在移动计算系统和应用（WMCSA）第一次研讨会，美国加利福尼亚州圣克鲁斯，12月8-9日。IEEE计算机学会，57-62。

数字图书馆

[23]

mpiFileUtils。2013.分布式系统的基于MPI的文件实用程序。https://hpc.github.io/mpifileutils/。访问时间：2023-03-12。

[24]

阿奇查·穆奇塔查伦（Athicha Muthitacharoen）、罗伯特·塔潘·莫里斯（Robert Tappan Morris）、汤姆尔·吉尔（Thomer M.Gil）和陈本杰（Benjie Chen）。2002.Ivy：一个读/写对等文件系统。在第五届操作系统设计与实现研讨会（OSDI），美国马萨诸塞州波士顿，12月9-11日。USENIX协会。

[25]

ORNL公司。2014年，莱斯特。https://github.com/ORNL-TechInt/lester。访问时间：2023-03-12。

[26]

Arnab Kumar Paul、Brian Wang、Nathan Rutman、Cory Spitz和Ali Raza Butt。2020年。HPC存储系统的高效元数据索引。在程序。第20届集群、云和互联网计算国际研讨会，CCGRID 2020，澳大利亚墨尔本，5月11-14日。IEEE/ACM，162--171。

[27]

Brian Pawlowski、Chet Juszczak、Peter Staubach、Carl Smith、Diane Lebel和Dave Hitz。1994年。NFS版本3：设计和实现。在USENIX 1994年夏季技术会议，美国马萨诸塞州波士顿，1994年6月6日至10日，会议记录。USENIX协会，137-152。

[28]

钱英进、李希、Ihara Shuichi、Andreas Dilger、Carlos Thomaz、王世龙、程文、李春艳、曾玲芳、王芳、Dan Feng、Tim Süß和AndréBrinkmann。2019.LPCC：Lustre的分层持久客户端缓存。在程序。高性能计算、网络、存储和分析国际会议（SC）。IEEE/ACM，科罗拉多州丹佛。

数字图书馆

[29]

钱英金、李熙、岩原水池、曾玲芳、凯撒、苏菲和安德烈·布林克曼。2017.Lustre文件系统的可配置基于规则的Classful Token Bucket过滤器网络请求调度程序。在程序。高性能计算、网络、存储和分析国际会议（SC）。IEEE/ACM，科罗拉多州丹佛市。

数字图书馆

[30]

Deepti Raghavan、Sadjad Fouladi、Philip Levis和Matei Zaharia，2020年。POSH：数据软件外壳。在2020年USENIX年度技术会议，USENIXATC，7月15-17日。USENIX协会，617--631。

[31]

Kai Ren和Garth A.Gibson。2013.TABLEFS：提高本地文件系统中的元数据效率。在2013年USENIX年度技术会议，美国加利福尼亚州圣何塞，2013年6月26-28日。USENIX协会，145-156。

[32]

Drew S.Roselli、Jacob R.Lorch和Thomas E.Anderson。2000.文件系统工作负载比较。在程序。USENIX年度技术会议，6月18-23日，美国加利福尼亚州圣地亚哥。美国尼克斯，41-54。

[33]

Frank B.Schmuck和Roger L.Haskin。2002.GPFS：大型计算集群的共享磁盘文件系统。在程序。第10届USENIX文件和存储技术会议（FAST），1月28日至30日，美国加利福尼亚州蒙特雷。USENIX，第231--244页。

[34]

Danielle Sikich、Giuseppe Di Natale、Matthew LeGendre和Adam Moody。2017.mpiFileUtils：用于管理大型数据集的并行分布式工具集。在第二届并行数据存储和数据密集型可扩展计算系统联合国际研讨会会议记录(南卡罗来纳州PDSW-DISCS)11月13日，美国科罗拉多州丹佛市WiP-Session。

[35]

Wei Su、Akshay Aurora、Ming Chen和Erez Zadok。2020年，支持大宗NFSv4化合物交易。在SYSTOR 2020：第13届ACM国际系统和存储会议，以色列海法，10月13-15日。美国医学会，75-86。

数字图书馆

[36]

Sun Microsystems公司。1995.RFC 1813：NFS：网络文件系统第3版协议规范。技术报告。IETF网络工作组。

[37]

克里斯托弗·罗伯特·萨顿。2018分布式文件树拷贝中的性能、可扩展性和健壮性。硕士论文。博伊西州立大学。https://schoolworks.boisestate.edu/td/1444/

[38]

罗伯特·恩德雷·塔尔扬（Robert Endre Tarjan），1972年。深度优先搜索和线性图算法。SIAM J.计算。1, 2 (1972), 146--160.

数字图书馆

[39]

马克·安德雷·维夫、丽贝卡·施泰纳、雷扎·索尔霍德、约格·斯坦坎普、弗洛伦特·维纳蒂尔、珍妮·弗朗索瓦·斯米吉尔斯基和安德烈·布林克曼。2020.DelveFS-用于对象存储的事件驱动语义文件系统。在IEEE集群计算国际会议，Cluster 2020，日本神户，2020年9月14-17日。IEEE，35-46。

[40]

Michael Vrable、Stefan Savage和Geoffrey M.Voelker。2012年。BlueSky：企业的云支持文件系统。在2月14日至17日在美国加利福尼亚州圣何塞举行的第十届USENIX文件和存储技术（FAST）会议记录。USENIX协会，19。

[41]

王菲（Feiyi Wang）、西姆（Hyogi Sim）、卡梅隆·哈尔（Cameron Harr）和萨尔普·奥勒（Sarp Oral）。2017.通过大规模分析和分析深入Petascale生产文件系统。在第二届并行数据存储和数据密集型可扩展计算系统联合国际研讨会会议记录，南卡罗来纳州PDSW-DISCS2017年11月13日，美国科罗拉多州丹佛。美国医学会，37-42。

数字图书馆

[42]

Sage A.Weil、Scott A.Brandt、Ethan L.Miller、Darrell D.E.Long和Carlos Maltzahn。2006.Ceph：一个可扩展、高性能的分布式文件系统。在第七届操作系统设计与实现研讨会（OSDI’06），11月6-8日，美国华盛顿州西雅图Brian N.Bershad和Jeffrey C.Mogul（编辑）。USENIX协会，307-320。

数字图书馆

[43]

吴凤光、奚洪生和徐晨峰。2008年。关于新Linux预读框架的设计。ACM SIGOPS操作。系统。版次。42, 5 (2008), 75--84.

数字图书馆

[44]

袁军（Jun Yuan）、杨战（Yang Zhan）、威廉·詹南（William Jannen）、普拉珊特·潘迪（Prashant Pandey）、阿莫·阿克什塔拉（Amogh Akshintala）、坎昌·钱德纳尼（Kanchan Chandnani）、普娅·德奥（Pooja Deo）、扎尔多什特·卡舍夫（Zardosht Kasheff）、雷夫·沃尔什（Leif Walsh）、迈克尔·。2016.优化写优化文件系统中的每个操作。在第十四届USENIX文件和存储技术（FAST）会议，2月22日至25日，美国加利福尼亚州圣克拉拉。USENIX协会，1-14。

[45]

Erez Zadok、Dean Hildebrand、Geoff Kuening和Keith A.Smith。2017.POSIX死了！万岁。。。错误。。。到底是什么？。在程序。第九届USENIX存储和文件系统热门话题研讨会，2017年HotStorage，美国加利福尼亚州圣克拉拉，7月10-11日。USENIX公司。

[46]

杨湛、亚历山大·康威、焦仪征、埃里克·克诺尔、迈克尔·本德、马丁·法拉科顿、威廉·詹宁、罗伯·约翰逊、唐纳德·波特和袁军。2018.Full-Path索引的完整路径。在第16届USENIX文件和存储技术会议（FAST），2月12日至15日，美国加利福尼亚州奥克兰。USENIX协会，123--138。

[47]

杨湛、焦仪征、唐纳德·波特、亚历克斯·康威、埃里克·克诺尔、马丁·法拉科顿、迈克尔·本德、袁军、威廉·詹南和罗伯·约翰逊。2018.全路径索引文件系统中的高效目录变异。ACM事务处理。保管部14, 3 (2018), 22:1--22:27.

数字图书馆

索引术语

Xfast：Lustre的极端文件属性统计加速
1. 信息系统
  1. 信息存储系统
    1. 存储管理

建议

用于数据密集型计算的高性能分布式并行文件系统

大规模科学应用带来的挑战之一是，如何通过共同使用足够的本地存储资源来存储模拟生成的大量数据，同时提供高性能。。。
阅读更多信息
利用Lustre文件连接实现有效的集体IO
CCGRID’07：第七届IEEE集群计算和网格国际研讨会论文集

Lustre是一种并行文件系统，它通过在许多存储设备上分条划分文件扩展区来提供高聚合IO带宽。然而，我们的实验表明，过宽的条带会导致性能下降。Lustre支持。。。
阅读更多信息
并行文件聚合机制的设计与实现
ROSS’11：第一届超级计算机运行时和操作系统国际研讨会会议记录

一些高性能计算（HPC）应用程序顺序访问数百万个数MB大小的文件，这些文件的总容量可能超过1TB。虽然这样的应用程序可以使用单个共享文件，而不是这么大的文件。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

SC’23：高性能计算、网络、存储和分析国际会议记录

2023年11月

1428页

国际标准图书编号：9798400701092

内政部：10.1145/3581784

主席：
多里安·阿诺德,
项目主席：
罗莎·M·巴迪亚,
项目合作：
凯瑟琳·莫罗

版权所有©2023 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人拥有的本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或收取费用。向请求权限[电子邮件保护].

赞助商

SIGHPC:ACM高性能计算特别兴趣小组、高性能计算特殊兴趣小组
IEEE CS标准

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2023年11月11日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

资金来源

国家自然科学基金
国家重点研发计划
浙江省万人计划
科技创新2030重大项目
浙江实验室联合研究项目
欧盟？s Horizon 2020和德国教育与研究部（BMBF）

会议

SC'23号

赞助商：

SIGHPC公司

SC’23：高性能计算、网络、存储和分析国际会议

2023年11月12日至17日

科罗拉多州，丹佛，美国

接受率

6373份提交文件的总体接受率为1516份，24%

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
273
总下载次数

下载量（最近12个月）273
下载次数（最近6周）22

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子