结晶数据

车间报告

MX原始图像数据格式、元数据和验证

2021年8月14日在线,来自捷克共和国布拉格

A类辅导研讨会由IUCr数据委员会主办,向社区介绍高分子衍射数据金标准。

尽管由于疫情的影响,安排发生了巨大变化,其中包括美国决定严格阻止前往布拉格的物理旅行,以及英国科学家和其他国家的科学家难以安排前往布拉格旅行,但从混合到纯虚拟的转变还是成功的。

研讨会共有24名参与者,其中大约18人在大多数时间都很活跃。阿伦·布鲁斯特在他关于“使用金标准进行千赫速度的数据存档”的演讲中,LBL在全球XFEL实验的高数据速率处理中使用金标准NeXus/HDF5数据格式方面取得了令人印象深刻的进展。赫伯特·J·伯恩斯坦介绍了“MX原始数据格式和黄金标准”中关于黄金标准的简短教程。马克斯·布里安迭戈·加伊佩尔在他们的演示文稿“Stream2 and FileWriter2”中,谈到了Dectris采用金标准的努力,并提出了在其软件上开源的绝佳可能性。菲利普·利昂纳斯基就“少女峰:高数据速率大分子晶体学的数据采集和实时分析系统”发表了令人印象深刻的演讲,提出了需要重新考虑使用LZ4的决定的问题,并建议考虑使用Z标准(https://github.com/facebook/zstd),Facebook支持的LZW-系列压缩。娜塔莉·约翰逊重播了她去年关于“CSD中的同步加速器数据”的演讲。有三份设施报告:一份来自NSLS-II,另一份来自戴尔·克雷特勒Herbert J.Bernstein给出的BNL,澳大利亚同步加速器给出的丹尼尔·埃里克森和Max IV上的一个奥斯卡·奥雷利乌斯.

随后进行了一个多小时的激烈讨论。提出的主要观点是:

  1. 克莱门斯·冯海因(Clemens Vonrhein)询问是否有可能在金本位制中采用和实施轴命名约定。在就这一主题进行了大量辩论后,决定首先将其视为数据验证问题,在这个问题上,软件将尝试向不幸或不一致选择轴名的人提供建议,并努力为刚刚开始的IUCr原始数据验证工作做出贡献,并提供HDRMX的建议和支持通过Brian McMahon发送给IUCr CommDat。
  2. Diego Gaemperle要求就DECTRIS(或任何人)在提出问题、提出问题和为金本位做出贡献时应遵循的管理路径发表明确声明。提供的答案是将Github问题系统用于nexusformat/definitions存储库。大多数黄金标准都包含在nexusformat/definitions NXmx应用程序定义中。一些重要的细节在各种基类中,例如NXtransformations和NXdetector。对于较大的问题,感兴趣的各方应该针对主存储库的一个分支进行工作,并在准备好后,准备一个pull请求,在该分支的代码中引用他们的建议。
  3. Jie Nan以她的名字和Filip Leonarski的名字询问是否有可能扩展金标准以纳入标签以支持非诱导衍射点数据,根据质心像素坐标而不是仅仅根据质心坐标给出的完整或部分反射列表[小时,k个,]. Jie Nan、Filip Leonarski和Herbert Bernstein将组建一个小型工作组,欢迎所有相关方加入,为CBF和NeXus中的必要标签提出正式建议,以实现这一有用的想法。Aaron Brewster加入了该组织。任务基本上是澄清NeXus NXreflections中已有的定义,以便明确地将其与图像轴定义联系起来,并明确地将它们与等效CIF联系起来_衍射_反射。。。标签。这是一项小但必要的清理工作。需要小心操作,以避免轴交换和光束中心翻转,这些有时会延迟衍射图像的处理。第一个稻草人提案有望在8月22日之前完成,正式提案将在10月1日之前完成。该提案将提交NeXus审议通过前一点讨论的路线。Herbert Bernstein将负责向COMCIFS的后续传输,以便将其纳入相关的CIF词典。
  4. 有人提出了压缩问题,Dectris同意考虑在其软件中添加使用Zstandard作为LZ4的可选替代品的选项,因为这一更改不会影响更高级别的软件,而且Zstandard已经是一个受良好支持的HDF5插件。还提出了可能使用比完整图像更小的块大小(可能与模块一样小)的问题,因为它同样不会影响更高级别的软件,并且可能有助于解决Aaron Brewster在其演讲和随后关于数据移动成本的讨论中提出的一些性能问题。
  5. 为了收集有关压缩所需改进的更多信息,将组织一个关于该主题的工作组。菲利普·莱昂纳斯基和赫伯特·J·伯恩斯坦对此表示了兴趣。
  6. John Helliwell在对该报告的评论中指出,“互操作性必须精确定义,例如不同晶体学用户的互操作性。比方说,结晶学和海洋科学之间没有关系。一般来说,这种互操作性是CODATA所理解的术语。"