VLTS基准套件

CWI/SEN2和INRIA/VASY的联合项目

图片由Jan Friso Groote和Frank van Ham（埃因霍温技术大学）提供

目录

1.什么是VLTS基准套件？

VLTS首字母缩写代表“超大型过渡系统".

VLTS基准套件是以下内容的集合标记的过渡系统（以下简称基准).

每个标记转移系统都是一个有向连通图，其顶点称为状态其边缘称为过渡。有一个可分辨的顶点，称为初始状态。每个转换都由一个名为行动或标签。有一个独特的标签“我“用于所谓的看不见的转换（也称为隐藏过渡或陶-过渡）。

VLTS基准是从有关通信协议和并发系统建模的各种案例研究中获得的。其中许多案例研究与现实生活和工业系统相对应。

2.为什么选择VLTS基准套件？

VLTS基准套件旨在作为科学评估在大型图形上运行的算法和工具的参考标准。

特别是，这包括以下方面的算法和工具显式状态验证并发系统，包括：

与转换系统相比，在更一般的图形上运行的算法和工具也可以通过简单地丢弃附加到转换的标签信息而从VLTS基准套件中受益。

VLTS基准套件的需求在多个地方得到了认可，例如Agostino Dovier、Carla Piazza和Alberto Policriti在他们的CAV’2001论文中（“快速双模拟算法”）：

VLTS基准套件旨在通过提供一套全面的基准来填补这一空白。我们希望它将与其他标准基准一样有用，例如开发的基准，例如评估二进制决策图包。

3.如何使用VLTS基准套件？

所有图形都编码在BCG（二元编码图）格式，然后使用b拉链2工具。据我们所知，这是迄今为止存储超大过渡系统的最紧凑的方法。

首先，您应该确保您使用的机器具有足够的可用磁盘空间（至少500兆字节，1GB是安全的）。

如果您还没有CADP公司您的机器上安装了工具，请注册在这里.

下载图表后，说“图表.bcg.bz2文件“，从下表中，必须首先使用小圆面包2工具：
         小圆面包2 图表.bcg.bz2
这将生成一个名为“图表.卡介苗".

您可以阅读和处理“图表.卡介苗“以两种不同的方式从计算机程序中：

  1. 您可以使用bcg _读取美国石油学会(应用程序编程接口)，它为处理BCG图提供了一组简单的函数。您必须将计算机程序与BCG二进制库相链接。

  2. 您可以使用bcg输入输出该工具将BCG图转换为十几种其他格式（主要是文本格式）。为了避免磁盘空间溢出，建议在管道模式，以便转换后的图形不会写入磁盘。例如：
             bcg输入输出 图表.bcg-aldebaran-更多

注：除了VLTS基准之外，您可能会对由bcg图工具。

4.VLTS基准套件的内容

VLTS基准可以从下表下载。表中的每一行对应一个基准。表中的列包含以下数据：

姓名
（.bcg.bz2）		 #国家 #过渡 #陶（Tau）-
过渡		 #标签 分支因子
平均值[最小值-最大值]		 僵局 牲畜 决定性的 版本 大小（.bcg） 大小（.bz2）
花瓶_0_1 289 1,224 0 2 4.24 [4 - 8] - - - VLTS-1型 4 2
cwi_1_2 1,952 2,387 2,215 26 1.22 [1 - 16] - - - VLTS-1型 8 2
输精管_1_4 1,183 4,464 1,213 6 3.77 [2 - 5] - - - VLTS-1型 10 6
cwi_3_14 3996人 14,552 14,551 2 3.64 [0 - 6] X（X） - - VLTS-1型 13 7
花瓶_5_9 5,486 9,676 2,094 31 1.76 [0 - 6] X（X） - - VLTS-1型 20 8
输精管_8_24 8,879 24,411 8,534 11 2.75 [1 - 5] - - - VLTS-1型 47 32
花瓶_8_38 8,921 38,424 2,916 81 4.31 [0 - 10] X（X） - X（X） VLTS-1型 69 21
花瓶_10_56 10,849 56,156 2,680 12 5.18 [4 - 6] - - X（X） VLTS-1型 120 34
花瓶_18_73 18,746 73043人 39,217 17 3.90 [1 - 6] - - - VLTS-1型 118 97
花瓶_25_25 25,217 25,216 0 2015年 1.00 [0 - 1] X（X） - X（X） VLTS-1型 3,454 245
花瓶-40_60 40,006 60,007 20,003 三 1.50 [1 - 2] - - X（X） VLTS-1型 80 1
花瓶_52_318 52268个 318,126 130,752 17 6.09 [1 - 17] - X（X） - VLTS-1型 696 566
花瓶_65_2621 65,537 2,621,480 0 72 40.00 [40 - 40] - - X（X） VLTS-1型 5,272 835
花瓶_66_1302 66,929 1,302,664 117,866 81 19.46 [2 - 42] - - - VLTS-1型 2,617 1,441
花瓶_69_520 69754个 520,633 1 135 7.46 [0 - 35] X（X） - - VLTS-1型 1,136 727
花瓶_83_325 83,436 325584个 45,696 211 3.90 [0 - 96] X（X） - - VLTS-1型 822 474
花瓶_116_368 116,456 368,569 263,296 21 3.16 [1 - 8] - - - VLTS-1型 538 419
cwi_142_925型 142,472 925,429 862,298 7 6.50 [0 - 9] X（X） - - VLTS-1型 1,147 994
花瓶_157_297 157,604 297,000 31,798 235 1.88 [0 - 48] X（X） - X（X） VLTS-1型 540 53
花瓶_164_1619 164,865 1,619,204 109,910 37 9.82 [1 - 16] - - - VLTS-1型 第3318页 870
花瓶_166_651 166,464 651,168 91,392 211 3.91 [0 - 96] X（X） - - VLTS-1型 1513年 554
cwi_214_684 214,202 684,419 550,611 5 3.20 [0 - 7] X（X） X（X） - VLTS-1型 904 464
cwi_371_641 371,804 641,565 445600 61 1.73 [1 - 25] - X（X） - VLTS-1型 942 167
花瓶_386_1171 386,496 1,171,872 122,976 73 3.03 [1 - 38] - - - VLTS-1型 1,705 122
cwi_566_3984 566,640 3,984,157 3,666,614 11 7.03 [0 - 10] X（X） - - VLTS-1型 4,743 3,988
花瓶_574_13561 574,057 13561040个 0 141 23.62 [1 - 64] - - X（X） VLTS-1型 22,446 687
花瓶_720_390 720,247* 390,999* 1 49 0.54 [0 - 39] X（X） - X（X） VLTS-1型 1,279 171
花瓶_1112_5290 1,112,490 5,290,860 0 23 4.76 [3 - 6] - - X（X） VLTS-1型 12,956 8,330
cwi_2165_8723 2,165,446 8723465个 3,830,225 26 4.03 [1 - 14] - X（X） - VLTS-1型 15,088 8,596
cwi_2416_17605 2,416,632 17,605,592 17,490,904 15 7.29 [0 - 14] X（X） X（X） - VLTS-1型 22,298 19,398
花瓶_2581_11442 2,581,374 11,442,382 2,508,518 223 4.43 [0 - 97] X（X） - - VLTS-1型 25882个 17,732
花瓶_4220_13944 4,220,790 13,944,372 2,546,649 223 3.30 [0 - 97] X（X） - - VLTS-1型 30823个 8,450
花瓶_4338_15666 4,338,672 15,666,588 3,127,116 223 3.61 [0 - 97] X（X） - - VLTS-1型 37,119 15,422
花瓶-6020_19353 6020550个 19,353,474 17,526,144 511 3.21 [2 - 260] - X（X） - VLTS-1型 22,072 565
花瓶_6120_11031 6,120,718 11,031,292 3,152,976 125 1.80 [0 - 16] X（X） - - VLTS-1型 19,256 4,169
cwi_7838_59101 7,838,608 59,101,007 22,842,122 20 7.54 [3 - 13] - X（X） - VLTS-1型 114277个 64,427
花瓶_8082_42933 8,082,905 42,933,110 2,535,944 211 5.31 [0 - 48] X（X） - X（X） VLTS-1型 76,670 2,452
花瓶_11026_24660 11,026,932 24,660,513 2,748,559 119 2.24 [0 - 13] X（X） - - VLTS-1型 51,740 29,016
输精管-12323_27667 12,323,703 27,667,803 3,153,502 119 2.25 [0 - 13] X（X） - - VLTS-1型 58,058 32,430
cwi_33949_165318 33,949,609 165,318,222 74,133,306 31 4.87 [1 - 17] - X（X） - VLTS-1型 312,337 240,432

* 注：基准“vasy_720_390”不是一个连通图：存在无法从初始状态到达的状态和转换。这一事实很明显，因为状态的数量大于转换的数量，这也得到了bcg信息带选项的工具-无法到达的：状态87739…720126和720128…720246不可访问（只有87740个可访问状态和390510个可访问转换）。该基准测试用于确保在VLTS上运行的工具正确处理断开连接的图形（即，它们不会崩溃或无限循环）。这一要求有两个主要原因：（1）大多数科学论文和教科书中给出的标记过渡系统的通常定义不限于连通图，（2）在实践中，非连通图是由分布式状态空间生成算法生成的，这些算法将全局状态空间构造为多个非连通图片段的集合（例如，参见分区LTS).

下图总结了VLTS-1基准的分散情况。平均分支因子等于转换的数量除以状态的数量。为了获得合理大小的图表，使用比实际更低的纵坐标（Y轴）表示具有最高分支因子的三个基准。

VLTS-1色散图

对于上面的一些基准测试，您可以找到在这里Jan Friso Groote和Frank van Ham（埃因霍温技术大学）提供的精美图形可视化。

5.版本历史-贡献者

附件A.如何捐赠新的基准？

我们计划在未来扩展基准套件。因此，我们有兴趣获得不同来源的新基准。

然而，由于我们ftp站点的容量有限，在包括新基准之前可能需要进行选择。

如果您计划捐赠新基准，请记住以下准则：

请记住，我们不会在每次捐赠新基准时都更新基准套件。在发布新版本的基准套件之前，我们将等待新基准的临界量。

附录B.如何对卡介苗图进行置乱？

这个bcg_标签工具及其-争夺选项可用于删除BCG图标签中包含的信息。这使得可以捐赠一个工业案例研究产生的基准，而不会泄露保密协议所涵盖的知识产权。选项-争夺自CADP BETA-VERSION 2008-g（2009年12月）起提供。请参阅bcg标签更多信息，请参见手册页。

附件C.使用VLTS的科学出版物基准测试套件

本附件给出了一份（非详尽的）参考VLTS基准套件的出版物列表。如果您知道更多参考信息，请告知我们。
  1. 斯特凡·布洛姆,伊扎克·范·兰格沃尔德、和伯特·利瑟.标签转换系统的压缩和分布式文件格式.《PDMC’03学报》（美国科罗拉多州博尔德），《理论计算机科学电子笔记》（ENTCS），第89卷，第1期，爱思唯尔出版社，2003年。

  2. 斯特凡·布洛姆和西蒙娜·奥尔赞.分布式状态空间最小化早期版本：FMICS’03会议录（挪威罗罗斯），理论计算机科学电子笔记（ENTCS），第80卷，爱思唯尔，2003年6月。完整版本：《技术转让软件工具》（STTT），第7卷，第3期，斯普林格出版社，2005年。

  3. 弗雷德里克·霍尔曼,马丁·勒克、和马库斯·林德斯特罗姆.UppDMC:mu-Calculus片段的分布式模型检查器.PDMC’04会议录（英国伦敦），理论计算机科学电子笔记（ENTCS），2004年9月。

  4. 克里斯托夫·朱伯特和Radu Mateescu公司.分布式现场等价性检查.PDMC’04会议录（英国伦敦），理论计算机科学电子笔记（ENTCS），2004年9月。

  5. 刘艳红,汤姆·罗萨梅尔,余福祥,斯科特·斯托勒、和胡南军.参数化常规路径查询.2004年PLDI会议记录，ACM SIGPLAN通知，第39卷，第6期，2004年5月。

  6. 卡拉广场和阿尔贝托·波利克里蒂.阿克曼编码、互模拟和OBDD.完整版本：逻辑编程理论与实践（TPLP）第4卷，第5-6期，第695-718页，2004年。

  7. 西蒙娜·奥尔赞.关于分布式验证和验证分发.博士论文，于2004年11月25日在阿姆斯特丹自由大学答辩。

  8. 斯特凡·布洛姆和西蒙娜·奥尔赞.状态空间强互模拟约简的分布式算法.早期版本：PDMC’02会议录（捷克共和国布尔诺），理论计算机科学电子笔记（ENTCS），第68卷，第4期，爱思唯尔出版社，2002年8月。完整版本：《技术转让软件工具》（STTT），第7卷，第1期，第74-86页，斯普林格出版社，2005年。

  9. 达米恩·贝尔加米尼,尼古拉斯·德苏贝斯（Nicolas Descoubes）,克里斯托夫·朱伯特、和Radu Mateescu公司.BISIMULATOR：一种模块化的即时等价性检查工具.2005年第11届系统构建与分析工具与算法国际会议论文集（苏格兰爱丁堡），计算机科学讲稿第3440卷，第581-585页。Springer Verlag，2005年4月。

  10. 休伯特·加拉维,Radu Mateescu公司,达米安·贝加米尼,阿德里安·库里克,尼古拉斯·德苏贝斯（Nicolas Descoubes）,克里斯托夫·朱伯特,伊琳娜·斯马兰达切·斯图姆和Gilles Stragier公司.DISTRIBUTOR和BCG_MERGE:分布式显式状态空间生成工具离子.2006年第12届系统TACAS构建和分析工具和算法国际会议论文集（奥地利维也纳），计算机科学讲稿第3920卷，第445-449页。Springer Verlag，2006年3月至4月。

  11. 简·弗里索·格鲁特和弗兰克·范·哈姆.大状态空间的交互式可视化.早期版本：埃因霍温理工大学计算机科学系，CS-Report 02-142002。完整版本：《技术转让软件工具》（STTT），第8卷，第1期，第77-912006页。

  12. 克里斯托夫·朱伯特和Radu Mateescu公司.分布式实时模型检查和测试用例生成.2006年SPIN会议记录（奥地利维也纳），LNCS 3923，第126-145页，2006年4月。

  13. 玛丽亚·德尔马尔·加拉多,克里斯托夫·朱伯特和佩德罗·梅里诺.基于验证技术的实时数据流分析.第六届编译器优化国际研讨会会议记录（2007年3月，葡萄牙布拉加）。

  14. 玛丽亚·德尔·马·加拉多,克里斯托夫·朱伯特,佩德罗·梅里诺和大卫·萨南.C.OPEN和ANNOTATOR:On-the-Fly模型检查工具C程序.2007年7月，第14届SPIN软件模型检查国际研讨会论文集（德国柏林）。

  15. 吉里·巴纳特,雅库布·查洛普卡、和雅各·范德波尔.改进的SCC分解分布式算法.摘自：2007年7月8日在柏林举行的第六届并行和分布式验证方法国际研讨会论文集。第63-77页。理论计算机科学电子笔记198（1）。爱思唯尔。国际标准编号1571-0661

  16. 约翰·乌迪内 超大模型中的一致随机游动.2007年11月于美国佐治亚州亚特兰大举行的第二届随机测试国际研讨会论文集，第26-29页。ACM出版社。

  17. 弗朗西斯科·兰扎托和弗朗西斯科·塔帕罗.用抽象解释推广Paige-Tarjan算法.《信息与计算》，第206卷，第5期，第620-651页，2008年。

  18. 卡蒂娅·赫里斯托娃,杨红A.刘、和K.Tuncay Tekle公司.为需求驱动分析生成专门的规则和程序.第12届代数方法论国际会议论文集ftware Technology，AMAST 2008（伊利诺伊州乌尔班纳，美国），2008年7月。

  19. Radu Mateescu公司和安东·威伊斯.弱Tau通量的高效实时计算.INRIA研究报告RR-7000，2009年7月。

  20. 约翰·乌迪内 模块化探索.《欧洲自动化系统杂志》，第43卷，编号7-9，第905-919页，2009年。

  21. 西尔维娅·克拉法,弗朗西斯科·兰扎托、和弗朗西斯科·塔帕罗.节省时间效率仿真算法中的空间.第九届并行应用于系统设计国际会议记录（ACSD’09），第60-69页，2009年。IEEE计算机学会。

  22. 李伟松.计算弱互模拟等价性的算法.2009年7月，第三届IEEE软件工程理论方面国际研讨会论文集（TASE’09）。

  23. Radu Mateescu公司和安东·威伊斯.基于层次采样的分层自适应状态空间缓存.2009年3月于英国约克举行的第15届系统构建与分析工具和算法国际会议（TACAS'09）的会议记录。

  24. 约翰·乌迪内,阿兰·丹尼斯、和玛丽·克劳德·高德尔.正则语言中均匀随机生成单词的新二分法.组合物体随机和穷尽生成会议记录，加拿大蒙特利尔，2010年9月。期刊版本：《理论计算机科学》，第502卷，2013年9月，第165-176页。

  25. 弗朗西斯科·兰扎托和弗朗西斯科·塔帕罗.一种基于抽象解释的高效仿真算法.《信息与计算》，第208卷，第1期，第1-22页，2010年。

  26. 卢博斯·布里姆,雅各·范德波尔,希德·德容、和Radu Mateescu公司.分布式模型检查算法的设计与实现.欧洲项目EC-MOAN的可交付成果D3-4，2010年。

  27. 约翰·乌迪内.Approches组合为pour le test statistiqueágrandéchelle.法国巴黎南11大学博士学位，2010年11月。英文摘要如下：Johan Oudinet，《模型的随机探索》，研究报告1534，法国奥赛Recherche en Informatique实验室。

  28. 雅库布·查洛普卡.Mean-Payoff和能量博弈的算法.2011年2月，捷克共和国布尔诺Masaryk大学信息学院博士论文。

  29. 吉尔·巴纳特,雅库布·查洛普卡、和雅各布·范德波尔.SCC分解的分布式算法.《逻辑与计算杂志》，第21卷，第1期，第23-44页。牛津大学出版社，2011年。

  30. 玛丽·克劳德·高德尔.随机测试计数.2011年11月，法国巴黎，第23届IFIP WG 6.1测试软件和系统国际会议（ICTSS’11）会议记录。

  31. 玛丽亚·德尔·马尔·加拉多,克里斯托夫·朱伯特,佩德罗·梅里诺、和大卫·萨南.一种用CADP验证并发C程序的模型提取方法.《计算机编程科学》，第77卷，第3期，第375-392页，2012年3月。

  32. 阿兰·丹尼斯,玛丽·克劳德·高德尔,Sandrine-Dominique Gouraud公司,理查德·拉赛因,约翰·乌迪内、和西尔万·佩伦内特.大模型的覆盖偏差随机探索及其在检验中的应用.《技术转让软件工具》，第14卷，第1期，第73-93页，2012年。

  33. 亚历山大·迪特,米兰塞斯卡、和杰拉尔德·吕特根.基于布尔方程系统的并行软件验证.第19届模型检查软件国际研讨会论文集（SPIN’12），英国牛津，2012年7月。

  34. Radu Mateescu公司和安东·威伊斯.弱Tau融合的连续和分布式实时计算.《计算机编程科学》，第77卷，第10-11期，第1075-1094页，2012年9月。

  35. 哈维尔·卡马拉,格温·萨拉恩,卡洛斯运河、和梅里姆·乌代尔尼.行为适应契约的交互规范与验证.《信息与软件技术》，第54卷，第7期，第701-7232012页。

  36. 拉斐尔·索姆拉.并发系统验证的逻辑和算法.在乌普萨拉大学理学院和技术，2012年10月。

  37. 杰拉德·塞西.标记过渡系统的三种仿真算法.计算研究数据库（CoRR），arXiv:1301.16382013年1月。

  38. 康拉德·库拉科夫斯基 并行互模拟算法.arXiv:1311.7635[cs.LO]，2014年1月。

  39. 卡洛斯·格雷戈里奥·罗德里格斯,路易斯·拉纳、和拉斐尔·马丁内斯·托雷斯.用就绪模拟和iocos输入输出一致性模拟扩展mCRL2.2015年4月于西班牙萨拉曼卡举行的ACM应用计算、软件验证和测试轨道研讨会（SAC-SVT’15）会议记录。

  40. 简·弗里索·格鲁特和安东·威伊斯.一种用于Stuttering等价和分支双模拟的O（m-logn）算法.《用于系统构建和分析的工具和算法国际会议论文集》（TACAS’16），《计算机科学讲义》，第9636卷，第607-624页，斯普林格出版社，2016年4月。

  41. 亚历山大·布尔加科夫,托马斯·吉布森-罗宾逊、和A.W.罗斯科.计算最大弱互模拟和其他互模拟.《计算的形式方面》，第28卷，第3期，第381-407页，2016年5月。

  42. 安东·威伊斯.基于BFS的线性时间特性模型检验及其在GPU上的应用.计算机辅助验证国际会议记录（CAV’16），《计算机科学讲义》，第9780卷，第472-493页，斯普林格出版社，2016年7月。

  43. 杰伦·冯克.使用MapReduce减少互模拟.特温特大学计算机科学硕士论文（电气工程、数学和计算机科学），2016年8月。

  44. 简·弗里索·格鲁特,大卫·N·詹森,杰罗恩·J·A·凯伦、和安东·威伊斯.计算断续等值和分支互模拟的O（mlogn）算法.ACM计算逻辑学报（TOCL），第18卷第2期，2017年6月。

  45. 本杰明·比斯平.计算耦合相似性.柏林理工大学硕士论文，2018年4月。

  46. 克里什南杜·查特吉,莫妮卡·亨津格,维罗妮卡·洛伊岑鲍尔,西蒙·奥莱、和维克托·托曼.具有公平目标的图和马尔可夫决策过程的符号算法.《第30届计算机辅助验证国际会议记录》（CAV’18），《计算机科学讲义》，第10982卷，第178-197页，施普林格出版社，2018年8月。

  47. 郑晓林,邓玉欣,傅晨、和雷国庆.检查双相似性的拟局部算法的扩展与实现.阮建学报/《软件杂志》，第29卷，第6期，第1517-1526页（中文），2018年。内政部：10.13328/j.cnki.jos.005461。

  48. 卡洛斯·格雷戈里奥·罗德里格斯,路易斯·拉纳、和拉斐尔·马丁内斯.IOCOS一致性关系的公理语义.《程序设计中的逻辑和代数方法杂志》，第100卷，第152-184页，2018年11月。

  49. 大卫·N·詹森,简·弗里索·格鲁特,杰伦·J·A·凯伦、和安东·威伊斯.标记转移系统上分支相似性的一个简单O（mlogn）算法.arXiv:1909.10824，2019年11月。另请参阅Eindhoven Computer Science Report 19-03。

  50. 大卫·N·詹森,简·弗里索·格鲁特,杰罗恩·J·A·凯伦、和安东·威伊斯.标记转移系统上分支双相似性的O（mlogn）算法.第26届国际计算机工具和算法会议记录2020年TACAS系统的构建与分析（爱尔兰都柏林），《计算机科学讲义》，第12079卷，第3-20页，斯普林格出版社，2020年。

  51. 简·马滕斯,简·弗里索·格鲁特,拉尔斯·范登·哈克,彼得·希马、和安东·威伊斯.计算互模拟和关系粗划分的线性并行算法.第17届组件软件形式方面国际会议论文集FACS’2021，《计算机科学讲义》，第13077卷，第115-133页，施普林格出版社，2021年。

  52. 佩特拉·范登博斯和Frits Vaandrager公司.具有输入和输出的带标签过渡系统的状态识别.《计算机编程科学》，第209卷，第102678页，爱思唯尔出版社，2021年。

  53. 塔玛吉特·班纳吉,鲁帕克·马朱姆达尔,考希克·马利克,安妮·凯瑟琳·施穆克、和萨代赫·苏贾尼.强转移公平下Omega-Regular博弈的快速符号算法.arXiv:22022.07480v2[cs.FL]，2022年7月29日。

  54. 卢卡·迪·斯特凡诺和弗雷德里克·朗.使用夏普互模拟对优先级系统进行组合验证.技术报告，INRIA，2022年。

  55. 塔马吉特·班纳吉,鲁帕克·马朱姆达尔,考希克·马利克,安妮·凯瑟琳·施穆克、和萨代赫·苏贾尼.求解随机拉宾对策的直接符号算法.第28届国际计算机工具和算法会议记录2022年TACAS系统的构建与分析（德国慕尼黑），《计算机科学讲义》，第13244卷，第81-98页，施普林格出版社，2022年。

另请参见：

版本1.92-上次更新时间：2022/10/17 11:45:32

返回CADP主页