automated test case generation for the stress testing of multimedia systems

With the advancement in network bandwidth and computing power, multimedia systems have become a popular means for information delivery. However, general principles of system testing cannot be directly applied to testing of multimedia systems on account of their stringent temporal and synchronization requirements. In particular, few studies have been made on the stress testing of multimedia systems with respect to their temporal requirements under resource saturation. Stress testing is important because erroneous behavior is most likely to occur under resource saturation. This paper presents an automatable method of test case generation for the stress testing of multimedia systems. It adapts constraint solving techniques to generate test cases that lead to potential resource saturation in a multimedia system. Coverage of the test cases is defined upon the reachability graph of a multimedia system. The proposed stress testing technique is supported by tools and has been successfully applied to a real-life commercial multimedia system. Although our technique focuses on the stress testing of multimedia systems, the underlying issues and concepts are applicable to other types of real-time systems.

automated test program generation for an industrial optimizing compiler

Association for Computing Machinery, ACM; IEEE; IEEE Computer Society; SIGSOFT

一种基于模型的并发系统测试目的描述

提出了带约束事件的时序逻辑TLCE,用于描述系统运行中输入/输出事件之间的时序关系以及对事件参数的数据相关性约束.阐述了一种基于模型的并发系统测试框架,采用TLCE描述测试目的以引导测试用例生成.缓存一致性协议和会议协议的实例研究中所生成的测试用例集显著优于随机测试用例集.这说明了TLCE作为测试目的描述的有效性.

基于pCTL的循环优化测试用例自动生成方法的研究与实现

编译优化是现代编译器的重要功能，编译优化测试对保障现代编译器质量有着重要作用。编译优化测试需要编写大量的测试用例程序作为输入，手工完成十分费时费力，因此，有必要研究编译优化测试用例的自动生成方法。 针对编译优化测试，有研究者提出并实现了一种基于分支时序逻辑的测试用例自动生成方法COT。该方法可以有效地生成标量优化测试用例程序，但该方法没有考虑程序中的数组和指针，对优化特征的描述也不能区分循环迭代中的语句实例，更不能刻画语句实例间的数据依赖关系，然而这些是刻画循环优化所必需的，因此，COT不适用于循环优化测试用例的自动生成。 本文针对COT方法的缺陷，首先提出了基于参数化分支时序逻辑pCTL (parameterized computation temporal logic)的循环优化描述方法，通过参数化COT的优化描述体系中的语句谓词、变量引用谓词和变量定义谓词实现了对循环迭代中的语句实例及语句实例间的数据依赖关系的描述。在此基础上，本文提出了基于pCTL 描述的循环优化测试用例自动生成方法COT2。该方法根据pCTL公式构造初始的关键节点控制图，再按照公式语义执行公式处理和虚边替换，得到完整的控制流图，最后计算数组引用下标，生成循环优化测试用例程序。 本文实现了COT2的系统原型，并用循环优化模块的覆盖率指标评价生成的测试用例的质量，实验结果表明该方法对循环优化具有针对性，是一种行之有效的方法。本文还用生成的测试用例程序对GCC各版本的循环优化模块进行了测试，并分析了错误发现数与各版本稳定性之间的关系，进一步验证了本文方法的有效性。

一种基于过程图模型的编译优化测试程序自动生成方法

近年来,以数据依赖分析为基础的高级编译优化成为现代编译器的重要研发内容.针对这类编译优化的测试问题提出了一种测试程序自动生成方法,能够根据指定的数据依赖特征生成测试程序.首先设计了LoSpec语言用以描述测试程序,然后采用一种便于表示数据依赖关系的模型——过程图作为中间表示模型实现了测试程序的自动生成,并开发了自动测试工具LoTester.与已有方法相比,该方法对高级优化更具针对性,自动化程度较高.LoTester目前在一款面向多媒体应用的优化编译器EECC的开发中得到应用并获得了良好效果.

一种编译优化测试用例自动生成方法的设计与实现

编译器的质量保证对提高软件产品的质量有着重要作用,对编译优化的测试是其中的核心部分.对编译优化的测试需要大量的测试用例程序.要构造这些测试用例,使用传统手工构造方法面临着效率低的问题,而基于文法的构造方法则针对性不足.从对优化的形式化描述出发来自动构造测试用例能克服这些缺点.本文设计并实现了一种基于形式化描述的编译优化测试用例程序生成方法.该方法基于编译优化的时序逻辑描述构造关键顶点控制流图,逐步转换为控制流图并得到用例程序.针对GCC(版本4.1.1)进行的覆盖率测试实验表明,该方法可以生成具有较高针对性的测试用例,并达到相当的覆盖程度.

基于时序逻辑的编译优化测试用例生成方法

提出一种基于时序逻辑公式的关键节点控制图生成方法,生成的测试用例针对性强,容易扩展;并以该方法改进了一种编译优化自动化测试工具,在很大程度上消除了其测试冗余,提高了测试效率

一种基于Messy GA的结构测试数据自动生成方法

结构性测试是标识测试用例的基本方法之一．由于程序语言的复杂性以及被测程序的多样性，自动生成结构测试数据的一种有效方法是根据程序运行结果指导生成过程，通过不断迭代，生成符合要求的测试数据集．提出一种基于Messy GA的结构测试数据自动生成方法，将测试覆盖率表示为测试输入集X的函数F（X），并利用Messy GA不需要染色体模式排列的先验知识即可进行优化求解的性质对F（X）的进行迭代寻优，进一步提高了搜索的并行性，并最终提高测试覆盖率．对一组标准测试程序和若干实际应用程序的实验结果表明，较之现有基于遗传算法的生成方法，该方法能够以更高的效率生成更高质量的测试数据，并适用于较大规模的程序．

一种基于安全状态转移的简并测试集生成方法

在总结前人工作的基础上,结合安全操作系统对测试的特殊需求,提出了简并测试集(degenerate test set,简称DTS)的概念,设计了一种使用模型检测的基于安全状态转移的高效测试集生成方法.该方法以状态转移为化简对象,在利用模型检测技术生成测试用例的同时,归并相同的状态转移并化简需求集中的冗余属性,从而最终达到化简测试集的目的.在此基础上,探讨了单个用例失败时用例集的有效性问题,并对DTS生成算法进行了改进.实验结果表明,该方法可以有效地对测试集中的冗余进行化简.

基于分支时序逻辑的编译优化测试用例自动生成方法的研究与实现

编译器是软件产业中重要的工具，对它的质量保证非常重要。编译优化是编译器的重要功能，它的质量对于编译器质量有重大影响。可采用软件测试的方法进行编译器优化模块的质量保证。测试需要测试用例。编译优化的测试用例必须触发编译器的优化功能，是具有可被优化特征的源程序。对不同的编译优化，该特征各不相同。需要将不同优化所对应的特征加入到源程序中以构造编译优化测试用例程序。 TRANS语言结合了时序逻辑，描述了不同的编译优化，包括优化前后的代码特征、优化执行的条件及方法。优化前的代码特征和执行优化的条件可被用作构造编译优化测试用例程序所需的特征。一种基于时序逻辑的编译优化测试用例程序生成方法的框架已被提出。该方法从TRANS描述的某种变体生成编译优化测试用例程序。但是该框架并未完善，面临多方面的问题。本文参考该框架的思想，设计了编译优化测试用例程序生成方法，解决了算法框架的部分问题。该方法可以适应复杂描述的情况；公式的合法性及语义得以保持；具体化并完整化了原有框架。该方法是具有针对性的编译优化测试用例程序自动生成方法。本文对该方法作了原型系统实现，并从中得到测试用例程序。本文设计并进行针对GCC的优化模块测试实验，以覆盖率为评价指标检验了测试用例程序的质量。实验表明该方法生成的测试用例程序具有针对性。对编译优化模块的测试，该方法是一种行之有效的办法。并且该方法仍有更多的应用空间，加以改进后可用于优化组合测试、优化正确性检测等。

an efficient method to generate feasible paths for basis path testing

Basis path testing is a very powerful structural testing criterion. The number of test paths equals to the cyclomatic complexity of program defined by McCabe. Traditional test generation methods select the paths either without consideration of the constraints of variables or interactively. In this note, an efficient method is presented to generate a set of feasible basis paths. The experiments show that this method can generate feasible basis paths for real-world C programs automatically in acceptable time.

a constraint solver and its application to path feasibility analysis

Many testing methods are based on program paths. A well-known problem with them is that some paths are infeasible. To decide the feasibility of paths, we may solve a set of constraints. In this paper, we describe constraint-based tools that can be used for this purpose. They accept constraints expressed in a natural form, which may involve variables of different types such as integers, Booleans, reals and fixed-size arrays. The constraint solver is an extension of a Boolean satisfiability checker and it makes use of a linear programming package. The solving algorithm is described, and examples are given to illustrate the use of the tools. For many paths in the testing literature, their feasibility can be decided in a reasonable amount of time.

基于安全策略模型的安全功能测试用例生成方法

实施第三方安全功能独立测试是信息安全产品测评中的一个重要环节,对于以安全数据库管理系统为代表的信息安全产品,其系统规约的测试并不能完全真实反映系统行为,还需要满足系统安全策略.提出了基于安全策略模型的安全功能测试用例自动生成方法,该方法包括基于语法的划分、基于规则的划分、基于类型的划分等步骤,依据形式化安全模型生成正确描述系统行为的操作测试用例集.该方法有助于提高测试质量,发现手工测试中难以发现的缺陷,并有助于减少测试过程中的重复劳动,实现测试自动化并提高测试效率.

C程序测试数据生成与死循环检测研究

软件测试是保证软件质量的重要手段. 随着软件技术的发展, 软件的规模越来越大, 程序的复杂度也逐渐增加. 软件测试也由原来的人工操作逐渐走向自动化. 自动化软件测试已经成为国内外软件工程研究的热点之一. 本文研究了自动软件测试中的两个问题, 它们分别属于自动测试数据生成和错误查找两方面. 主要贡献如下: 本文提出了一种对含有字符串和字符串函数调用的C语言程序自动生成测试数据的方法. 具体做法是将C语言程序中的字符变量看成是取值范围在0~255之间的整数, 并使用字符数组来表示字符串, 同时将字符串函数建模成一阶逻辑公式和赋值语句. 通过使用前置条件和后置条件来描述函数调用语句, 将程序中的字符串函数调用语句替换成逻辑公式和赋值语句, 之后使用路径分析技术自动生成程序的测试数据. 此外, 本文还实现了一个自动化工具, 能够为真实的C程序自动生成测试数据. 另一方面, 本文还提出了一种自动检查程序中是否含有死循环的方法. 该方法基于静态代码分析, 结合了循环展开和路径可行性分析技术. 具体做法是首先通过遍历控制流图生成待查循环的检验路径, 之后通过分析检验路径的可行性以及路径之间的联系, 判断这些路径是否符合死循环模式. 在此基础上, 本文实现了原型工具, 并对一组基准程序进行测试. 实验结果表明, 工具能高效地检测出C语言程序中的死循环, 准确率较高. 工具的自动化程度较高, 能处理复杂的控制流以及嵌套的循环.