一致性测试指标介绍

1.一致性测试基础概念

1.1一致性测试概念

（1）一致性测试概念：

一致性测试也被称为符合性测试（conformance testing），主要是确定被测实现是否与标准规定一致。

（2）一致性测试目的和意义：

• 一致性测试是协议测试的一个重要方面，是性能测试、互操作性测试和健壮性测试的基础，是协议开发人员首要关心的问题；
• 一致性测试旨在检验所实现的协议实体（或系统）与协议规范的符合程度（而验证则是检查形式化规范的内部一致性），即测试一个协议给定实现的外部行为是否符合协议的规范；

（3）一致性测试的特点：

• 非功能测试：

由于符合性测试或一致性测试涉及组织设定标准的验证，因此属于非功能测试。这种测试并不意味着测试应用的行为，而是测试应用的合规性要求。这是因为它属于非功能测试；

• 不完整：

一致性测试只会增加根据接口规范实现软件应用的可能性。正常测试过程应在一致性测试阶段之前进行，以便有完整的测试覆盖。一致性测试只是整个测试过程的一部分，而不是完整的测试本身；

• 黑盒实现：

软件实现是一致性测试中的黑盒子，只有接口及其与规范的关系得到验证。当接口接收到请求时，会测试接口是否可以处理请求并对其进行正确响应。它与功能无关。

1.2通讯测试分类

1.3一致性测试基本原理

• Reference Specification-给定一个已知协议的规范(specification)：对于测试者而言，协议实现相当于一个黑盒子，测试者可以提供输入信号(报文)，然后观察输出结果；
• Test Sequence-将一系列用来测试实现一致性的输入测试序列为一致性测试集(conformance test suite)：测试集是根据协议的规范得生成的，它是进行协议一致性测试的基础；
• Implementation Under Test(IUT)-通常将被测试的协议实现称为IUT(Implementation Under Test,被测实现）或SUT(System Under Test，被测系统）；

2.一致性测试标准

2.1 信息技术-开放系统互连测试标准

• 根据 ISO/IEC 9646一致性测试方法论的规定：

要制定一个产品测试标准至少应包括 3 个部分：抽象测试集(Abstract Test Suite，ATS)、实现一致性声明形式表(Protocol Implementation Conformance Statements，PICS)和实施附加信息形式表(Protocol Implementation extra Information for Testing，PIXIT）。

2.2 CAN-OPEN测试标准

2.3 MODBUS测试标准

2.4 EtherCAT测试标准

通过一致性测试后，就可以到ETG相关机构申请一致性认证，除了CTT相关测试内容，一致性认证还包括从站设备的指示灯是否规范，与其它产品的兼容性等。通过后就可以拿到一致性认证的证书，并在产品上贴上一致性认证标签。

3.一致性测试MVB示例

（1）物理层测试

（2）功能测试

4.一致性测试Ethernet示例

（1）物理层测试

（2）网络层测试

（3）传输层测试

（4）应用层测试

（5）数据链路层测试

• 网络互联设备测试：

• 局域网交换设备测试：

• 网络服务层测试：