浅谈pytest+HttpRunner如何展开接口测试

根据wiki中的定义，接口是一个共享的边界，计算机系统的多个独立组件通过它交换信息。这些信息的交换可以基于软件、硬件、外部设备、人和它们之间的组合。根据上述定义，可以面向软件、硬件、交互设备等展开接口测试。软件的接口测试是面向独立组件之间接口的一种测试，主要用于检测内外部系统及内部各子系统之间的交互点。测试的重点在于检查逻辑正确性、交互依赖性、数据正确性.

二、 引入自动化背景

基于以下几个情况，数栈引入自动化测试，以期提高测试效率，保障交付产品质量。

1. 产品迭代迅速
   目前数栈产品已经迭代至Release4.3版本。每过几个月进行一次产品release更新让回归测试的工作量持续上升。接口自动化测试可以很好的减少回归工作量。
2. 应用系统日趋复杂
   数栈目前自研8款产品和多个插件，产品之间的交互与产品-插件之间的交互日趋复杂。客观现实带来了更大的测试风险，测试消耗成本越来越高，花费的时间也越来越长。接口自动化测试可以提高测试效率。

1. 部署环境多样
   作为一款面向大数据的产品，除了开源的Hadoop，还需要适配TDH、CDH、HDP等其他引擎。同时，各种客户的POC环境也需要大量人力支持。

三、 自动化技术选型
接口测试可以使用的工具有很多，Postman、Jmeter、REST-Assured、SoapUI、httpclient等等。数栈产品使用的是HttpRunner这个框架。相比较于前几类工具，它具有以下特点：

1. 简单易用。
   虽然前几款工具中有图形化界面可以让人直观的进行操作，但HttpRunner以“关键字”的优势可以让QA快速的上手框架，对代码能力要求低。根据对应的关键字填入相应的值，即可生成一条测试用例。
2. 可扩展性强
   HttpRunner的V3版本支持了pytest，可以方便的借助pytest插件解决接口测试中遇到的问题，如数据驱动、参数化等。jUnit虽然也具有扩展性强的特点，但是Java语言对于QA来说太重，且学习成本比HttpRunner更高。

1. 易于集成CI
   HttpRunner支持CLI命令，可以方便的接入Jenkins、Gitlab CI等工具。
2. 录制回放
   通过Charles、Fiddler等工具将请求到处为.har文件，然后通过HttpRunner提供的命令，就可以将.har文件转换成json/yaml文件。

数栈产品曾使用过Jmeter作为接口自动化工具。Jmeter拥有可视化图形界面，通过拖动组件信息就可完成用例编排，方便QA使用。但是Jmeter的内置函数不能满足于复杂的数栈产品，虽然可以选择beanshell来写工具脚本，但其难以调试，第三方包管理困难等问题使编写效率低下。同时Jmeter容易出现编码混乱、日志不易于查看等问题。

HttpRunner作为一款优秀的开源框架，在GitHub上拥有2.6k star，集简单易用、扩展性强、易于集成、录制回放等特性于一体，相比较于Jmeter更适用于数栈自动化实践。

四、 自动化测试用例

数栈整体自动化测试架构如下图所示。从上到下可分为用户层、配置层、用例层、数据源。用户可以通过Docker镜像、Pipeline、定时任务来触发自动化任务。运行的结果记录到禅道，然后通过接入自研的EasyV进行展示。配置文件分为两类：一类是应用系统信息，如业务数据库信息、域名、账号密码等；另一类是数据源信息，用于用例的执行，现在支持的数据源有MySQL、Oracle、Kafka、HBase等等。从业务层面分，可以分为8个产品，每个产品编写各自的用例；从执行层面分，可分为接口测试和场景测试。若选择接口测试，则会运行所有产品的接口测试用例。下面拿接口测试用例进行举例说明。

config = (
        Config("测试创建项目接口")
            .variables(
            **{
                "cookie": Cookie().get_cookie(),
                "url": api.aiworks.aiworks_api.AiworksApi.create_project.value,
                "tenant_name": ENV_CONF.uic.tenant_name,
                "project_name": project_name
            }
        )
            .base_url(ENV_CONF.base_url.rdos)
    )

	teststeps = [
        Step(
          RunRequest("开始请求创建项目接口")
            .post("$url")
            .with_headers(**{"cookie": "$cookie"})
        	.with_json(
            	{
                    "enableCycleSchedule": "$enableCycleSchedule",
                     "isSwitchJupyter": "$isSwitchJupyter",
                     "projectAlias": "$projectAlias",
                     "projectDesc": "$projectDesc",
                     "projectEngineList": "$projectEngineList",
                     "projectName": "$projectName",
                     "switchGpu": "$switchGpu"
                }
        	)
            .validate()
            .assert_equal("status_code", 200)
            .assert_equal("body.code", "$code")
            .assert_contains("body.message", "$message")
            .teardown_hook("${delete_project()}")
        )
    ]

	@pytest.mark.parametrize("params", params)
    def test_start(self, params):
        super().test_start(params)