天行健，君子以自强不息 » 测试工具

用户界面测试的颠覆性技术-Sikuli

ricky.zhu — Wed, 27 Jan 2010 14:59:35 +0000

Sikuli绝对是一种颠覆性的技术，至少对于GUI的测试技术来说，是质的突破，比如它彻底解决了在这之前GUI自动化测试工具上的关键点-对象识别。

技术来自于从麻省理工学院计算机和艺术智能实验室的一个用户界面设计小组的研究项目，Sikuli脚本和Sikuli开发平台基于MIT License发布，是开源的。

什么是Sikuli
========
Sikuli是一种利用图片（快照）去搜索和自动化GUI的视觉技术，Sikuli的第一个release包含Sikuli脚本，也就是为Jython编写的一种视觉脚本API，同时包含了Sikuli IDE，一个可以非常容易的用快照书写视觉脚本的集成开发环境。Sikuli脚本可以自动化你在屏幕上看到的一切，而这不需要内部API的支持。你可以编程控制一个页面，一个运行在Windows/Linux/Mac OS X上的桌面应用程序，甚至于一个运行在模拟终端的iphone的应用程序。

Sikuli的必杀技
========
自动化所有你看到的一切
利用快照进行自动化
工作在Java平台（意味着可移植）

Sikuli安装和使用
===========
下载安装了一下，在Windows上需要JDK1.6以上环境，这里有一个简单的视频介绍（看不到youtube的同学翻墙吧）。

不会翻墙的地同学请从如下视频观看：

继续阅读论文
=========
GUI Testing Using Computer Vision

Sikuli: Using GUI Screenshots for Search and Automation

MIT news介绍图像驱动计算

一个例子快照
=========

拭目以待！

开源数据库性能测试工具HammerOra介绍

ricky.zhu — Sun, 19 Jul 2009 15:07:52 +0000

前段时间发现了这个工具，并粗略研究了一下，工具是基于TCL（Tool Command Language）语言的（我之前用Tcl工作过好几年，之前自动化框架就是基于Tcl来开发的，Tcl是非常优秀的自动化脚本语言）

首先HammerOra 是一款负载测试工具

其次HammerOra目前支持Oracle, MySQL和HTTP应用（web应用）

然后HammerOra是开源的，框架有点类似于商业工具LoadRunner

因为HammerOra是基于Tcl语言的，所以天生就是可移植的，可以运行于Windows平台和Linux平台。

HammerOra内嵌了两套标准测试脚本 tpc-c and tpc-h，当然你也可以自己开发和扩充测试脚本，开发语言是Tcl

HammerOra包含三个部分（这点有点类似于LoadRunner）创建测试脚本（打开build-in的tpc-c or tpc-h）然后可以进行调试；配置并创建虚拟用户，并设置虚拟用户的策略，比如持续时间，用户迭代，rumpup原则等，然后控制场景运行；最后是监控事物计数器。对应于LoadRunner分别是VUGen, Controller and Analysis

HammerOra的工作原理就是捕捉Oracle的trace文件，并生成相应的SQL脚本进行回放，所以对用户的场景模拟程度是非常高的。HammerOra跟Oracle的接口是也是利用一个Tcl的package OraTcl来完成的。（之前我们在开发测试平台时，后台驱动Oracle数据库操作也是通过这个package来完成的；记得我面试oracle第一个职位的时候，美国的同事还问到关于这个Package的几个问题）

HammerOra的安装非常简单，一种是源码安装，还是就是安装包安装，就不多做介绍了，可以参考官方文档。

如果你要对数据库进行性能测试，预算有限的话，可以考虑这款优秀的开源工具。

脚本界面：

场景界面：

结果界面：

Automate your Web Application with Oracle ATS

ricky.zhu — Wed, 29 Apr 2009 13:05:23 +0000

Oracle Application Test Suite （Oracle ATS）是基于Oracle收购的e-Test Suite技术而构建的企业自动化测试解决方案，也是Oracle Enterprise Manager的一部分，

随着更多的工具被集成到Oracle EM中来，这个Oralce的策略性产品也在变的越来越强大，最新的EM版本已经是10.2.0.5了，免费下载地址如下：下载地址

今天重点介绍一下Oracle EM中的ATS，以后Ricky会陆续关注EM中的其他组件。

Web application quality and performance issues can have major impact on your bottom line – impacting revenue, customer loyalty and satisfaction and your company’s reputation. However, even today, industry studies suggest that 75% of applications are still deployed without adequate testing. The majority of functional testing that is performed is still done manually and load testing prior to deployment to assess and tune application performance is not a common practice.

Join us for this live 1-hour presentation where we will introduce Oracle Application Testing Suite, a new offering from Oracle Enterprise Manager, and show how it can help you automate your functional and regression testing, automate your load and performance testing and manage your overall test process.

During this presentation you will see a live demo of the following Application Testing Suite solutions:

* Oracle Functional Testing for Web Applications
* Oracle Load Testing for Web Applications
* Oracle Test Manager for Web Applications

视频地址

jackal the divx
其他系列的关于EM的视频讲座，参考链接地址

Oracle推出自动化应用测试套件

ricky.zhu — Wed, 10 Sep 2008 04:32:13 +0000

正如之前预料的那样，Oracle昨天宣布正式推出Oracle Application Testing Suite ，一个完整的企业应用测试套件，这也预示着Oracle正式进入企业测试解决方案提供商之列。

Oracle的这个应用测试套件是Oracle Enterprise Manager解决方案的一部分（完整的EM还包括应用管理，数据库管理，主机管理，SOA管理，中间件管理，实时用户体验感知，应用性能管理，应用质量管理，RAT选件等等，完整的列表可以到EM主页）。包含三个工具

Load Testing for Web Applications
Functional Testing for Web Applications
Test Manager for Web Applications

熟悉自动化测试工具的朋友很容易就想到对应的LoadRunner, QTP and QualityCenter。没错，这就是自动化解决方案中的功能、性能测试工具和测试管理工具。

Oracle的这个测试套件提供：

* Maximize application performance for peak loads—Delivers rigorous validation that protocol-based legacy testing tools cannot provide
* Reduce testing effort—Ensures functional reliability while reducing your testing effort by 50% or more
* Simplify test process management—Provides integrated test management for functional and load testing
* Test using real workloads—Uses real-workload testing to enable fast, risk-free deployment of database applications
* Stay compliant—Helps meet privacy and security regulation requirements while performing production-scale application testing

可以在Oracle的技术社区OTN上下载到这个完整的应用测试套件软件（需要注册OTN帐号即可）

Performance Tester和LoadRunner的比较

ricky.zhu — Wed, 28 May 2008 04:56:21 +0000

两款同样都是比较主流的商业性能测试工具，可能LoadRunner的市场占有率和流行程度更高一些，有意思的是这篇比较的文章出自IBM工程师之手，转载过来，供大家进行工具选型的时候参考。

以下转载自：http://www.ibm.com/developerworks/cn/rational/r-cn-rftloadrunner/

本文概要介绍 IBM Rational Performance Tester （简称 RPT）和 HP Mercury LoadRunner （简称 LR）两个性能 / 压力测试工具，主要从脚本开发，场景构建与配置，性能监控，测试结果分析几个方面，对 LR 和 RPT 的使用做了详细的对比分析，并根据 IBM Lotus Form 系统测试团队从 LR 到 RPT 的迁移的工作经历中总结了一些 RPT 的一些实用技巧。对于那些需要从 LR 工具切换到 IBM RPT 的测试人员的测试技术的平滑过渡，具有较强的借鉴意义。

1 概要介绍

LoadRunner 是一种适用于各种体系架构的自动负载测试工具，通过模拟实际用户的操作行为和实施实时性能监测，来帮助用户排查和发现问题。相比于 RPT, LR 能支持更广范的协议和技术，适应面很广，为用户的特殊环境提供特殊的解决方案。LR 的组件很多，其中最核心的组件包括：

Vuser Generator(VuGen) 用于捕获最终用户业务流程和创建自动性能测试脚本
Controller 用于组织、驱动、管理和监控负载测试。
Load Generator 负载生成器用于通过运行虚拟用户生成负载。
Analysis 有助于您查看、分析和比较性能结果。

IBM Rational Performance Tester（简称 RPT）也是一款性能测试工具，适用于基于 Web 的应用程序的性能和可靠性测试。Rational Performance Tester 将易用性与深入分析功能相结合，从而简化了测试创建、负载生成和数据收集，以帮助确保应用程序具有支持数以千计并发用户并稳定运行的性能。

RPT 是针对 Web 应用程序的性能测试工具，基于 Windows 和 Linux 的用户界面，使用基于树型结构的测试编辑器提供高级且详细的测试视图。
提供不同用户数的灵活的模拟，支持将 Windows 和 Linux 用作分布式负载生成器，使用最小化的硬件资源实现大型、多用户的测试。
支持使用自定义 Java 代码的灵活测试定制。

回页首

2 脚本开发对比

LR/RPT 的脚本的开发过程通常都是采用录制 + 定制的模式。首先通过对典型业务逻辑的录制，完成脚本中的基本业务的框架，然后针对录制结果，通过参数化，数据关联，增加逻辑控制等方式加强脚本的适应性来满足特殊的业务需求。

2.1 脚本录制 / 定制过程

LR：直接生成面向过程的运行代码

LR 通过对基本业务的录制，VuGen 将生成的 Vuser 函数（也称作 LR API）并将他们插入到脚本中。在实践中，LR 脚本就是由这样的 Vuser 函数和一些定制代码组成的。对于基于 Web(HTTP/HTML) 的应用程序的测试，多数用户选择基于 C 语言的 LR 脚本，显然，这种 LR 脚本是一种面向过程的脚本，开发者可以对最终运行的脚本进行直接的修改与调整。对于开发者来说，这种 LR 脚本的开发方式比较灵活。相应地，这项工作，对于开发者的编程基础，尤其是 C 语言和 LR API 的了解，要求都比较高。

RPT：录制结果经过“翻译”生成最终的运行代码

与 LR 不同，RPT 的脚本录制过程可以拆分成两步。如图 1 所示，第一步，RPT Recorder on RAC 负责记录用户的所有 HTTP 请求，生成一系列的 Trace 文件。Trace 文件记录了用户与服务器的交互过程。第二步，当用户完成脚本的录制过程之后，RPT Test Generator 能够根据 Trace 文件“翻译”一遍，生成最终运行的测试脚本。

这种生成临时 Trace 文件的好处是用户可以随时依据该 Trace 文件生成新的测试脚本，然后再对脚本进行测试场景定制，而不用对同一个操作过程做多次录制操作。
图 1. RPT 脚本的录制和生成架构

2.2 参数化

录制业务流程时，LR/RPT 生成一个包含录制期间用到的实际值的脚本。假设用户要使用不同于录制内容的值执行该脚本的操作时，就需要用参数替换已录制的值。这被称为脚本参数化。脚本的参数化可以简化脚本，同时增强脚本适用性。对于 LR 和 RPT 脚本，参数化过程类似，都是定义参数，为参数指定属性或者数据源的过程。但是在 LR 中，只有函数中的参数才能参数化，除此之外，其他字符串不能进行参数化。

RPT 的参数化过程同样简单（以替换用户登录密码为例来说明），首先，选中需要进行参数替换的请求页面，如图 2 所示，选中左侧的登陆请求页面。在其右侧的 Test Data 中则显示与该请求页面相关的所有数据信息，脚本录制人员可以用其他值代替图 2 中的 password 变量。
图 2. RPT 脚本参数化

2.3 数据关联

数据关联类似于参数化，可以简化脚本，适应企业应用中需要动态数据的情况。默认情况下，LR 和 RPT 都能做到一些基本的数据关联，但是由于 HTTP 请求之间关联的复杂性，需要用户手动做一些数据关联。数据关联包含三个步骤，一是定义哪个录制的值需要被关联（替换）；二是定义数据源。三是定义被关联的数据与数据源之间的关联关系。

LR 的数据关联过程如下：lr_save_XXXX（value,dataSource）语句将数据源的值保存到参数 dataSource 中；用 lr_eval_XXXX（dataSource）语句替换被关联的数据。

RPT 中如果需要自己定义关联，则在 HTTP 请求中的 URL 中或者 Data 中选择需要创建关联的部分，然后右键选择替换对象。其中替换对象可以是脚本中已经建立好的引用（这里的引用就是一种用户自定义的数据源），或者 RPT 自带的数据源（例如时间戳对象），或者是 Custom Code( 下节介绍 )。

图 3 中浅紫色的部分是已经被关联的 URL，运行测试时该部分将由被引用的 URL 值来替换该 URL。
图 3. RPT 数据关联

2.4 Custom code

Custom code 是 RPT 独有的概念。尽管 RPT 脚本开发过程中，用户可以直接在 UI 层面达到对脚本的定制，但是这种定制能力毕竟有限。将定义好的 Custom Code 通过 UI 穿插到脚本之中，从而为 RPT 录制的脚本提供充足的扩展能力来保证其灵活的定制性。Custom code 本质上就是一个 Java 类。Custom Code 需要实现 com.ibm.rational.test.lt.kernel.custom.ICustomCode2 接口，并实现该接口中的如下方法：

public String exec(ITestExecutionServices tes, String[] args)

ITestExecutionServices tes 参数是 Test Container 中的一个实例 , 使用它可以访问 Test Container 运行态一些服务。

String[] args 参数是我们定义 Custom Code 时定义传入的参数数组。

该方法的主体就是基于传入的信息进行业务逻辑处理代码，然后将处理结果（一个字符串）返回，其返回的字符串可以被后续的请求引用。Custom Code 是一个纯 Java 的类，所以具有 Java 编程经验的人都可以根据业务需求编写自己的 Custom code。

2.5 数据池

性能 / 压力测试过程中，通常都需要为某些测试提供大量的测试数据。LR 和 RPT 都提供了数据池功能，即是将一个数据文件作为参数值赋给一个参数。

LR 中，用户可以指定该文件的多个数据以何种方式赋值到该参数中。LR 提供三种选择，顺序，随机，唯一。前两种比较容易理解，最后一种是指每个虚拟用户都从该文件中取不同的值作为参数值，如果该数据池不足够大，所有的备选值都已经被取出过一次，即该数据池资源被用尽时，LR 报错。

在 RPT 中，用户只能顺序从数据池中读入测试数据。RPT 的数据池是以 XML 格式存储的，并且在测试开始时，将数据池中的所有数据都加载到内存中，这样的实现模式不利于测试中使用大数据量。不过灵活的 Custom Code 功能可以弥补这方面的不足。对于大量的测试数据，可以通过自定义 Custom Code 来实现 On Demand 的数据读取和加载。
图 4. RPT 数据池

2.6 流程控制

LR 脚本大部分是基于 C 语言的，因此 C 语言中的流程控制语句（例如判断、循环等）都可以加入到 LR 脚本中。RPT 的流程控制操作可以通过 UI 界面轻松进行，它提供了灵活的流程控制模式，包括 IF 条件控制结构，和 LOOP 循环结构。

1. IF 条件控制结构

在 RPT 脚本中，可以将一部分连续的页面或者 HTTP 请求放到一个 IF 条件中去，然后由判断条件来确定 IF 结构中的页面或者 HTTP 请求是否被执行。其判断条件可以是 RPT 自动参数化后的参数，也可以是 Custom Code 的返回值，或者是数字、字符串等。

图 5 是添加了 IF 条件后的脚本，包含了为 IF 语句设置判断条件的配置界面。
图 5. RPT IF 条件控制结构

同样，RPT 也支持 IF-ELSE 的结构。

2. LOOP 循环结构

RPT 中的另外一种流程控制结构就是 LOOP 结构，如图 6 脚本中，将所有的页面放到了一个 LOOP 结构中，然后可以通过指定循环次数来确定其中的脚本循环执行多少次。
图 6. LOOP 控制结构

2.7 全局信息

这里所说的全局信息，实际上是脚本运行时，LR/RPT 产生的内部数据，例如：当时的运行时间，Vu 所在用户组组名，迭代编号等。在 LR 中，所有的全局信息作为特殊的参数类型，供脚本开发者使用。例如 : 如果一个变量为 Group Name 类型，则该变量的值即为当前用户所在的用户组的组名。

RPT 中的全局信息，存在 IDataArea 对象中。IDataArea 对象包含三个方面的信息，分别是“Test Data”、“Virtual User Data”、“Engine Data”，这些信息都可以通过 Custom Code 来获得。

Custom Code 的实现需要继承 ICustomCode2 类，并实现该接口的核心方法“public String exec(ITestExecutionServices tes, String[] args)”，该方法的第一个参数就可以获得 IDataArea 对象，然后获得全局信息。同时用户也可以向 IDataArea 对象中添加信息，提供给测试脚本的其它地方使用。

2.8 错误控制

LR 用户可以指定脚本执行期间的错误的处理方法。默认情况下，当脚本执行出现错误，脚本将退出执行。用户也可以配置运行设置指示当 Vuser 出现错误时仍继续执行脚本。除此之外，用户还可以在脚本中加入 lr_error_message 函数，便于用户对日志的分析。

RPT 中，当脚本运行出现错误，脚本将继续执行 , 可能后续会出现很多错误。

2.9 Debug

LR VuGen 可用作常规文本编辑器。您可以在其中打开任何文本文件并进行编辑。当重播期间在输出窗口中显示错误消息时，您可以双击该错误消息， VuGen 将使光标跳到导致问题的测试行。您还可以将光标置于错误代码上并按 F1 键，查看该错误代码的联机帮助 .

RPT 在运行完一个测试之后，会产生相应的测试日志，如果在测试过程中发生任何错误，RPT 会以“Message”的形式提示出该请求发生错误。如图 7 中的测试日志中被选中的 Message 表示该 HTTP 请求在引用前面的关联值时发生错误。
图 7. RPT 错误日志

回页首

3 场景构建与配置对比

脚本只是定义了某些用户的操作步骤，而一个场景则包含了有关如何模拟实际用户的所有信息。LR 和 RPT 的场景构建过程比较类似，只是对脚本循环的控制，分配负载生成器等配置上略有差别。

LR 中，Controller 组件负责场景的创建。您需要在一个场景中添加一个或多个脚本，并为每个脚本分配相应的 Vuser 组。然后，您可以为每个 Vuser 组分配多个虚拟用户，指定模拟该用户组的负载生成器。图 8 中，负载生成器即为本机，即负载生成器跟 Controller 是同一台机器，如果该处配置成其他计算机的 IP 地址，那么该用户组的负载模拟将由其他计算机完成。LR 中不能通过 Controller 指定一个脚本执行与否的概率，但是可以通过 C 语言开发，完成随机调用脚本的功能。Runtime-Setting 包含了所有针对该场景的一些附加配置，如脚本循环次数，等待时间，网络模拟等。
图 8. LR 场景创建

RPT 中测试场景，是通过“Schedule”来组织的。Schedule 通过用户组、循环控制、随机选择器等功能部件来组织测试脚本使其满足实际场景。用户组则由循环控制或者随机选择器，再加上测试脚本等元素组成。循环控制用来控制其下的测试脚本需要循环执行的次数。随机选择器是为了实现在多个测试脚本中随机选择一个来执行。可以为随机选择器指定权重，通过权重值来决定在多个随机选择项中某项被随机选中的概率大小。图 9 是一个 RPT 创建场景的例子，其中“Schedule Element Details”提供了对 Schedule 的丰富配置功能，与 LR 中的 Run-Time 配置功能类似。
图 9. RPT 场景创建

RPT 的负载生成器配置也比较简单，首先选中要放到其它 RPT 主机上进行模拟的 User Group，然后在其配置界面中选中“Run this group on the following locations”，在其中添加远端的 RPT 主机信息。
图 10. RPT 负载生成器配置

回页首

4 性能监控功能对比

LR 和 RPT 内部都集成了一些实时监控器，RPT 可以对事务，Web，系统，Web 应用服务器等资源进行实时监控。LR 的监控范围更广泛一些，除了上述资源之外，还可以对网络，防火墙，Web 服务器，数据库，ERP，Java 等资源进行实时监控。无论使用那种测试工具，在自动测试过程中的任何时间，用户都可以获知系统的多种性能指标的当前值和变化趋势。

在一个测试场景中，用户需要将被监控的服务器信息加入到资源监控列表中。LR 中，如图 11 所示，从左侧资源树中选择资源种类，在右侧对应资源状态显示窗口中，右键添加被监控的服务器名称。
图 11. LR 添加被监控的服务器信息

RPT 中，图 12 所示，用户需要在 Schedule 的配置窗中的“Resource Monitoring”标签栏添加需监控的服务器。
图 12. RPT 添加被监控的服务器信息

回页首

5 测试结果分析功能对比

LR 和 RPT 都提供了测试结果的多种图表以及图表之间的叠加效果，方便用户分析测试结果。LR 中测试结果图表的生成由 Analysis 组件完成。默认情况下，用户可以直接看到测试的总体概要分析，吞吐率，事务平均响应时间等图表，如果用户希望看到其他资源的监控图，可以通过添加图表完成（图 13）。“Merge Graghs”可以帮助用户将同一个测试结果中的多种资源的结果进行叠加（图 14）。“Cross Result”可以生成多次测试结果的比较分析图（图 15）。
图 13. LR 添加其他资源监控图

图 14. LR 同一次测试中多种监控图的叠加

图 15. LR 多次历史测试结果之间的比较

RPT 也为测试结果提供了直观的图表表现，默认情况下，用户可以直接看到对测试成功率的总体柱状图，整个测试过程完成的总体信息列表，测试中页面的反应时间曲线图等报告。也可以通过添加其他监控信息的方法，将其他资源的监控图叠加到当前的监控图中。
图 16. RPT 叠加其他资源监控图

RPT 也可以实现多次测试结果的比较。在 RPT 的“Test Navigator”中选择待比较的测试结果，在其右键菜单中选择“Compare”，打开“Compare Results”窗口，然后将需要做比较的测试结果添加进来，在下一步中选择要显示的报告，点击“Finish”按钮打开比较结果的显示页面。图 17 是一个测试结果的比较报告。
图 17. RPT 多次历史测试结果之间的比较报告

回页首

6 Rational Performance Tester 实用技巧

1）调整日志采样频率和粒度以适应不同的测试场景

RPT 的 Schedule 提供了测试数据的采样频率和采样粒度的配置，以适应不同的测试场景。在做长时间测试时，在 Schedule 的配置面板中的“Statistics”标签中通过适当增加日志采样间隔时间、日志级别和采样用户量，降低 RPT 的压力，避免因采样数据量过大，使内存耗尽，导致 RPT 无法响应。
图 18. Statistics 配置

在测试过程中，RPT 会记录测试中的请求数据和响应数据，以便在测试之后查看测试过程中的数据和错误信息。对于长时间测试，会产生大量的请求和响应数据，这些大量的日志信息会让 RPT 不堪重负。在 Schedule 配置部分的“Test Log”标签中提供了日志记录的级别设置，对于长时间的测试，推荐使用图 19 所示的配置，记录错误和警告信息的级别为“All”，而对于其它信息则只记录“Primary Test Actions”即可。
图 19. LOG 配置

2）通过 Custom Code 实现多条测试数据的随机读取

在 RPT 中通常采用 DataPool 的形式作为少量测试数据（例如模拟多个用户登录所用的多个用户名密码信息）的输入。不过 DataPool 的读取方式为顺序读取。如果对于输入数据需要随机读取，则可以通过 Custom Code 来实现。其实现方式可以是将测试数据存为“*.cvs”等格式文件，然后通过文件操作，并根据随机数从文件中读取内容作为测试输入数据。

3）使用超大测试数据集文件

对于在测试过程中存在少量测试数据分次作为测试输入数据时（例如模拟多个用户登录所用的多个用户名密码信息），通常采用 DataPool 的形式，但是在测试数据量较大时该方法就不再适用，因为对于 DataPool 中的数据，测试开始时就被全部加载到内存，如果测试数据量过大，这种方式会造成大量的内存浪费。

这种情况可以通过 RPT 提供的扩展功能 Custom Code 来定制代码，达到在测试过程中在需要的时候再去加载所需的内容，其实现也可以采用文件操作的方式。

回页首

总结

本文中，我们概要介绍了 RPT 和 LoadRunner 两个性能压力测试工具，从多方面对两个工具进行详细的对比分析，并根据实践经验总结了一些 RPT 的实用技巧。通过本文，并学习链接中的网站，希望您能更快，更多的了解和使用 Rational Performance Tester 工具。

免责声明和公开声明

本文所述观点是基于作者个人对相关产品的理解，并不代表 IBM 的官方观点，IBM 不对本文中的信息负责。本文是在本人的知识范围内写成的。如果您发现有异议的地方，请与本人联系。

参考资料

学习

访问 Rational Performance Tester 产品网页，查看 Rational Performance Tester 产品数据表。
查看 HP LoadRunner 产品网页。
Rational Performance Tester 使用示范教程：“Hello World: 使用 Rational Performance Tester 发现并分析应用程序的性能问题”。
Rational Performance Tester 产品演示，Rational Performance Tester 使用演示。
通过文章 “IBM Rational 助您轻松完成基于 J2EE 的 Web 应用系统的性能测试和性能优化”，了解 Rational 的自动化测试工具。

获得产品和技术

Rational Performance Tester 试用版软件下载。
LoadRunner Loadruner 官方网站。

Oracle收购e-TEST suite

ricky.zhu — Fri, 28 Mar 2008 05:58:39 +0000

Oracle今天宣布从Empirix 公司手中收购e-TEST suite系列软件。

自从Oracle 去年推出Unbreakable Linux计划和今年年初收购BEA之后，产品线就日趋完善了，覆盖了从操作系统，数据库，中间件，到应用程序的企业级一揽子解决方案。大家可能已经注意到，在Oracle 11g中一个重要的feature就是RAT （real application testing），我感觉这是oracle涉及软件测试市场的一个前兆，现在oracle收购了e-TEST suite并把它集成到Enterprise Manager中去，并和RAT进行集成，更大大加强了Oralce在测试工具和应用测试方面的力量。

目前在企业级的测试工具市场上，HP和IBM主导占据了主导地位，HP-Mercury和IBM-Rational的系列测试解决方案产品占据了绝大多数的市场份额。Oracle现在携e-TEST suite涉足这一领域，也有有自身的优势，那就是跟自己产品的融合以及全套的解决方案系列。另外e-TEST suite本身也是一套完整的测试工具套件，包括功能测试工具e-Tester（类似Mercury Quick Test Professional和WR和Rational Functional Tester），e-Load（类似HP LoadRunner和Rational 的Performance Tester），e-Manager Enterprise （类似Merucyr Quality Center和Rational Test Manager），每一部分的功能都有自己的优势，下面是一个完整的介绍，有兴趣的朋友可以下载试用版试用。

e-Tester介绍：

Automated Functional Testing of Web Applications

e-Tester is a flexible, easy-to-use solution for automated functional and regression testing of your Web applications and Web Services. It provides the fastest way to create automated scripts that emulate complex Web transactions. e-Tester then enables you to use these scripts for automated functional and regression testing.

Benefits

* Keeps you ahead of changing applications by delivering the best capabilities for testing today’s complex and dynamic Web technologies
* Lets you focus on testing rather than programming test scripts by providing the most intuitive scripting interface and the best out-of-box support for automated script generation
* Reduces test cycle times by enabling you to quickly and efficiently run automated tests without having to go through extensive training or learn proprietary scripting techniques
* Improves application quality by allowing you to effectively leverage automated functional and regression testing to increase test coverage and perform more extensive validation

Features

* Integrated WebSmart technology enables the automation of the most complex Web applications and associated technologies out-of-the-box
* Visual Scripting™ provides the fastest and easiest way to create test scripts through an intuitive graphical user interface, with no programming required
* Advanced scripting extensibility with Visual Basic for Applications gives you the flexibility to handle a wide array of testing challenges, using a standard programming environment
* Data Bank Wizard™ simplifies the creation of data-driven tests so you can leverage external data sources to drive your automated Web transactions
* Default and user-defined test cases enable you to validate application functionality and ensure that the correct content is being returned to your users
* OneScript allows you to use the same scripts, without modification, for functional and regression testing, load and performance testing, and application management

e-Load介绍：

Performance Load Testing for Web Applications

e-Load is a powerful solution that enables you to easily and accurately test the performance and scalability of your Web based software and Web Services. With e-Load you can simulate hundreds or thousands of concurrent users, executing real business transactions to analyze the performance of your Web applications under load. It also enables you to monitor the performance of your back-end application infrastructure, during your load test, to identify bottlenecks and help you tune application performance. e-Load is fully accessible via a Web browser interface, which enables testers and developers to collaborate during the application testing and tuning process.

Benefits

* Maximizes application performance by giving you the ability to tune your application under peak load conditions, so you can get the most out of your Web infrastructure.
* Improves application response times by helping you to quickly identify and address bottlenecks that limit performance under load and cause application slowdowns.
* Pinpoints hard to find bottlenecks by monitoring your back-end application infrastructure while running your load test, to identify performance bottlenecks at their source.
* Reduces testing time by enabling testers and developers to share test results in real-time, via the Web, to enable a collaborative testing approach.

Features

* WebSmart technology enables you to automate the most complex Web applications and associated technologies out-of-the-box to create robust load test scripts.
* Scalable load generation gives you the ability to simulate hundreds or thousand of users while minimizing the hardware required to run your test.
* Integrated ServerStats monitors enable you to gather critical performance metrics from your back-end server and network components to identify bottlenecks that occur under load.
* Intuitive Web-based user interface enables users to access e-Load via any Web browser to easily configure load tests, set up server monitors, run tests and view real-time and post-run results.
* Collaborative load testing allows multiple distributed users to share e-Load results during a live load test session and collaborate on application performance testing and tuning.

e-Manager Enterprise介绍：
e-Manager Enterprise is a comprehensive test management solution that allows you to plan, document, and manage the entire application testing process, including both manual and automated tests. Its intuitive, Web-based interface and integrated management modules allow you to set up a customized testing process to fit the needs of your organization.

Benefits

* Reduces test cycle times by providing a structured approach to the testing process that integrates requirements management, test planning, test execution, defect tracking and customized reporting
* Improves testing efficiency by allowing testers and developers to collaborate and share information throughout the application development and testing process
* Promotes the reusability of test cases by providing a central location for storing all test assets, including both manual and automated test cases, so they can be accessed by all team members
* Increases visibility by allowing application team members and managers to monitor the testing process and gauge application readiness

Features

* Requirements module allows you to manage application test requirements and associate requirements to test cases to ensure test coverage
* Tests module lets you create detailed test plans where you can document, store, and execute both manual and automated test cases and manage results
* Issues module provides an integrated defect-tracking solution, allowing you to document issues identified during testing and track them through their resolution
* Integrated Reporting enables your entire team to view fully customizable reports to review requirements, analyze testing activity and determine application readiness
* e-Tester integration allows you to document and manage your automated e-Tester scripts, execute those scripts from the test plan

GUI自动化测试工具TestMore

ricky.zhu — Tue, 01 Jan 2008 14:15:19 +0000

今天给大家推荐一款优秀的GUI自动化测试工具TestMore，这是Andy陶祖洪兄弟自己利用业务时间独立开发的，非常的不容易，希望大家多多支持他。

简介：
TestMore 是一个 UI 测试自动化工具，基于 Microsoft 公司的 NET 框架和动态语言运行时(DLR)基础之上，支持多种脚本语言，目标计划支持四种标准的脚本语言:

* Python http://www.python.org
* Ruby http://www.ruby-lang.org
* JavaScript http://www.ecmascript.org/
* Visual Basic 10(VBx) http://msdn2.microsoft.com/zh-cn/vbasic/default.aspx

下载地址：

http://code.google.com/p/testmore/

TestMore当前最新的版本是0.6，主要feature如下

TestMore 当前版本实现的特性集合如下：
TestMore 0.6D101

* 集成正则表达式插件
* 集成帮助菜单和在线网站
* 重构并完善自动化对象模型(1.0 Beta)
* 重新实现 IE 驱动程序
* 更新帮助文档并打包发布

TestMore 0.5D601

* 集成工程管理模型
* 集成工程管理面板
* 支持用户自定义用例模板功能

TestMore 0.3D201

* 实现源代码编辑功能：创建、打开、保存、另存为……
* 语法高亮度显示功能：支持Python、Javascript、Ruby、VisualBasic、……，可以根据需要添加其它语言；
* 源代码折叠显示功能：提供了更好的编辑视图，目前仅提供 Python/JavaScript/Ruby 折叠支持；
* 动态脚本语言的支持：安装包中集成了 IronPython 实现，可以实现Python脚本语言的编辑调试；
* 支持插件功能，目前没有开放插件SDK
* 支持多语言

如何理解LoadRunner中的关联

ricky.zhu — Sat, 18 Aug 2007 06:42:38 +0000

说关联之前先说说正则表达式吧(也叫规则表达式，其实说的是一个东西)

在脚本语言中，给定一个复杂的字符串，如果要取其中符合一定模式的字符或者字符串，就需要进行模式匹配，这个时候正则表达式就是最好的解决方案了。下面举个简单的例子说说。

给定一个字符串org：

“Value=/wEPDwUKLTY4MzkwMjI5MA9kFgJmD2QWAg==”, ENDITEM,

假如我们要匹配Value=/后面的这个很大的值，那么用正则表达式改怎么写呢？
下面给出一种Tcl语言的正则表达式写法(写法不止一种），

set org “Value=/wEPDwUKLTY4MzkwMjI5MA9kFgJmD2QWAg==”

if [regexp -all {Value=/(.*)==} $org match value] {
puts $value
}

这里用到了两个参考，前面的边界和后面的边界，前面的边界是：\”Value=/, 后面的边界是：==\” 利用这两个边界，左边界和右边界，我们就可以准确的定位和匹配这个需要的字符串。

说了这么多，现在步入正题，LoadRunner中的关联。其实前面介绍了正则表达式，明白点的朋友可能已经知道我想说什么了–这就是我理解的LoadRunner中关联的内部实现，当然可能实际的实现比这个要复杂的多。

那个字符串org就是我从一段脚本中摘录过来的，是一个web page的源代码中的一句话，LoadRunner通过web_reg_save_param函数在内部利用正则表达式把这个值匹配下来，然后存起来，以备后面使用。

web_reg_save_param函数有两个很重要的参数，就是LB和RB，这就是我前面正则表达式里面用的左边界和右边界。这个值是在调用之前提前取出来的，所以web_reg_save_param这个方法一定要写在使用调用或者打开页面的前面。

抛砖引玉，希望对加深大家对LoadRunner中关联的理解有帮助。

Oracle数据库压力测试工具SwingBench

ricky.zhu — Mon, 06 Aug 2007 13:42:27 +0000

SwingBench是一款针对Oracle数据库的压力测试工具，由Oracle UK的员工开发，目前稳定版本2.2，最新版本2.3，基于JDK1.5。该工具是免费的，可以在作者的网站上自由下载，而且由比较详细的使用文档。

Swingbench可以执行4种不同的标准测试(benchmark)，拥有三种前端展示方式 Swingbench/Charbench/Minibench，其中Charbench是字符模式的，另外两种是GUI模式的。另外还可以通过 ClusterOverview可以聚合显示所有的结果。Swingbench的开发目的主要是用来展示RAC的负载和测试，但也可用于单实例环境。最新的2.3版本开始支持TimesTen内存数据库。

下面是一个工具的展示图：

工具的配置和使用相当简单，下面是一个简单得使用介绍，可以参考作者的文章了解详细的安装和配置使用指南

下载后解压缩，然后修改配置文件中的JAVAHOME和SWINGHOME。Unix/Linux平台配置文件为swingbench.env，执行文件路径为bin；Windows下则为swingbenchenv.bat和winbin。在windows平台上注意一定要配置ORACLE_HOME，好像不认注册表。

Swingbench的配置文件为swingconfig.xml，但是通过命令行参数可以覆盖配置文件中的设置。其他各种工具也都有自己相应的xml配置文件。

使用Swingbench相当简单，直接调用相应的向导或者展示程序即可图形化操作。

下载地址：http://www.dominicgiles.com/downloads.html
作者博客：http://www.dominicgiles.com/blog/blog.html
文档地址：http://www.dominicgiles.com/Swingbench.pdf

两件事

ricky.zhu — Sat, 04 Aug 2007 06:33:26 +0000

一件是好事–
广东省软件测试联盟马上就要成立了，可喜可贺！！
关于这个组织的详细情况，请密切留意后续报道。

另外一件是坏事–
我这次LoadRunner CPC考试又没有过，:(
事隔接近一年之后，第二次踏进CPC的考场（这次广州地区居然就我一个），虽然题型跟以前发生了一些变化，但是题目的内容和考点基本跟以前差不多，大意了！

据HP的人士透露讲，以后的CPC考试将彻底改变现在的模式，自从Mercury被HP收购之后，Mercury之前的那套认证考试模式和题库依然还是维持在一个过渡期，估计HP现在已经消化的差不多了，以后大的改变可能难度会有所加大，加大难度也好，省的泛滥，呵呵。

今天自己宣布彻底告别LoadRunner的认证考试！

天行健，君子以自强不息 » 测试工具

用户界面测试的颠覆性技术-Sikuli

Related Posts

开源数据库性能测试工具HammerOra介绍

Related Posts

Automate your Web Application with Oracle ATS

Related Posts

Oracle推出自动化应用测试套件

Related Posts

Performance Tester和LoadRunner的比较

Related Posts

Oracle收购e-TEST suite

Related Posts

GUI自动化测试工具TestMore

Related Posts

如何理解LoadRunner中的关联

Related Posts

Oracle数据库压力测试工具SwingBench

Related Posts

两件事

Related Posts