可用性网络教学平台可用性测试探究

网络教学平台可用性测试探究

【摘要】可用性是关于软件可使用程度和质量的衡量标准之一,可用性测试是测量软件可用性的方法。该文介绍了可用性测试的相关概念,阐述可用性测试的流程,讨论教学平台可用性测试的特点和原则,并以实例说明可用性测试的方法和应用,希望通过该项研究和实验为网络教学平台的设计和开发提供支持和解决方案。

【关键字】可用性;测试;教学系统;评价

【中图分类号】G40-057 【文献标识码】A 【论文编号】1009―8097(2009)07―0106―05

引言

网络教育是一种利用网络教学平台,通过互联网组织教学的一种成人非面授高等教育形式。随着计算机技术和通信技术的发展,它逐渐变成一种主要的远程教育手段,目前全国有68所大学的网络教育学院提供网络教育服务,在学学生共计数百万人。网络教学平台在网络教育中起着重要的作用,它是网络教育的基础技术平台,其质量对教学效果和学生的学习兴趣有较大的影响。各网络教育办学机构对教学平台的建设也投入了大量的人力物力,如何提高远程教学平台的设计和开发质量,是我们急需研究的课题。笔者带领的课题组在北邮

1

网络学院引入了软件测试中的可用性测试方法来提高远程教学平台软件的质量和易用性,以方便学员学习、提高学习动机和优化教学效果。下文我们将介绍可用性和可用性测试的相关概念,阐述可用性测试的流程,讨论教学平台可用性测试的特点和原则,并以实例说明网络教学平台可用性测试的方法、 内容和结果。

一可用性和可用性测试

可用性一词来源于英文“Usabi l ity”,该词在中文中有可用性、使用性、易用度、易用性、好用性等多种翻译[1]。可用性是一个由来已久的话题,早在1991年,国际标准组织ISO制定的《软件工程产品质量文件》(ISO9126(1991):SoftwareEngineering Product Qual ity)中就有关于可用性的文本。1998年出版的《可用性指南》(ISO9241-1 1(1998):Guidanceon Usabi l ity)中更是作了精确的描述:“可用性是某个特定产品在特定使用环境下为特定用户完成特定用途时所具有的有效性、效率和用户主观满意度”。由上述定义我们可以认为:可用性是产品对最终用户的可用程度,是指产品使用的容易程度,符合人们的需要,运行他们工作或娱乐,通过它实现用户所期待的用途。可用性是软件质量的重要组成部分,因此从软件的设计阶段开始的各个环节都必须注重可用性。基于可用性的设计思想,强调以使用者为中心,让产品的设计能够符合使用者的习惯与需求[2]。以网站的设计为例,网站的可用性是

2

让使用者在浏览的过程中不会产生压力或感到挫折,并能让使用者在使用网站功能时用最少的努力发挥最大的效能。

可用性测试是对产品的可用性进行评估的活动,是一个利用潜在用户来评估产品达到某些可用性标准的程度的过程

[3]。在可用性测试中,我们可以从测试参与者的表现收集定量数据,或者通过用户访谈等手段获得定性分析的素材。通过可用性测试,我们可以预测用户满意度,了解产品的外观、行为和用户交互方式,发现产品在可用性方面存在问题并确定解决方法,或是对相关产品进行竞争性评估等。例如:(1)测试参与者能成功完成任务吗?如果不能,是什么原因?(2)在成功完成的任务中,每项任务能做的多快?这项指标表明用户使用产品的效率。 (3)在成功完成的任务中,每项任务要多少页(或者点击多少次)才能完成?这项指标表明初学者使用产品的需要尝试的次数。

二可用性测试流程

一般来说可用性测试分为计划、分析、测试、总结四个阶段(见图1)。

计划阶段。包括设计可用性测试的流程,撰写测试项目计划,组织项目团队,召开项目开始会议,给项目组的人员安排任务等活动。除此以外,还需要为参与评估工作的人员介绍测试背景,提供关于目标、角色和评估过程的简要介绍。

分析阶段。包括分析现有产品,评价使用者,分析测试任务,

3

分析典型用户,编写测试场景和测试任务,设定可度量的可用性目标等活动[4]。一般在测试中会设计有4-5个任务,任务的个数和难度要合理。如果起步的任务难度太高,会给被试带来挫折感,任务过多也会影响被试的情绪。在本阶段,还需要准备一些辅助材料,如设计评估前的用户调查表、评估后的用户问卷、免责声明、保密协议和同意录像的声明等。

测试阶段。包括招募被测试对象,设定测试进程,引导可用性测试等活动。首先根据测试的要求,招募被测试对象,安排测试时间和测试环境(场所、设备等)。一般来说,每个项目要选择5-7个典型用户,分析时对比测试的数据就能发现共性的问题[5]。然后,请用户填写调查表,以了解用户背景。第三步是向用户介绍测试的大概流程和注意事项,以及其应该了解的背景信息。第四步是让被试执行测试,使用设备纪录和观察被试的活动,并引导用户描述想法。第五步,测试结束后让被试填写调查问卷,进行测试后的访谈,了解更多信息。

总结阶段。分析测试数据,准备测试报告,应用测试结果的工作。首先是对测试获得的数据逐项进行数据分析,包括典型结果和定量数据,并对测试结果统计和解释。第二要对测量结果进行因果分析,并排除干扰因素。在分析中要关注测试对象的表现和变化。第三,针对测试中发现的问题提出解决方案,按优先级排列的问题列表。第四,了解用户的整体满意度和用户评论。最后,向委托方报告可用性测试的结果。此外,有时

4

还要根据测试结果修订测试的方案,供下次测试使用。

三教学平台可用性测试的要点和原则

网络教学平台是网络远程教育中教学得以发生的基础技术平台,它是教学内容的载体,是师生分离的情况下联系教师和学生的桥梁,也是对学习活动进行学习情况跟踪和教学管理的技术平台。网络教学平台的可用性关系到整个教学过程的实施、评价和管理各个环节。教学平台具有软件产品的一般特点,又有其特殊需求,因此教学平台的可用性测试要考虑下面的几点:

1对于多媒体内容的要求。教学平台有可能使用各种媒体承载教学内容。各种媒体对于软件平台的要求差异很大,例如能显示文本内容的系统就不一定能播放影片。因此在可用性测试的设计上要考虑设计多媒体内容的播放的任务。

2对于异质网络的要求。相对于企业内部网络环境的单一性,学习者用于上网的环境千差万别,有窄带的,也有宽带的,甚至还有无线上网的。在可用性指标设计上,教学平台必须考虑到适应各种异质网络环境的要求,能够在恶劣的网络环境下提供最基本的服务(至少能正常递送主要教学内容)。

3对于易用性的要求。学习者的信息技术素养参差不齐,例如有的学习者能够熟练操作电脑,但是有的学习者甚至几乎不会使用电脑。因此在测试任务设计上要着重考虑平台是否存在新手用户的进入门槛,保证平台的基本功能能不用专

5

门学习或很快能学会。

考虑到教学平台的教育特性,及其与一般软件的差异,在对教学平台进行可用性测试时,应该遵守以下原则:

1学习者优先原则[6]。可用性评估的权威不应该是专业技术人员,而应该是产品的终端用户,起决定作用是用户对产品的满意度。教学平台的用户主要是学习者、教师和教学管理人员,后两者是为学习者服务的,因此学习者优先教学平台可用性分析的第一原则。

2代表性原则。系统应该适合绝大多数人使用,并让绝大多数人都感到满意。教学平台的用户在信息技术素养,客观环境以及使用偏好方面的差异很大,因此可用性测试的被试者应能在类型和数量上代表最广大的用户。

3真实性原则。可用性测试不能光靠问卷调查经过简单的统计分析就下结论,必须是在学习者的实际学习和操作环境下进行,在学习者完成操作以后,根据其完成任务的结果,进行客观的分析和评估[7]。

四可用性测试案例

本文以知新网(http://www.省略)作为测试对象,分析可用性测试的流程方法和结果。知新网是基于开源学习管理系统Sakai开发的新一代网上课程管理系统,目前提供了课程大纲、课程空间、 日程表、通知、资源、投递箱、论坛和个人

6

消息、答疑室、词汇表、花名册、作业、成绩册、站点统计等多种教学工具。这些工具均可通过浏览器使用。利用知新网,教师可以创建课程网站,发布通知与共享课程资源;学生也可以在该平台上学习,提交作业,进行在线讨论。

1测试工具

本测试项目使用的是TechSmith公司出品的专业可用性测试软件M o ra e,它能够通过录屏的方式和录像的方式记录用户行为和用户在网站或应用程序中的交互过程。该软件具有以下功能:(1)按照时间同步记录桌面操作、声音、摄像头和完整的事件信息等数据;(2)监控并标记关键时刻,跟踪任务的开始和结束时间点;(3)帮助可用性分析人员快速并自动分析数据,计算可用性指标,并绘制成直观的图表。

2对该网站的测试对象、测试方法、流程

课题组选择了教育技术、管理学两个专业共八名一年级研究生作为测试对象。根据用户对于计算机操作技能,我们将被测者按熟练用户和新手用户分组。通过对新手用户的测试和访谈,了解到新手用户是否能很快入门使用该网站;通过熟练用户的测试和访谈,发现网站是否有不容易被发现的缺点。课题组使用Morae记录被测者对任务的完成情况给出评分和完成时间的统计信息,并根据任务内容和完成情况分析知新网的可用性水平。测试流程主要分为完成测试任务、 问卷调查、用户访谈三步:

7

完成测试任务:我们根据网站的功能结构设计一个覆盖教学平台主要功能的任务流程交给被测者完成。在选择测试对象时确保被测者是第一次进行该项测试,防止产生“安慰剂效应”和“霍尔效应”[8]。测试员要监测被试完成任务的过程,在测试过程中不得向被试提供任何有助完成任务的帮助,以保证测试任务完成情况的真实有效。对于两类不同类型的用户我们设计了略有不同的两组任务(见表1)。

问卷调查:我们设计了包括客观选择和主观回答共16个题目,用于调查教学平台使用者的使用体验。在被测者完成测试任务之后,要求其填写调查问卷(见表2)。

表2用户调查问卷(局部)

1您觉得网站的界面颜色是否舒适?( )

A.舒适B.一般C.不舒服D.影响使用

2文字的大小和字体有没有影响您的使用?( )

A.完全没有影响B.字体太小C.颜色不舒服D.一般

3根据提示可否迅速找到所需项目?( )

A.很快找到B.需要仔细找到C.不容易找到

4是否方便的知道当前所处网页位置?( )

A.有明显标题B.需要仔细辨认标题C.不容易知道

5各板块名称是否准确反映网页内容?( )

A.准确反映B.隐约反映C.很不准确

6本网站反应速度如何?( )下载速度如何呢?( )

8

A.快速B.普普通通C.慢

7帮助文档是否方便查询?( )

A.是B.否

8有无收到不礼貌的错误提示?( )

A.是B.否

访谈:根据被试在测试中的反应和完成任务情况进行访谈,了解问卷不能直观调查的可用性问题,获得一些主观的素材和改进的意见。例如,被试某个任务失败的真实原因或是在某些犹豫的地方是如何思考的。

3测试的结果和分析

测试完成后,我们根据M o ra e记录的任务完成情况进行分析。主要参考数据为任务得分和任务完成时间,其中任务得分有三个等级:0(轻松完成),1(有困难的完成),2(不能完成)。根据对对新手用户的任务完成情况(见图2)和完成任务的时间(见图3)分析,可以看出任务3、任务4和任务6完成的情况很差。经过分析,我们发现:任务3中,帮助图标受到网站整体风格的限制,在颜色上和大小上都较为不明显,不容易被发现,给用户使用带来不方便。任务4中,在发送邮件这一任务上没有一个被测者完成,因为花名册中的邮件链接直接使用Windows默认的OE软件,而现在的用户很少使用这个软件发送邮件,很多系统中的OE软件没有预先配置,无法发送邮件。任务6中,所有被测均未完成删除自己留言的任务。在单

9