阶段学术搜索过程中用户认知负荷变化——以中国知网的实证研究为例.doc

学术搜索过程中用户认知负荷变化

以中国知网的实证研究为例

刘萍杨孙

武汉大学信息管理学院

A的/意义探宄学术搜索过程屮的认知负荷动态变化规律识别认知负荷最重的阶段及内在原因为学术搜索系统设计人员提供相应的系统优化意见。 方法/过程采用实证研宄方法招募20名用户使用CNK 1学术搜索平台完成包含6个任务阶段的搜索任务。收集定性访谈、定量问卷以及录屏软件得到的数据进行分析揭示出学术搜索过程中用户认知负荷变化模式。 结果/结论学术搜索过程屮6个不同阶段用户认知负荷发生显著变化;相比焦点表达FF阶段和成果展示RE阶段用户在聚焦探索PE阶段和标记内容 I G阶段的认知负荷显著较高在PE阶段达到峰值;在学术搜索过程的前两个阶段即任务初始 T I阶段和构建查询TS阶段用户的认知负荷处于较低水平显著低于后4个阶段。本文的研究有助于系统设计人员更好地理解用户在不冋阶段的认知负荷,为改善学术搜索系统的交互设计提供支持。

关键词

学术搜索;用广;认知负荷;实证研究;

研究方向智能信息检索、知识管理、数据挖掘。

研宄方向智能信息检索。

基金国家自然科学基金面上项目 “基于个性化知识地图的交互式信息检索系统研究从用户认知的角度”的研究成果之一项0编号:71573196

Users' Cognitive Load Variation inthe Process of Academic Search: AnEmpirical Research of CNKI

Abstract

[Purpose/significance] The purpose of this study is to explore the dynamic

variat ion patterns of cogni t ive load in academic search process , ident ify theheaviest cogni t ion load stage and the reasons , and provide corresponding systemopt imizat ion suggest ions for academic search systemdesigners . [Method/process]The empirical research method is adopted. Twenty participants are recrui ted tocomplete an academic search task wi th six stages on CNKI . The qual i tat iveinterview, quanti tat ive quest ionnaires as wel l as screen records are analyzedto reveal the variation pattern of users’ cogni t ive load during the academicsearch process . [Resul t/conclusion] The cogni tive loads of the six differentstages of academic searchprocess change significantly. Comparedwi th the focusexpression (FF) stage and the resul t display (RE) stage, users’ cogni tive loadsin the focus of the exploration (PE) stage and the marked content ( IG) stage aresignificant ly higher  and i t reaches the peak in the stage of PE. In the firsttwo stages of the academic search process , i . e. the ini t ial stage of the task(TI) and the construction of the query (TS) stage, the users’ cogni tive loadsare at a lowlevel , significant ly lower than the lat ter four stages . The researchis helpful for systemdesigners in bet ter understandingusers’ cogni t ive loadsindifferent search stages , andprovides support in improving interact ivedesignof academic search system.

Keywordacademic search User; cogni t ive load; empirical study;

随着科技的发展科研成果的产出呈现指数级增长如何从海量资源屮快速准确找到有用的知识与信息成为巨大的挑战。学术搜索是一种特定领域的搜索以学术资源为检索对象具有很强的专业性和复杂性。学术搜索不同于普通的综合性搜索的两个特点一是难以使用合适的查询式将查询问题准确表达出来二是搜索过程比较长使得学术搜索过程中用户的认知负荷较重。因为科研人员进行学术搜索不仅是为丫查找文献更重要的是丫解文献的主题思想跟踪国内外最新研宂动向了解领域内研宂的现状、技术路线、前沿动态等。近年来学荠们针对信息检索认知行为的研究较多 1 -3 但围绕信息检索认知负荷的研宄还不够深入。

认知负荷理论自1988年由澳大利亚认知心理学家Swe l l e r首次提出之后主要在认知心理学、教育心理学、教育技术等领域得到广泛研宄。学考们主要从认知负荷的结构、认知负荷的影响因素、认知负荷的分类以及认知负荷的测量这几个方面展开了深入的研宄。因为认知负荷测量方法主要是从教育心理学领域引入的,有些指标对信息检索领域的任务并不完全适用。早期的研究中学者们试图探索在信息检索领域更多样化的认知负荷测量指标。例如Belkin等提出可以通过点击次数、迭代次数、滚动、查看的文档等来衡量用户的心理努力。Gwizdka边1发现导航路径作为评价认知负荷的指标很有效与搜索者的努力(访问的页面数量)和任务难度的主观评价显著相关。Genve等包1专注于研宄用户在构建查询式中的心理努力他们用搜索词和高级搜索功能的数量度量用户的心理努力。刘佳m依据信息检索认知模型及认知负荷理论构建信息检索认知过程屮认知负荷结构模型并提出认知负荷评价的基本框架。

关于信息搜索过程中的认知负荷研宄主耍集中在对不同信息任务上用户认知负荷的研究。Was t lund等研宄指出和纸质阅读材质相比电子阅读材质会让读者产生更高的认知负荷。Tqba l等m利用瞳孔的大小变化评价4种不同任务类型(数学推理、信息检索、阅读理解和对象操作)的认知负荷。Cole等 10的研允发现随着任务难度的增加认知负荷增加。K i m等UU从主观感受和绩效评估两方面对比研宄了网络搜索和图书馆搜索情境下的认知负荷。Gw i z dk a  12的研究表明在网络搜索过程的不同阶段用户的认知负荷是变化的相对于查看检索结果列表阶段和查看结果文档具体内容阶段查询式构建阶段和标注相关文档阶段用户的认知负荷有显著的增高。

虽然有关信息搜索认知负荷研宄取得了一定的成果但是针对学术搜索过程中用户认知负荷变化的实证研宄还很缺乏。基于此本文通过设计学术搜索实验 综合利用主客观测量指标去评估学术搜索过程六阶段中的认知负荷探索学术搜索过程中用户认知负荷的动态变化规律识别该过程中的峰值负荷阶段并辅以访谈分析试图挖掘学术搜索过程屮用户认知负荷变化的原因。以此寻求能够有效降低学术搜索过程中用户认知负荷的方法和途径从而有效提高科研人员学术搜索的效率。1相关理论

1.1信息检索过程模型

信息检索最早围绕系统观的思想着重于解决用户的信息需求问题。随着信息检索的进一步研宄越来越多的学者开始发现这种以系统为异向的信息检索研宄存在一个问题一一太重视对系统本身的研宄而没有考虑在检索过程中对检索的主体进行研宄。而信息检索可以看作用户不断完善自身认知的一个过程并以认知得到满足为结果导向。因此学者们开始重视用户在信息查询或利用信息吋对这些信息的认知过程从用户认知过程的角度去思考信息检索。

信息搜索过程的重耍理论框架之一是Kuhl thau的ISP ( informat ion Search Process)框架 13  ISP框架从情感(Affective) 、认知(Cogni t ive)和行动(Act ions) 3个层面进行研究将复杂的信息搜索过程分为6个阶段具体描述如下

1 )开始(Ini t iat ion) :当用户刚刚开始觉察到自己缺乏知识或者理解并有认知需求浮现的时候此时的任务仅仅是识别信息需求认知想法方而集中在考虑问题、理解任务并且将问题与先前的经验和知识联系起来此时认知是模糊的。

2)选择(Select ion) :该阶段的任务是识别和选择一个一般的主题或者方法认知想法方面集中在将选择的主题与个人兴趣、作业需求、信息可获得性、分配时间相权衡。预测每个选择可能的结果并丑选择成功希望最大的那一个。

3)探索(Exp lo rat i on) :该阶段的任务是对主题信息的一般性调查以扩展理解这个阶段的认知想法集中在对主题的定向和充分理解。

4)形成焦点(Formulation) :该阶段的任务是从收集到的资料中形成焦点认知想法

方面涉及从已经获得的主题信息中识别和选择观点使得主题变的更加个性化此时的认知变得更加清晰。

5)收集信息(Col lect ion) :该阶段的任务是收集与确切目标相关的信息此时用户与系统的交互最有效认知方面想法集中在对焦点的定义、扩展和支持 此时的认知兴趣开始增加。

6)发表(Presentat ion) :该阶段的任务为完成信息搜寻并开始撰写报告或使用信息认知集中在对主题进行个性化来终结搜寻认知进• -步聚焦明晰。

学术搜索作为信息搜索的子集学术搜索过程遵循信息搜索过程模型的棊本规律。然而1SP理论中对于认知过程部分的描述还比较粗糙需要细化研究因此本文拟基于信息搜索过程理论对学术搜索过程中用户的认知负荷变化进行深入研宄以期丰富信息搜索过程模型。

1 .2认知负荷的结构和评价指标

针对认知负荷结构的评价指标可以分为两类:主观评价指标和客观评价指标其中心理负荷和心理努力是主观评价指标绩效成绩是客观评价指标。

1 )主观评价指标。主观评价指标指用户在任务过程中对自己感受到的认知负荷大小从多个主观感受的维度进行评价包括任务难度大小花费的精神努力、消耗的认知资源等。目前对主观评价指标进行评价的量表主要有以下四种:PAA S量表一一采用心理努力评价和任务难度评价;SWAT量表一一采用时间负荷、努力负荷和心理紧张负荷进行评价UU;TLX量表一一采用心理需求、业缋水平、努力程度、时间需求、体力需求和受挫程度进行评价[15-16] ;WP量表一一采用对完成某个任务所占用的心理资源进行评估UZ1 。

2)客观评价指标。客观评价指标由成绩指标、时间指标以及生理指标等组成这3个指标均是对用户完成任务时的表现的客观度量。其中吋间指标则指用户完成任务所需要的时间以及各子任务阶段的反应时间等。用户产生的认知负荷大小和完成任务花费的时间总体上是正相关关系可以认为完成任务所花费的时间越长用户产生的认知负荷越高;完成任务花费的时间越短用户产生的认知负荷越小。作为一种客观的时间指标任务的完成时间己经被广泛应用于认知科学领域[18-20]o

本文在实验中采用心理努力、任务难度以及完成时间3个评价指标对认知负荷进行评价那么对应上述介绍的测量方法中釆用PAA S主观测量法对心理努力以及任务主观感受难度进行测量采用任务绩效测量法对完成时间进行测量。

2学术搜索过程中用户认知负荷的实验设计

2.1实验对象

由于学术搜索属于具有一定复杂性和专业性的特定领域搜索对用户的检索能力有一定的要求1 .用户的认知负荷受个体年龄、认知能力、先验知识、认知风格等个体特征的影响。而本实验是为了挖掘用户在学术搜索过程中普遍性的认知负荷变化规律因此为丫控制实验屮可能出现的干扰因素实验选择具有一定学历且教育背景相似的受试者。最终共招募了20名信息管理学院的研宄生参与了实验。受试者中女生11名男生9名年龄分布于22-26岁之间平均年龄24。他们几乎每天使用计算机每周使用多次CNKT。

2.2实验任务

2.2.1任务设计

在信息检索系统评估和信息搜寻行为研宄中模拟仿真工作任务情境是备受青睐的设计模式XZ 11 。李刀琳M的研究证实仿真工作任务可以替代真实工作任务用于交互信息检索实验研宄。考虑到实验的可操作性我们采用了实验室仿真工作任务情景。用户从主题列表中选择一个自己感兴趣的主题然后通过CNKT系统检索和学习其主要A容最后提交一篇学习总结包含 不少于800字。主题列表中的备选项选自社会热点及学生关心的话题包含“互联网金融” “知识管理” “大数据技术” 3个主题。

2.2.2任务阶段划分

本文为了实现对学术搜索过程中用户认知负荷变化的动态测量基于Kuhlthau的信息搜寻过程 ISP模型将实验任务划分为任务启动TI 、构建查询 TS 、聚焦探索PE 、焦点表达RE 、标记内容 1 G 、成果展示RE 6个任务阶段。6个任务阶段分别模拟对应信息搜寻过程 ISP理论6个子过程的认知特征 iL每个任务阶段都有其当前的任务子0标描述如表1所示。

表1基于信息搜寻过程的任务阶段划分

表1基于信息搜寻过程的任务阶段划分 下载原表

实验中以各个任务阶段为测量单位进行分析达到动态测量学术搜索过程中6个阶段的平均负荷及峰值负荷的目的。

2.3实验流程

受试者使用中国知网CNKT新版检索平台完成实验任务实验场所在武汉大学信息管理学院。本实验的主要工具设备为Tech Smi th Morae软件使用其3个组件之一的Recorder来记录受试者的操作视频。实验过程主要可以主要分为以下4个部分

1 实验组织者向受试者讲解实验过程并提醒实验过程中应注意的基本事项。

2受试者开始学术搜索实验之前先填写实验前问卷并评估对任务主题内容的熟悉程度。

3在正式搜索实验中受试者使用CNK 1完成关于所选主题的信息搜寻任务 该任务基于ISP理论特点划分为6个子任务阶段。每个阶段仔务开始时需先点击面板提示框左下角的"Start Task"按钮在该阶段任务结朿时点击"End Task"按钮。

4搜索实验结束后受试者关闭泶屏软件并填写实验后何卷实验组织者根据受试者在完成学术搜索过程中的具体表现对受试者进行访谈。每一个受试者在完成整个实验过程中大概用时60^120分钟。

3实验结果及讨论

3.1学术搜索过程中用户自评认知负荷分析

在本研宄的学术搜索实验中采用了PAAS量表对学术搜索过程中不同任务阶段用户的认知负荷进行测量。PAAS量表包含的两个指标分别是:主观心理努力和任务难度。其中心理努力是指被试在6个认知阶段中花费的心理努力程度一般花费的心理努力程度越大用户呈现出来的认知负荷越大;任务难度则是指被试在6个任务阶段的难度水平进行主观感知然后给出相应的主观感知任务难度大小。PAA S量表采用认知负荷指数来综合主观任务难度和心理努力两个方面的数据对用户的认知负荷进行评估。认知负荷指数为心理努力和主观任务难度这两个维度数据的算数平均数所以用户在学术搜索过程中的6个不同阶段认知负荷指数为该阶段用户自评的主观任务难度和心理努力程度两个数值的均值。学术搜索过程中6个不同阶段用户认知负荷指数的基本概况如表2所示。

表2学术搜索过程不同阶段认知负荷指数情况 下载原表

从表2中可以观察出标记内容 1G阶段的认知负荷指数均值最大聚焦探索PE阶段仅次于它且二者非常接近只和差0.025 。而在学术搜索过程的初始两个阶段即任务启动TI阶段和构建查询TS阶段其认知负荷指数值显著低于其他4个阶段其屮构建查询TS阶段最低为2. 95 。

表3被试认知负荷指数的方差检验

为探索学术搜索过程中6个不同阶段用户认知负荷指数差异的变化情况以及各阶段是否具有显著差异对认知负荷指数在6个不同任务阶段上的认知负荷指数数据进行方差分析结果见表3 。从方差检验结果屮可以看到显著性p值<0.05 拒绝原假设即在学术搜索过程中的6个不同阶段用户的认知负荷指数随阶段不同而变化。

为进一步分析任务过程中哪些阶段之间用户的认知负荷指数存在显著差异对用户自评的认知负荷指数数据进行LSD多重比较结果发现:阶段TT和TS之间的显著性P值=0.659>0.05,即被试在任务启动T I阶段和构建查询TS阶段之间的认知负荷指数大小不存在显著差异同理根据多重比较分析表可知被试在聚焦探索PE阶段和焦点表达FF阶段之间的认知负荷指数大小不存在显著差异在标记内容 IG阶段、成果展示RE阶段之间的认知负荷不存在显著差异;而阶段H、TS与其他4个阶段之间均存在显著性差异认知阶段PE、 I G与FF、RE间也存在显著性差异。可以说学术搜索过程屮PE阶段和I G阶段用户的认知负荷指数显著高于FF阶段和RE阶段FF阶段和RE阶段用户的认知负荷指数显著高于TI阶段和TS阶段。

3.2学术搜索过程中认知负荷行为分析

对认知负荷从客观评价指标再去分析用户在学术搜索过程中6个不同阶段的时间指标数据从求屏软件Morac Recorder记求的文件屮提取得出对学术搜索实验不同任务阶段的持续时长数据。

测量的任务阶段的持续时长的离散值用于评估阶段内的平均认知负荷并评估一段时间内的峰值负荷。反应时间与用户的认知能力、任务阶段的认知需求相关。任务越难完成任务吋所需要的认知资源越多从而给学4者带来的认知负荷越高反应时也就越长;任务越容易完成任务时所需要的认知资源越少从而给学习者带来的认知负荷越低反应时也就越短。

表4被试在学术搜索过程不同阶段用时情况 下载原表

表4列出了搜索过程中6个不同阶段用户持续时间的基本概况。从表4中可以观察出 6个阶段持续时间均值大小排序为: t PE 〉 t  I G >t RE >t FF >tTS 〉 t TI  。被试在第3和5阶段完成任务用时均值远大于其他的4个任务阶段所花的时间在第1和2阶段完成任务用吋则明显低于其他的4个认知阶段完成任务所花的时间。

表5各阶段持续时长数据的方差检验

为丫检验学术搜索过程屮6个不同阶段用户的持续时长数据差异是否具有显著性对认知负荷指数在6个不同任务阶段上的持续时长数据进行方差分析见表5和多重比较。从方差检验结果中可以看到显著性p值〈0.05,拒绝原假设。那么可以认为在学术搜索过程中的6个不同阶段用户的持续时长数据随阶段不同而变化。同吋对用户自评的认知负荷指数数据进行LSD多重比较由检验结果得到:第1阶段完成时间与第2 、 3 、 4、 5 、 6阶段比较的显著性p值均小于显著性水平0. 05,所以第1阶段与其他阶段之间的持续时长存在显著性差笄。第2阶段与其他阶段之间的持续时长也均小于显著性水平0. 05 即也存在显著性差异;第3阶段与第5阶段之间p值为0.749>0.05 即与第5阶段完成时间不存在显著性差异而与其他阶段持续吋长均存在显著性差异。第4阶段与第6阶段之间p值为0.577〉 0.05 即第4阶段与第6阶段的持续时长不存在显著性差异而与其他阶段相比持续时长均存在显著性差异。

由均值差可以得到阶段3 、 5持续时长〉阶段4、6持续时长〉阶段2持续时长〉阶段1持续时长。结合描述性统计分析中各个任务阶段的持续时长均值可以认为学术搜索过程中受试者在阶段PE的认知负荷最重在第1阶段TT和第2阶段TS阶段认知负荷相对较小。

3.3学术搜索过程中认知负荷峰值阶段的识别

通过3. 1和3. 2节中的分析结果可知:在整个学术搜索过程中的不同任务阶段用户的认知负荷水平存在显著差异被试者在任务启动阶段TI和构建查询阶段TS的认知负荷处于学术搜索过程中的较低水平显著低于学术搜索过程屮的后4个阶段PE、FF、 IG、RE , p值均小于0.0001 。因此在此略去前两个阶段TI 、TS 不参与学术搜索过程中不同阶段用户的认知负荷峰值的比较。

此外根据3. 1和3. 2小节的分析可以认定学术搜索过程中被试者在聚焦探索阶段PE的认知负荷最重达到峰值。学术搜索过程中不同任务阶段持续时长的11 SD检验见表6表明持续时间在聚焦探索阶段PE比焦点表达阶段FF明显较长p=0.002 ,标注内容阶段 1 G的持续时长也比形成焦点阶段FF 明显较长p=0.005 聚焦探索阶段PE的持续时长比成果展示阶段RE

p=o. 01也明显较长标注内容阶段 IG也比成果展示阶段RE p=0. 022明显较长。聚焦探索阶段PE和标注内容阶段 I G的从样木统计检验上的差异虽然并不显著但是PE阶段的均值显著高于TG阶段的均值因此在整个学术搜索过程中被试者在PE阶段的认知负荷最高达到峰值其次是标注内容阶段。

表6不同任务阶段认知负荷LSD检验

所以在学术搜索过程中6个不同阶段用户的认知负荷在聚焦探索PE阶段和标注内容 I G阶段处于较重水平在PE阶段达到峰值。

3.4讨论

将3. 1 -3.3节中的主客观实验数据分析与访谈的结果进行对比发现二者的结果是一致的:所有的受试者均表示此次学术搜索实验的6个任务阶段划分与自己平时进行学术搜索的过程比较一致。综合被试者在实验后的访谈以及Morae Recorder软件记录的被试者在6个不同任务阶段的搜索行为分析学术搜索过程中的聚焦探索阶段PE和标注内容阶段 I G用户认知负荷较重的原因。

1  PE阶段杳询重构的困难。在聚焦探索PE阶段根据初始杳询式返回的结果列表被试者开始进行广泛深入的探索学习表现出了比较频繁的查询式重构扩大他们的搜索范围点击、浏览结果列表及下载文献行为。

访谈中80%的用户表示在执行该学术搜索任务的6个任务阶段中聚焦探索PE阶段相对来说更困难。因为被试者在初始两个阶段只是开始意识到白己的信息需求在PE阶段则需要通过不断输入并重构检索式与检索系统的频繁交互逐步明晰自己在该搜索主题下的信息需求并构建该主题下的认知结构图。

2 IG阶段认知建构的闲难。在标注内容阶段 IG 用户主要行为表现为精读文献并从文献中高亮、标注、相关的信息语句是一个分类抽取信息加工的阶段。认知负荷理论认为在个体学习新知识的时候若个体的认知结构不能根据所面临的情景进行快速而正确的归类时就会需要有意识地控制和消耗认知资源

因而会加重个体的认知负荷。从访谈中了解到从文献中挖掘能满足自己信息需求的知识、语句进行标注记忆并横向进行比较对知识结构进行查漏补缺对被试者来说这是一个高度抽象的过程。在这个阶段被试者耗费了大量的认知资源进行认知建构因此认知负荷较重。

3用户需要的支持。信息检索系统虽不能取代用户对信息的理解、分析 1G阶段 但可以通过系统界面帮助用户感知与信息需求相关的信息改善用户的认知状态基于此本研究对未来学术搜索系统的研究设计提出如下两点建议 一是查询扩展方面。系统可以基于海量文献中的知识单元挖掘知识语义关系链接知识点形成知识语义关联地图针对用户最初输入的关键词系统在整体知识地图上査找以该词为核心的局部知识地图挖掘出和该关键词关联度大的词汇帮助用户快速锁定所需知识。

二是奔询结果展示方而。FI前学术搜索系统的斉询结果展示方式主要是按照文档与查询词的相关度进行排序但是这种线性排序不能很好体现文档间的语义关联也不能帮助用户识别核心文章。未来可以通过检索结果聚类挖掘出学术文献资源中有效知识的语义关系为用户提供关联知识归纳推理的服务。