答案sina爱问

孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015DOI:1013530/jcnkijlis150021基于SQA系统的社会化搜索答案质量评价指标构建孙晓宁赵宇翔朱庆华摘要作为社会化搜索理念框架的一个重要组成部分,社会化问答系统(SQA)对Web20用户的信息搜寻与知识获取方式产生了深远影响.
在新一代互联网用户生成内容(UGC)环境下,虽然有关信息质量及其评价标准与维度的研究已取得一定程度的进展,但国内目前对SQA系统答案质量要素、SQA信息质量评价指标的研究仍缺乏足够的深度.
本文以现有相关研究为基础,在社会化搜索的研究背景下,借助"百度知道"用户对答案质量感知的问卷,综合采用专家访谈、探索性因子分析和验证性因子分析方法,构建了一个基于SQA系统的社会化搜索答案质量评价模型SQA-IQ4Ⅲ,该模型包括内容质量、情境质量、来源质量和情感质量四个维度,共有18项关键性指标要素.
研究结论将进一步扩展图书情报学和网络信息资源管理的研究领域,并对SQA用户获取高质量答案以及UGC产品/服务设计产生实际的帮助.
图2.
表9.
参考文献40.
关键词社会化搜索社会化问答系统用户生成内容信息质量网络信息资源评价分类号G350TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystemSUNXiaoning,ZHAOYuxiang&ZHUQinghuaABSTRACTSQASocialQuestionandAnsweringisoneofthetypicalapplicationsofSocialSearchinWeb20era.
SQAsitestakeadvantageofthewisdomofcrowdsandproduceamassofquestionsandanswerseveryday.
InanewgenerationofInternetUGCUserGeneratedContentenvironmentSQAhasaprofoundeffectonthewayofinformationseekingbyusers.
TobetterunderstandthesuccessfulimplementationofSQAanditsunderlyingchallengesandissuesresearchersfromavarietyoffieldsofLISLibrary&InformationSciencesuchasinformationsearchinformationbehaviorandhumancomputerinteractionhavedevotedtoidentifytheusersmotivationandbehaviorinSQAforthepastfewyears.
Thoseuser-orientedstudiesmayfocusonthecognitivesocialandpsychologicalaspectsofansweradoptionanddiffusionofSQA.
Howeverthereisstillalackofcomprehensiveandsystematicunderstandingtowardthetopicofinvestigatingtheas065本文系国家自然科学基金项目"协同视角下社会化搜索的形成机制及实现模式研究"(编号:71473114)和江苏省2014年度普通高校研究生科研创新计划项目"群体协作模式下社会化搜索用户参与动机及路径研究"(编号:KYLX_0067)的研究成果之一.
(Thisarticleisanoutcomeoftheproject"Researchonformationmechanismandimplementationpatternofsocialsearchbasedoncollaboration"(No71473114)supportedbyNationalScienceFoundationofChinaand"Participationmotivationandadoptionapproachforsocialsearchbasedonmasscollaboration"(NoKYLX_0067)supportedbyJiangsuGraduateInnovationProgram.
)通信作者:赵宇翔,Email:yxzhao@vip163com,ORCID:0000-0001-9281-3030(CorrespondenceshouldbeaddressedtoZHAOYuxiang,Email:yxzhao@vip163com,ORCID:0000-0001-9281-3030)JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218sessmentortheindicatorsofanswerqualityforSQA.
OnthebasisoftheexistingstudiesandtheresearchcontextofsocialsearchthispaperaimstodevelopanevaluationindexofanswerqualityofSQAfromtheuserperspective.
BaiduKnowszhidao.
baidu.
comwhichisthelargestChinesecommunityofSQAwebsiteisusedtoconducttheempiricalstudy.
Amixed-methodresearchwithscholarinterviewandsurveywasemployedtoinvestigatethedominantfactorsofanswerqualityofSQAbyExploratoryFactorAnalysisEFAandConfirmativeFactorAnalysisCFA.
Firstinordertoimprovetheevaluationindexandadjusttheoriginalindicatorsbeforethequestionnairesurveyandanalysisscholarinterviewswereassumedtodetectindicatorsthatwereignoredornoteasilyunderstoodinthispaper.
Fivescholarswithdeepknowledgeandrichresearchexperienceinthefieldofinformationqualitywereselectedasourinterviewobjects.
TheprimarypurposeofconductingtheinterviewwastofocusontherationalityandintegrityoftheindexwhichhelpsusinevaluatingwhethertheindicatorsproposedindeedmeasuredtheanswerqualityconstructsinSQAcontext.
ThenweemployedusersofBaiduKnowsastheinvestigativeobjecttocollectdataandissuedane-questionnairetheanswerqualitysurveyofBaiduKnowsonthewebsitenamedSojumpwww.
sojump.
comtocompletethesurvey.
Thequestionnairemainlyconsistedoftwoparts.
Thefirstpartwasrelatedtothedemographiccharacteristicofintervieweestheaveragetimetheyusedtoaskforanansweraswellasthethemestheywereinterestedin.
ThesecondpartwasthemeasurementaboutthelevelofanswerqualitythatusersperceivedfromtheusageofandtheinteractionwithSQA.
Afterwardsaprincipalcomponentanalysiswasconductedtotestthepreliminarysurveydataandtheindexmodelwasrevisedforthefirsttime.
FinallyanEFAusingSPSS180andaCFAusingAMOS170weresyntheticallyemployedtotesttheformalsurveydataandtheindicatorsofthemodelwereamendedforthesecondtime.
TheresearchfindingsshowthattheevaluationindexofanswerqualityofSQAincludesfourdimensionsi.
e.
ContentQualityContextQualitySourceQualityandEmotionalQualitywithatotalof18keyindicatorsindetail.
TheoreticallythisstudyissignificanttoexpandtheresearchfieldsofLISwebinformationresourcesmanagementandqualitymanagement.
PracticallytheresearchmayyieldsomeimplicationsfortheinteractiondesignofSQAsystemsandUGCapplications.
InthefutureworkinordertodiscussinformationqualityperceivedandevaluatedbyusersofdifferentgroupsforSQAwewillconductaclassifiedstatistictoexploretheaveragetimethatanaskerspentinseekingforinformationandtopicsconcernedbyintervieweesin.
Meanwhilewewillgivefullconsiderationtothereciprocaleffectoffourdimensionsinthisevaluationindexandaddsomeregulativefactorstoamoredetailedexploration.
2figs.
9tabs.
40refs.
KEYWORDSSocialsearch.
Socialquestionanswering.
User-GeneratedContent.
Informationquality.
Onlineinformationresourcesevaluation.
0引言社会化搜索(SocialSearch)作为一种新型Web搜索模式,从2004年被正式提出[1]至今,已受到诸多学科领域研究者的广泛关注.
众所周知,传统意义上的Web搜索以文本和内容挖掘算法为基础,而社会化搜索充分注重人在甄066孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015别和评价网络信息资源时发挥的巨大潜力.
社会化搜索将社会化特征引入信息搜索系统,通过搜索引擎和社会化网络分别建立信息与信息、人与人之间的关系,并将两者进行有效映射[2].
笔者对相关文献研究进行综述和梳理,认为,社会化搜索[3]是指在Web20环境中用户彼此之间相互联系与沟通,通过社会化交互与协作对搜索过程进行主动控制,最终获取所需知识或信息的一种在线社会网络搜索方式.
除了强调用户的协作参与,社会化搜索还注重用户、资源与平台三者之间的协同配合.
很多学者在针对社会化搜索系统的分类研究中都强调社会化问答(SocialQuestionAnswering,SQA)这一类型[4-6].
在SQA系统中,用户可以随意提出或回答问题,也可以评价别人提交的内容,并能够查看社区中对最佳问题、答案及对用户贡献程度的总体评估.
因此,与专业社会化搜索引擎(SocialSearchEngines)和社会化标注系统(SocialTaggingSystem)的搜索机制有所不同,SQA系统的用户通过向社区中的朋友或其他用户直接提问来寻找问题的答案.
本研究重点探索SQA这一用户生成内容(User-GeneratedContent,UGC)与用户评价内容(User-RatedContent,URC)相结合[7]的新型问答模式的信息质量问题.
"百度知道"是全球最大的中文互动问答网站,是通过让用户自己提出具体问题,利用积分奖励机制发动其他用户来解决该问题的SQA系统.
本研究选择"百度知道"作为研究对象,从用户感知的角度,探索"百度知道"问答信息质量评价的维度和指标体系.
首先,本文在既有研究的基础上,初步构建了基于SQA系统的社会化搜索答案质量评价模型;然后,邀请五名信息质量研究领域的专家学者进行访谈,充分考虑他们对模型中指标构建的意见,实现对模型的初次修正;最后,通过"百度知道"用户对答案质量水平的判断和感知,借助统计分析手段实现对模型的二次修正.
本研究旨在基于社会化搜索的框架实现对SQA系统答案质量评价的尝试性探索,并为后续的实证分析提供前期基础.
本文的研究结论可对社会化搜索用户动机推断、答案排名、人机界面设计及搜索路径选择等提供思路和借鉴.
1文献回顾由于搜索结果提供者在专业程度与知识水平上存在很大的差异,与传统意义上通过图书馆参考咨询、专家咨询等服务获取信息或知识有所不同,基于SQA系统的社会化搜索虽然在数量和多样性上存在优势,但直接获得的答案质量往往良莠不齐.
通过对国内外相关文献的梳理,笔者发现计算机与信息科学领域的学者对利用计算机自动识别、评价、推荐以及预测高质量SQA答案进行了诸多探索.
姜雯、许鑫[8]对其中的一些代表成果进行了归纳.
从本质上看,该类方法可以视为基于机器学习的特征分类问题,能够实现对海量数据的自动化处理,有着较高的分析和研究效率.
然而,在一些主观性特征上,如认知和情感等因素,机器学习方法还存在较大的局限性.
与此不同的是,图书情报、信息行为领域的学者更倾向于从用户的视角,如提问者和回答者,以及通过搜索直接获取答案的第三方用户等,采用人工评价的方法对SQA系统的信息质量展开研究.
其中主要用到了用户打分、内容分析、对比分析等研究方法,或者交叉应用这些研究方法.
代表性研究成果如表1所示.
此外,也有部分学者通过现场实验、问答实验或小范围抽样,比较不同领域、不同平台或不同类型的SQA答案质量.
这些研究一定程度上对了解SQA系统答案质量的基本状况有所067JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218表1SQA系统答案质量人工评价研究代表性成果作者年份方法数据样本参照模型/指标Zhu等[9]2009用户打分、专家体验与判断、优劣案例比较Answerbag上50个答案信息量、文明性、完整性、易读性、相关性、简明性/简洁性、真实性(可靠性/可行性/说服力)、细节性、原创性、客观性、新颖性、实用性/有益性、专业性Shah,Pomerantz[10]2010用户打分Yahoo!
Answers中120个问题和600个答案同上贾佳等[11]2013用户打分、对比分析百度知道、知乎中各10个问题和20个答案同上Blooma等[12]2008用户打分Yahoo!
Answers中2057对问答;计算机科学领域的300个问题文本特征:(提问者&回答者)名气、权威性;非文本特征:(问题)类别;(答案)精确性、完整性、语言、合理性、长度Blooma等[13]2012用户打分Yahoo!
Answers上计算机与互联网、数学与科学、艺术与人文以及商业四个领域各200个问题社会化特征:提问者(提问的问题数量、提问者分值、评论的问题数量)、回答者(回答的答案数量、回答者分值、最佳答案数量)、用户(支持分、反对分);内容特征:文本内容(答案长度、问题/答案长度比、罕见字、不停的文字重叠、高频词)、内容评价(精确性、完整性、文字表达、可靠性)李晶[14]2013用户打分、焦点小组访谈、探索性因子分析、偏最小二乘法376份百度知道用户问卷真实性、表达完整性、及时性、适合性、系统性能、易操作性、整合性、安全性等Kim等[15]2007内容分析、用户打分Yahoo!
Answers用户答案评论1200条内容(准确性、适用范围/专一性、清晰度、书写风格、完整性、特殊细节、特征);认知(内容新颖、视角新颖、易懂性、提问者背景/经历);社会情感(情感支持、回答者态度、回答者努力度、回答者经历、认同、证明、感染力);外部特征(外部检验、可替代的选择、及时性);信息来源(外部参考资源、来源质量);效用(有效性、解决方案可行性)068孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015续表作者年份方法数据样本参照模型/指标Kim,Oh[16]2009内容分析、用户打分Yahoo!
Answers用户答案评论465条内容(准确性、专一性、清晰度、合理性、完整性、书写风格、长度);认知(新颖性、易懂性);效用(有效性、解决方案可行性);信息来源(外部参考资源、回答者专业度);外部特征(外部检验、可替代的选择、及时性);社会情感(情感支持、回答者态度、回答者努力度、回答者经历、认同、品味、幽默感)Oh等[17];Oh,Worrall[18]2011;2013用户打分、对比分析Yahoo!
Answers中400对健康问答准确性、完整性、相关性、客观性、来源可信度、易读性、礼貌性、信任、移情作用和努力程度Worrall等[19]2012用户打分、对比分析Yahoo!
Answers中400对健康问答来源、客观性、风格、完整性和准确性Shachaf[20-21]2009对比分析、内容分析WikipediaReferenceDesk上77个问题及其357个答案SERVQUAL量表[22]:可靠性(准确性、完整性、可验证性)、响应能力和保证措施(署名模式和来源证明)Fichman[23]2011对比分析、内容分析Askville、WikiAnswers、WikipediaReferenceDesk和Yahoo!
Answers中1522个样本准确性、完整性和可验证性Wong[24]2013对比分析、用户打分Yahoo!
Answers中60对老年健康问答准确性、完整性、相关性、易读性、可验证性、专业建议、有效性、商业化帮助.
Harper等[25]认为,当前的问答网站服务包括数字参考咨询、专家问答、问答社区三种类型,作者依据问题的主题、类型、先前搜索努力、感谢态度等属性设计了126个问题,并在LibraryReferenceServices、GoogleAnswers、AllExperts、Yahoo!
Answers和LiveQnA五个网站上进行受控现场研究.
吴丹等[26]对涉及经济学、文学和图书馆学三个领域的事实性、列举性、定义性和探索性四类问题的回答质量与效率进行评价,比较了SQA系统与联合参考咨询在运行机制、咨询内容、个性化服务等方面的异同.
张兴刚和袁毅[27]针对电脑网络、健康医疗和商业经济三个领域设计了六个问题,同时设置了有效回帖数量、回答的平均字符数、提问与回答的平均间隔时间、回答结果评价四个衡量指标,考察了百度知道、新浪爱问、雅虎知识堂、天涯问答、搜搜问问的回答质量.
吴丹等[28]选取体育、政治和IT三个领域,设定事实性、列举性、定义性和探索性四类问题,通过考察问题的答案总数、有效答案数和首个回答与069JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218提问的间隔时间,从参与度、答案有效率和响应速度三点出发,对百度知道、天涯问答、奇虎问答、雅虎知识堂、新浪爱问、搜搜问问、Yahoo!
Answers、Uclue、Answerscom的回答问题质量与效率等进行对比评价.
综合分析人工评价领域的相关文献可以发现,目前整体上针对SQA答案质量评价的研究,在指标构建、方法应用和对象选择等方面尚处于初始阶段,且国内的相关研究较为欠缺,尤其是在统计定量分析上还不够深入.
同时,现有研究在评价人员群体类别、问题表述方式及类型、问答平台、问题领域的聚焦研究上存在一定的局限性[16-19,24,29].
另外,不同问题领域的答案质量及其评价标准也是不一样的,而目前的研究对问题所属领域的区分与对比还不够重视[12-13,26-28].
2研究思路首先,综合上述SQA系统答案质量评价研究的多项成果,以及在信息系统成功模型[30-31]、数据质量框架[32]等理论研究的基础上,笔者首先选取了21条信息质量相关描述性指标,初步构建了基于SQA系统的社会化搜索答案质量评价指标模型SQA-IQ5.
在SQA-IQ5模型中,SQA系统的信息质量分为信息内容质量、信息来源质量、信息时间质量、信息效果质量以及信息情感质量五个维度,各个维度包括的具体指标及其解释说明、主要参考来源如表2所示.
表2SQA-IQ5模型指标解释及其主要参考来源序号维度指标说明主要参考来源1信息内容质量准确性与利用其他渠道获得的答案相比,SQA获取的答案更加准确.
文献[12]、[13]、[15]、[16]、[17]、[18]、[19]、[20]、[23]、[24]2针对性利用SQA获取的答案专一,具有较好的针对性.
文献[14]、[15]、[16]3客观性利用SQA获取的答案很客观合理.
文献[8]、[14]、[17]、[18]、[19]4完整性利用SQA获取的答案很全面,能够告诉我想知道的所有事情.
文献[8]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[23]、[24]5相关性利用SQA获取的答案与自己的问题的相关程度很好.
文献[8]、[17]、[18]、[24]6语言SQA所提供的答案语言表达优美、流畅.
文献[12]、[13]、[15]、[16]、[19]7文字长度SQA所提供的答案中文字的多少.
文献[12]、[13]8新颖性利用SQA获取的答案新颖,我之前没有想到过这些东西.
文献[8]、[15]、[16]9文明性SQA回答者没有冒犯他人的言语表现,非常文明礼貌.
文献[8]、[17]、[18]10易读性利用SQA获取的答案阅读方便,很容易让人理解和接受.
文献[8]、[15]、[16]、[17]、[18]、[24]070孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015续表序号维度指标说明主要参考来源11信息来源质量外部链接利用SQA获取的答案,可以提供一个有价值的链接让我进一步检验答案.
文献[15]、[16]、[19]、[20]、[23]、[24]12可替代性利用SQA获取的答案,能够通过其他途径找到可以替代它的相似答案.
文献[15]、[16]13专业性利用SQA获取的答案,多由领域内权威、专业人士来提供.
文献[8]、[12]、[15]、[16]、[20]、[24]14原创性利用SQA获取的答案,多由回答者原创,没有抄袭别人的答案.
文献[8]、[19]15信息时间质量及时性利用SQA,能在第一时间及时、快捷地获得想要的答案.
文献[14]、[15]、[16]、[20]1617信息效果质量有效性利用SQA获取的答案,能够很有效地解决我的疑问,非常实用.
文献[8]、[30]、[16]、[24]方案可行性SQA答案中所提供的方案非常可靠,可行程度高,易于操作.
文献[8]、[15]、[16]18192021信息情感质量态度SQA回答者经常能在精神上给人安慰或激励.
文献[15]、[16]努力程度SQA回答者非常诚恳,很努力、认真地帮助提问者解决问题.
文献[15]、[16]、[17]、[18]认同感SQA回答者经常能够认同提问者的观点或看法.
文献[15]、[16]、[17]、[18]幽默感SQA回答者极具幽默精神,所提供的答案非常有趣.
文献[15]、[16]其次,为了初步实现对SQA-IQ5的补充和完善,在开展具有一定规模的问卷调查之前,本研究依据事先设定好的访谈提纲,重点就模型的合理性和完整性,对五位在信息质量评价领域具有丰富研究经验的学者进行了访谈,根据五位专家的意见,对SQA-IQ5的维度和指标构成进行初次修正.
最后,在SQA-IQ5与专家访谈意见的基础之上,选取"百度知道"网站用户作为问卷调查对象,依据用户对各个维度指标问项的打分,先后利用探索性因子分析和验证性因子分析完成对SQA-IQ5的二次修正,从而构建SQA系统答案质量评价模型.
而在正式问卷测量之前,本研究先在小范围内发放前测问卷,初步筛选掉不太合理的指标要素,随后再进行大规模的用户问卷调查.
3研究设计31专家访谈与模型初次修正访谈开始时,笔者首先向专家就社会化搜索、社会化问答服务的含义、类型和国内主要的工具、平台及其功能进行简要的说明,然后重点针对SQA-IQ5的五个维度和21个指标向071JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218专家进行较为详细的解释.
最后,根据事先拟定好的访谈提纲,笔者与专家们进行互动与交流.
本研究重点从两个角度来采集专家对SQA-IQ5的意见:第一,模型指标的合理性,即这21个指标要素用来评价SQA的信息质量是否可行,以及将此模型划分为上文提到的五个维度是否合适;第二,模型指标的完整性,即除了这21个指标之外,有没有其他需要补充的要素.
具体修正如下.
第一,维度的整合:将"时间质量"和"效果质量"并称为"时效质量",将五个维度合并为四个,称作SQA-IQ4,同时考虑到"信息情感质量"表述不够规范,统一去掉维度名称中的"信息"二字.
这样,SQA-IQ4模型共分为内容质量(CQ)、来源质量(SQ)、时效质量(TQ)和情感质量(EQ)四个维度.
第二,指标要素名称的规范:分别将内容质量维度中的"语言""文字长度""易读性"修改为"语言表达""有价文字""易懂性";来源质量维度中的"可替代性"修改为"外部证明";情感质量维度中的"态度""努力程度""认同感""幽默感"修改为"回答者支持态度""回答者努力程度""回答者对提问者认同感""回答者幽默感",以消除歧义.
第三,指标要素维度归属的重划:将内容质量维度中的"文明性"指标调入情感质量维度,同时将其名称改为"回答者文明礼貌",用以体现提问者对回答者的情感判断与认识.
第四,指标要素的补充:增加"互动性"指标,即SQA系统中回答者与提问者在一定时间段内的往来互动性,用以描述SQA系统内容的时效质量;增加"回答者经历"指标,即SQA系统中回答者利用自身的有关经历和经验来解答问题,用以描述SQA系统内容的情感质量.
32问卷设计与调查实施本研究在"问卷星"网站(wwwsojumpcom)上发放电子问卷("百度知道"社会化搜索答案质量调查问卷).
问卷主要分为两个部分:第一部分主要是用户基本信息,包括人口统计学特征(性别、年龄、职业、学历),以及用户使用"百度知道"完成社会化搜索的平均时间、所关注的主题等;第二部分是对"百度知道"答案感知质量水平的测量,在语言表达上,该部分试图用简洁明了的语句将各个指标要素的内涵表达清楚,便于用户理解和判断.
33前测问卷及量表调整在正式大规模调研前,笔者开展了前测问卷分析.
共发放前测问卷80份,回收72份,筛掉不规范的无效问卷后,共得到55份有效前测问卷.
分别依据四个维度对23项指标进行编码,结果如表3所示.
331前测问卷信度检验信度指测量结果的一致性和稳定性,即测量工具能否稳定测量所测的事物或变量.
本研究将前测问卷的第二部分,即用户对"百度知道"社会化搜索答案感知质量测量数据作为处理对象,问卷信度以Cronbachsα系数来衡量,学者普遍将系数值大于07作为信度满足要求的最低标准[33-36],23个题项的总体信度达到0945,表明问卷的可靠性很高,信度非常好.
在前测问卷的四个维度当中,每个维度的总体信度均在080以上,而题项CQ9(易懂性)、TQ3(有效性)、EQ2(回答者文明礼貌)从各自量表中删除后,所对应维度剩余题项的信度均有所升高,表明上述三个题项未通过信度检验,应予以删除.
332前测问卷效度检验效度指测量工具或手段能够准确测到所需测量心理或行为特质的程度,分为内容效度、效标效度和建构效度[36].
其中,建构效度主要在于理论上的假设和对理论假设的检验,用于多重指标的测量情况,检验建构效度最常用到的方法是探索性因子分析(ExploratoryFactorAnalysis,EFA),该方法提取的公共因子可代表量表的基本结构.
072孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015表3SQA系统信息质量评价前测问卷量表题项维度编码指标描述题项内容质量CQ1准确性百度知道答案的准确性与利用其他渠道获得答案相比,百度知道获取的答案更加精准.
CQ2针对性百度知道答案的针对性利用百度知道获取的答案专一性强,具有较好的针对性.
CQ3客观性百度知道答案的客观、合理性利用百度知道获取的答案很客观、合理,具有很好的科学性和逻辑性.
CQ4完整性百度知道答案的完整、全面性利用百度知道获取的答案很全面,能够告诉我想知道的所有事情.
CQ5相关性百度知道答案的相关性利用百度知道获取的答案与自己的问题相关程度很高.
CQ6语言表达百度知道答案语言表达的优美、流畅百度知道所提供的答案语言表达优美、流畅.
CQ7有价文字百度知道答案有价值文字的比例百度知道所提供的答案中具有实际价值的文字很多,占答案比例很高.
CQ8新颖性百度知道答案的新颖性利用百度知道获取的答案新颖,我之前没有想到过这些东西.
CQ9易懂性百度知道答案的易懂、可理解性利用百度知道获取的答案简单易懂,很容易让人理解和接受.
来源质量SQ1外部链接百度知道答案提供外部链接来辅证问题利用百度知道获取的答案,可以提供一个有价值的链接让我进一步来检验答案.
SQ2外部证明百度知道答案与其他途径获取答案的一致性利用百度知道获取的答案,与我通过其他途径得到的答案基本一致.
SQ3专业性百度知道答案的专业性利用百度知道获取的答案,多由领域内权威、专业人士来提供.
SQ4原创性百度知道答案的原创性利用百度知道获取的答案,多由回答者原创,没有抄袭别人的答案.
时效质量TQ1及时性百度知道答案的及时、即时性利用百度知道,能在第一时间及时、快捷地获得想要的答案.
TQ2互动性百度知道回答者与提问者的往来互动性利用百度知道,回答者与提问者在一定时间段内能频繁互动,不断补充答案.
TQ3有效性百度知道答案的有效性利用百度知道获取的答案,能够很有效地解决我的疑问,非常实用.
TQ4方案可行性百度知道方案的可行、可靠性百度知道答案中所提供的方案/方法/办法非常可靠,可行程度高,易于操作.
073JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218续表维度编码指标描述题项情感质量EQ1回答者支持态度百度知道回答者对提问者的安慰/支持/鼓舞/激励百度知道回答者经常能在精神上给人安慰、支持、鼓舞或激励.
EQ2回答者文明礼貌百度知道回答者的文明礼貌程度百度知道回答者没有冒犯他人的言语表现,非常文明礼貌.
EQ3回答者努力程度百度知道回答者的努力程度百度知道回答者非常诚恳,很努力、认真来帮助提问者解决问题.
EQ4回答者经历百度知道回答者的经历/经验百度知道回答者经历丰富,经常利用实践经验来回答问题.
EQ5回答者对提问者认同感百度知道回答者对提问者的认同感百度知道回答者经常能够认同提问者的观点或看法.
EQ6回答者幽默感百度知道回答者的幽默感百度知道回答者极具幽默精神,所提供的答案非常有趣.
进行EFA之前,首先需要通过KMO(Kaiser-Meyer-Olkin)检验来比较变量间简单相关系数和偏相关系数,并利用Bartlett的球形度检验验证各个变量是否各自独立,KMO的取值在0—1之间,越接近1,证明变量间的相关性越强.
本研究中样本数据的KMO值为0637(大于050),Bartlett球形度检验近似卡方显著性Sig080)CFI(>090)NFI(>080)IFI(>090)原始组———22990815093208860932A组去掉QS2\QC22078085909509090951B组去掉QC1\QS21999086095409120954C组去掉QS1\QC121540844094709060947D组去掉QS1\QC221970844094509040945表9MI值较高的路径MIParChangeQC2<---QC1120180187QC1<---QC2115880164QC6<---QS183650107QS2<---QC569860145QS2<---QC265780135QS2<---QC15990138QC3<---QS15706-0087QT2<---QE148970104QS2<---QC746240112QE1<---QT24318010743模型二次修正Wang和Strong[32]在其数据质量框架中将准确性、客观性、可信性和声誉称为数据的内在质量,而将价值增值性、相关性、及时性、完整性、合适的数据称为数据的情境质量,之后一些学者依据这个模型研究了多类信息系统的质量问题.
综合考虑EFA与CFA的结果,本研究做出如下调整.
第一,依旧把QC1、QC2、QC3作为内容质量,由此体现评价社会化搜索答案质量的一些内在基本属性,包括准确性、客观性与针对性,这些能够基本反映信息遵循实际价值或客观价值的程度;虽然QC1的CFA结果不够理想,但考虑到其在评价指标中的实际意义,本研究保留了该项指标.
第二,将QC5、QC7、QC6、QC4重新划分为一个维度,称为情境质量,是指与提问者的078孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015搜索任务紧密相关的质量维度,表示信息在多大程度上符合提问者的任务要求,与内容质量客观存在的特征相比,这些要素更能直观地体现提问者对SQA系统答案质量的感知.
第三,QS2(外部证明)表示利用"百度知道"搜索到的答案与其他途径获取答案的一致性,如果一致程度较高,则从另一个角度证明了质量的可靠程度.
可以看出,无论是EFA还是CFA的结果,都不能达到预期的效果,因此,本研究决定删除该项指标.
第四,QT1、QT2、QT3在模型提出及初次修正阶段,就存在一定的疑惑.
事实上,在这三个指标当中,只有QT1能直接描述信息的时间效应,即如果通过SQA搜索到答案越及时(速度越快),从信息需求方,即提问者的角度来看,获取到的信息的质量就越高,这符合信息的情境特征,同时考虑到及时性单独作为一个评价维度不够合理、规范,因此借鉴Wang和Strong[32]的观点,将QT1划入情境质量维度当中.
QT2则体现了回答者与提问者的一种往来互动,从中更能体现回答者对提问者"喋喋不休"式追问的一种态度,这也符合EFA的结果,将其划入情感质量维度.
QT3在某种程度上与内容质量,即QC1、QC2、QC3存在交叉、重合.
其实,方案可行的结果就是答案能够让提问者满意,其准确性、客观性与针对性自然会得到用户的肯定,因此,将QT3划入内容质量维度.
同时,经过EFA,本研究对QT3指标存在的合理性提出质疑,将在今后的研究中对其进一步论证.
综上所述,经过模型提出、初次修正及二次修正三个阶段,本研究构建的基于SQA系统的社会化搜索答案质量评价指标模型SQA-IQ4Ⅲ如图2所示,该模型一共包括四个维度和18项指标.
图2基于SQA系统的社会化搜索答案质量评价指标模型SQA-IQ4Ⅲ5研究结论与展望在信息行为研究视角下,本研究认为,SQA系统评价指标主要分为内容质量、情境质量、来源质量和情感质量四个维度,共包括18项关键性指标要素.
本研究立足用户对SQA系统答案质量的感知,克服以往研究中评价指标在客观性和全面性上的局限,为进一步解决社会化搜索信息质量问题提供了模型支持.
同时,本研究拓展了传统质量管理理论研究的范围,为预测问答社区用户的信息需求,实现互联网信息资源的有效配置和利用提供了策略和思路.
本研究主要存在两点局限.
首先,从研究设计上,最终提出的18项SQA系统答案质量079JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218评价体系指标的要素之间部分存在交叉现象,一些指标名称的合理性也有待进一步检验;此外,由于篇幅所限,缺乏对模型中四个质量维度之间相互影响与作用的充分讨论.
其次,从研究的普适性角度来看,受笔者研究精力和数据采集的限制,本研究仅选择中文网站"百度知道"的用户进行问卷调查,而没有充分考虑语言、文化或情境因素,对国外的SQA系统进行相关实证分析或比较研究.
后续研究中,笔者会就此次问卷调查收集到的用户人口统计学信息及其使用"百度知道"完成社会化搜索的平均时间、所关注的主题等内容进行分类统计分析,挖掘不同特征用户群体对SQA系统答案质量的感知与评价;同时,将着重分析模型中四个维度之间的交叉作用,增加一些调节因素;借鉴美国顾客满意度指数(AmericanCustomerSatisfactionIndex,ACSI)等模型,利用结构方程对社会化搜索答案质量进一步展开深入研究.
参考文献[1]FreyneJ,SmythBAnexperimentinsocialsearch[C]//NejdlW,BraPDAdaptivehypermediaandadaptiveweb-basedsystems,lecturenotesinComputerScienceBerlin:Springer,2004:95-103.
[2]TeevanJ,RamageD,MorrisMR#TwitterSearch:acomparisonofmicroblogsearchandwebsearch[C]//Proceedingsofthe4thInternationalConferenceonWebSearchandWebDataMiningHongKong,China:ACM,2011:35-44.
[3]孙晓宁,朱庆华,赵宇翔,等社会化搜索研究进展综述[J].
图书情报工作,2014,58(17):5-13(SunXiaoning,ZhuQinghua,ZhaoYuxiang,etalResearchreviewonsocialsearch[J].
LibraryandInformationService,2014,58(17):5-13)[4]ChiEHInformationseekingcanbesocial[J].
Computer,2009,42(3):42-46.
[5]MansillaATI,EstevaJLDIAsknext:anagentprotocolforsocialsearch[J].
InformationSciences,2012,190:144-161.
[6]BurghardtM,HecknerM,WolffCThemanywaysofsearchingthewebtogether:acomparisonofsocialsearchengines[M]//LewandowskiDWebsearchengineresearchBingley,WestYorkshire,UK:EmeraldGroupPublishingLimited,2012:19-46.
[7]GazanRSocialQ&A[J].
JournaloftheAmericanSocietyforInformationScienceandTechnology,2011,62(12):2301-2312.
[8]姜雯,许鑫在线问答社区信息质量评价研究综述[J].
现代图书情报技术,2014,30(6):41-50(JiangWen,XuXinReviewoninformationqualityevaluationofonlinecommunityquestionansweringsites[J].
NewTechnologyofLibraryandInformationService,2014,30(6):41-50)[9]ZhuZ,BernhardD,GurevychIAmulti-dimensionalmodelforassessingthequalityofanswersinsocialQ&Asites[R/OL].
TechnicalReportTUD-CS-2009-0158,2009,TechnischeUniversittDarmstad[2015-01-10].
http://tuprintsulbtu-darmstadtde/1940/1/TR_dimension_modelpdf.
[10]ShahC,PomerantzJEvaluatingandpredictinganswerqualityincommunityQA[C]//Proceedingsofthe33rdInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrievalGeneva,Switzerland:ACM,2010:411-418.
[11]贾佳,宋恩梅,苏环社会化问答平台的答案质量评估———以"知乎"、"百度知道"为例[J].
信息资源管理学报,2013,3(2):19-28(JiaJia,SongEnmei,SuHuanResearchonassessmentofanswerqualityinsocialQ&Aplatform[J].
JournalofInformationResourceManagement,2013,3(2):19-28)080孙晓宁赵宇翔朱庆华:基于SQA系统的社会化搜索答案质量评价指标构建SUNXiaoning,ZHAOYuxiang&ZHUQinghua:TheConstructionofAnswerQualityEvaluationIndexforSocialSearch:AnEmpiricalStudyonSocialQ&ASystem2015年7月July,2015[12]BloomaMJ,ChuaAY-K,GohDH-LApredictiveframeworkforretrievingthebestanswer[C]//Proceedingsofthe2008ACMSymposiumonAppliedComputingVilaGalé,Fortaleza,Ceará,Brazil:ACM,2008:1107-1111[13]BloomaMJ,GohDH-L,ChuaAY-KPredictorsofhigh-qualityanswers[J].
OnlineInformationReview,2012,36(3):383-400.
[14]李晶虚拟社区信息质量建模及感知差异性比较研究[D].
武汉:武汉大学,2013(LiJingStudyoninformationqualitymodelingandperceiveddifferencecomparisoninthecontextofvirtualcommunity[D].
Wuhan:WuhanUniversity,2013)[15]KimS,OhJS,OhSBest-answerselectioncriteriainasocialQ&Asitefromtheuser-orientedrelevanceperspective[C]//Proceedingsofthe70thAmericanSocietyforInformationScienceandTechnologyAnnualMeeting:JoiningResearchandPractice:SocialComputingandInformationScienceMilwaukee,Wisconsin,USA:ASIS&T,2007,44(1):1-11.
[16]KimS,OhSUsersrelevancecriteriaforevaluatinganswersinasocialQ&Asite[J].
JournaloftheAmericanSocietyforInformationScienceandTechnology,2009,60(4):716-727.
[17]OhS,WorrallA,YiYJQualityevaluationofhealthanswersinYahoo!
Answers:acomparisonbetweenexpertsandusers[C]//Proceedingsofthe74thAmericanSocietyforInformationScienceandTechnologyAnnualMeeting:BridgingtheGulf:CommunicationandInformationinSociety,Technology,andWorkNewOrleans,Louisiana,USA:ASIS&T,2011,48(1):1-3.
[18]OhS,WorrallAHealthanswerqualityevaluationbylibrarians,nurses,andusersinsocialQ&A[J].
Library&InformationScienceResearch,2013,35(4):288-298.
[19]WorrallA,OhS,YiYJQualityevaluationofhealthanswersinsocialQ&A:socio-emotionalsupportandevaluationcriteria[C]//Proceedingsofthe75thAmericanSocietyforInformationScienceandTechnologyAnnualMeeting:Information,Interaction,Innovation:CelebratingthePast,ConstructingthePresentandCreatingtheFutureBaltimore,Maryland,USA:ASIS&T,2012,49(1):1-5.
[20]ShachafPTheparadoxofexpertise:istheWikipediaReferenceDeskasgoodasyourlibrary[J].
JournalofDocumentation,2009,65(6):977-996.
[21]ShachafPSocialreference:towardaunifyingtheory[J].
Library&InformationScienceResearch,2010,32(1):66-76.
[22]ParasurmanA,BerryLL,ZeithamlVASERVQUAL:amultiple-itemscaleformeasuringconsumerperceptionsofservicequality[J].
JournalofRetailing,1988,64(1):12-40.
[23]FichmanPAcomparativeassessmentofanswerqualityonfourquestionansweringsites[J].
JournalofInformationScience,2011,37(5):476-486.
[24]WongNMQualityevaluationofgeriatrichealthinformationonYahoo!
Answers:across-culturalcomparativestudy[D].
HongKong:TheUniversityofHongKong,2013.
[25]HarperFM,RabanD,RafaeliS,etalPredictorsofanswerqualityinonlineQ&Asites[C]//Proceedingsofthe26thAnnualSIGCHIConferenceonHumanFactorsinComputingSystemsFlorence,Italy:ACM,2008:865-874.
[26]吴丹,严婷,金国栋网络问答社区与联合参考咨询比较与评价[J].
中国图书馆学报,2011,37(4):94-105(WuDan,YanTing,JinGuodongCommunity-basedquestionansweringsitesandjointreferenceservices:acomparisonandevaluation[J].
JournalofLibraryScienceinChina,2011,37(4):94-105)[27]张兴刚,袁毅基于搜索引擎的中文问答社区比较研究[J].
图书馆学研究,2009(6):65-72(ZhangXinggang,YuanYiComparativestudyofChinesequestionansweringcommunitiesbasedonsearchengine[J].
Re081JournalofLibraryScienceinChina总第四十一卷第二一八期Vol41No218searchonLibraryScience,2009(6):65-72)[28]吴丹,刘媛,王少成中英文网络问答社区比较研究与评价实验[J].
现代图书情报技术,2011(1):74-82(WuDan,LiuYuan,WangShaochengAcomparisonandevaluationexperimentonChineseandEnglishonlinequestionansweringcommunities[J].
NewTechnologyofLibraryandInformationService,2011(1):74-82)[29]NamKK,AckermanMS,AdamicLAQuestionsin,knowledgeinAstudyofnaversquestionansweringcommunity[C]//ProceedingsoftheSIGCHIConferenceonHumanFactorsinComputingSystemsBoston,Massachusetts,USA:ACM,2009:779-788.
[30]DeLoneWH,McLeanERInformationsystemssuccess:thequestforthedependentvariable[J].
InformationSystemsResearch,1992,3(1):60-95.
[31]DeLoneWH,McLeanERTheDeLoneandMcLeanmodelofinformationsystemssuccess:aten-yearupdate[J].
JournalofManagementInformationSystems,2003,19(4):9-30.
[32]WangRY,StrongDMBeyondaccuracy:whatdataqualitymeanstodataconsumers[J].
JournalofManagementInformationSystems,1996,12(4):5-33.
[33]NunnallyJC,BernsteinIHPsychometrictheory[M].
NewYork,USA:McGraw-Hill,1994:261-262.
[34]McKinneyV,YoonK,ZahediFThemeasurementofweb-customersatisfaction:anexpectationanddisconfirmationapproach[J].
InformationSystemsResearch,2002,13(3):296-315.
[35]莫祖英,马费成数据库信息资源内容质量用户满意度模型及实证研究[J].
中国图书馆学报,2013,39(2):85-96(MoZuying,MaFeichengEmpiricalstudyondatabaseuserssatisfactionmodelofinformationresourcescontentquality[J].
JournalofLibraryScienceinChina,2013,39(2):85-96)[36]施国洪,岳江君,陈敬贤我国图书馆服务质量测评量表构建及实证研究[J].
中国图书馆学报,2010,36(4):37-46(ShiGuohong,YueJiangjun,ChenJingxianChineselibraryservicequalityevaluationscaleconstructionanditsempiricalstudy[J].
JournalofLibraryScienceinChina,2010,36(4):37-46)[37]刘冰,张耀辉基于网络用户体验与感知的信息质量影响因素模型实证研究[J].
情报学报,2013,32(6):663-672(LiuBing,ZhangYaohuiEmpiricalstudyoninformationqualityinfluencingfactorsbasedonnetworkuserexperienceandperception[J].
JournaloftheChinaSocietyforScientificandTechnicalInformation,2013,32(6):663-672)[38]宋明秋,陈冬浩,李文立安全系统开发同化影响因素研究[J].
信息系统学报,2014,14(1):59-68(SongMingqiu,ChenDonghao,LiWenliAstudyonfactorsandeffectsonsecuresystemdevelopmentassimilation[J].
ChinaJournalofInformationSystems,2014,14(1):59-68)[39]SteigerJHStructuralmodelevaluationandmodification:anintervalestimationapproach[J].
MultivariateBehavioralResearch,1990,25(2):173-180.
[40]MacCallumRC,WidamanKF,PreacherK,etalSamplesizeinfactoranalysis:theroleofmodelerror[J].
MultivariateBehavioralResearch,2001,36(4):611-637.
孙晓宁南京大学信息管理学院博士研究生.
江苏南京210023.
赵宇翔南京理工大学经济管理学院教授.
江苏南京210094.
朱庆华南京大学信息管理学院教授,博士生导师.
江苏南京210023.
(收稿日期:2015-01-20;修回日期:2015-03-31)082