基于云平台的矩阵分解协同过滤算法在煤炭销售系统中的研究
祝振欣
河北政法职业学院河北石家庄050000
摘 要协同过滤技术被广泛地应用在推荐系统中。随着电子商务的快速发展煤炭产业也引进了电子销售系统。近年来矩阵分解的协同过滤算法得到了煤炭销售系统的广泛应用。但是随着互联网的快速发展煤炭电子销售记录呈现指数级增长传统的基于矩阵分解的协同聚类算法不能有效、快速地完成销售系统的推荐工作。文章针对大规模煤炭数据推荐工作提出了分布式矩阵分解协同过滤算法该算法基于云计算平台能够分布式、高效地完成推荐系统的推荐工作。通过实验结果进一步展示了本算法与传统协同过滤算法相比具有很高的加速比以及很好的可扩展性。
关键词矩阵分解协同过滤推荐工作煤炭销售系统云计算
中图分类号 TP 393 09 TP 31 1 13 文献标志码 A 文章编号 1008 8725 201401 0247 02
Research and Application of Cloud Platform Based Matrix
Factorization Collaborative Filtering Algorithm in Coal Sale System
commerce, coal industry also induces electronic sale system In recent years,matrix factorization based collaborative filtering algorithm is popularly used in coal website recommender system However, with the high development of E-commerce area, the sale records of coal sale are increasing exponentially and traditional matrix factorization based collaborative filtering algorithm could not complete recommendation work effectively in sale system In this paper, focusing on recommendation works of big scale coal sale data,we propose distributed matrix factorization collaborative filtering algorithm This algorithm is based on cloud platform, and could complete the recommendation work distributed and effectively Through the results, we show that the algorithm has high speed-up and good scalability, comparing with traditional collaborative filtering
Key words:matrix factorization collaborative filtering recommender work coal sale system cloud computing
综合这些相似用户对某一信息的评价形成系统对该 计算pq上面公式的最小值完成不同用户p和
应用并能够更加准确的预测推荐排名工作。但是 定义eui=rui-puTqi
1 基于矩阵分解的协同过滤算法 1将训练数据集平均分布到N个计算结点中收稿日期20130222修订日期2013-1 1-16
作者简介祝振欣1972- 男河北保定人硕士讲师研究方向数据库技术电子商务安全。
·248· 煤 炭 技 术 第33卷
并将用户p和项目q的初始值分布到各个计算结点中 分为两组实验分别测试算法的效率以及可扩展
2针对在不同计算结点中的训练集得到该结 性。在第一组实验中比较分布式矩阵分解协同过滤点中的用户集、项目并利用初始值计算 算法DMFCF与传统基于矩阵分解的协同过滤算法
数传递重复1和3 直至迭代终止。 在第二组数据中主要测试算法的可扩展性为
下面是基于Map Reduce的分布式矩阵分解协同 了测试算法的可扩展性从数据集D4中等比例抽过滤算法的伪代码 取四组数据 S1 S2 S3 S4含有的记录个数分别为
3:for each item i 呈现等比例增大。同时随着计算结点个数的增大针
4: computeeui=rui-puTqi; 对相同数据集的分布式矩阵分解协同过滤算法的执
5: qi←qi+γeuipuλqi 行时间成比例减少。可以看出当数据规模增大的情
6:pu←p u+γeuiqi-λpu 况下可以通过增加计算结点的个数提高算法的执行
7:end for 效率减少算法的执行时间。说明算法具有很好的可
8:end for 扩展性。
9:e nd for
Output:r^ ui 图1 加速比实验 图2 可扩展性实验
1: Mapper(); 5 结语
6 r^ ui=puTqi; 解协同过滤算法。该算法能够分布式完成推荐系统的
7: end for 推荐工作实验结果也进一步证明了算法能够高效地
8:e nd for 完成推荐工作。
9:return 0; 参考文献
4 实验结果 [1 ] Kore n
系统整合应用
D4 873 232 责任编辑 丛培建
适逢中国农历新年,RAKsmart也发布了2月促销活动,裸机云、云服务器、VPS主机全场7折优惠,新用户注册送10美元,独立服务器每天限量秒杀最低30.62美元/月起,美国洛杉矶/圣何塞、日本、香港站群服务器大量补货,1-10Gbps大带宽、高IO等特色服务器抄底价格,机器可选大陆优化、国际BGP、精品网及CN2等线路,感兴趣的朋友可以持续关注下。裸机云新品7折,秒杀产品5台/天优惠码:Bare-...
酷番云怎么样?酷番云就不讲太多了,介绍过很多次,老牌商家完事,最近有不少小伙伴,一直问我台湾VPS,比较难找好的商家,台湾VPS本来就比较少,也介绍了不少商家,线路都不是很好,有些需求支持Windows是比较少的,这里我们就给大家测评下 酷番云的台湾VPS,支持多个版本Linux和Windows操作系统,提供了CN2线路,并且还是原生IP,更惊喜的是提供的是无限流量。有需求的可以试试。可以看到回程...
#年终感恩活动#华纳云海外物理机688元/月,续费同价,50M CN2 GIA/100M国际大带宽可选,超800G 防御,不限流华纳云成立于2015年,隶属于香港联合通讯国际有限公司。拥有香港政府颁发的商业登记证明,作为APNIC 和 ARIN 会员单位,现有香港、美国等多个地区数据中心资源,百G丰富带宽接入,坚持为海内外用户提供自研顶级硬件防火墙服务,支持T B级超大防护带宽,单IP防护最大可达...