Google云计算应用场景分析

免费asp  时间:2021-01-18  阅读:()
电子工业出版社刘鹏主编《云计算》教材配套课件5主要内容Google云计算技术框架应用场景分析1:Google网站流量分析应用场景分析2:Google搜索Google云计算的技术架构Google的云计算应用均依赖于四个基础组件分布式文件存储,GFS并行数据处理模型MapReduce分布式锁Chubby结构化数据表BigTableGoogle云计算应用MapReduceBigTableGFSChubbyGoogle云计算的技术架构Google云计算应用BigTableGFSMapReduceChubby组件调用关系分析Google云计算的技术架构Chubby的作用为GFS提供锁服务,选择Master节点;记录Master的相关描述信息通过独占锁记录ChunkServer的活跃情况为BigTable提供锁服务,记录子表元信息(如子表文件信息、子表分配信息、子表服务器信息)(可能)记录MapReduce的任务信息为第三方提供锁服务与文件存储Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构GFS的作用存储BigTable的子表文件为第三方应用提供大尺寸文件存储功能文件读操作流程API与Master通信,获取文件元信息根据指定的读取位置和读取长度,API发起并发操作,分别从若干ChunkServer上读取数据API组装所得数据,返回结果Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构BigTable的作用为Google云计算应用(或第三方应用)提供数据结构化存储功能类似于数据库为应用提供简单数据查询功能(不支持联合查询)为MapReduce提供数据源或数据结果存储Google云计算应用BigTableGFSMapReduceChubbyGoogle云计算的技术架构BigTable的存储与服务请求的响应划分为子表存储,每个子表对应一个子表文件,子表文件存储于GFS之上BigTable通过元数据组织子表每个子表都被分配给一个子表服务器一个子表服务器可同时分配多个子表子表服务器负责对外提供服务,响应查询请求Tablet1:,root\bigtable\tablet1,……Tablet2:,root\bigtable\tablet2,……Tablet3:,root\bigtable\tablet3,……Tablet4:,root\bigtable\tablet4,……Google云计算的技术架构MapReduce的作用对BigTable中的数据进行并行计算处理(如统计、归类等)使用BigTable或GFS存储计算结果Google云计算应用BigTableGFSMapReduceChubby应用场景分析1——Google网站流量分析GoogleAnalytics免费的企业级网络分析解决方案帮助企业了解网站流量和营销效果能以灵活的方式(各类报表)查看并分析流量数据应用场景分析1——Google网站流量分析应用场景分析1——Google网站流量分析基本功能统计网站的基本数据,包括会话、综合浏览量、点击量和字节流量等等分析网站页面关注度,帮助企业调整或增删页面分析用户浏览路径,优化页面布局分析用户访问来源链接,提高广告投资回报分析用户访问环境(如OS和Explorer),帮助美化页面应用场景分析1——Google网站流量分析应用的特征海量数据需要存储海量的用户行为数据(如点击时间、位置等)海量用户需要为任意多的网站提供流量分析技术路线使用BigTable存储和检索数据,使用MapReduce统计数据应用场景分析1——Google网站流量分析BigTable中的表设计原始点击数据表行键:点击时间列键:网站URL、网站名称、用户IP地址、来源URL、目标URL……目前尺寸约200TB200910101210112009101012101220091010121013URL标题IP地址来源URL目标URL应用场景分析1——Google网站流量分析BigTable中的表设计统计数据表行键:网站URL(倒排)列键:点击次数(如记录最近一个月每日的访问次数等)、页面关注度(如记录网站页面的访问比率)、来源网站(如记录TOP10)、目标网站(如记录TOP10)…每个列中记录的内容是字符串,Analytics在查询后需要解析字符串获得统计结果可根据统计内容的增多增加新的列目前尺寸约20TB应用场景分析1——Google网站流量分析业务流程分析数据采集原始点击数据表数据处理统计数据表数据查询MapReduce应用场景分析1——Google网站流量分析基础设施应用服务器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群应用场景分析1——Google网站流量分析数据采集数据来源页面内嵌脚本点击行为脚本应用服务器获取到数据后,存入BigTable应用场景分析1——Google网站流量分析数据采集数据存储流程向BigTable中写入点击信息寻找子表服务器向内存临时子表写入信息(含排序)如超过阈值则存储为子表文件GFS:存储子表文件子表合并、压缩应用场景分析1——Google网站流量分析数据处理例如,统计网站(如xxx.
com)过去一周网页访问比例数据处理流程数据查询MapReduce操作数据存储点击数据表统计数据表GFS应用场景分析1——Google网站流量分析数据处理:MapReduceMap操作假设过去一周查询结果文件在GFS中包含M个Chunk,那么Master寻找M个空闲的Worker,分别处理这M个Chunk,得到每个网站中页面的访问次数>>>应用场景分析1——Google网站流量分析数据处理:MapReduce自动排序对M个中间结果进行排序>>>>>>>>>>>>应用场景分析1——Google网站流量分析数据处理:MapReduceReduce操作假设得到该网站含N个网站,那么可以分配N台Worker分别处理单个网站的数据>>>>>>bbb.
asp,0.
0088>>ccc.
asp,0.
4348>>bbb.
asp,0.
0769>ccc.
asp,0.
7692>>应用场景分析1——Google网站流量分析数据处理写入数据应用程序将分析结果写入统计数据表>>>应用场景分析1——Google网站流量分析数据查询从数据统计表中查询xxx.
com行获取对应列的数据,解析,得到并展示最终结果数据处理是定期的,非实时响应查询应用场景分析2——Google搜索Google搜索的总体业务流程数据采集:Spider数据整理生成各类子表,如音乐表、生活搜索表、学术搜索表等压缩数据表,清洗失效数据数据检索应用场景分析2——Google搜索数据采集通过若干Spider在网络上搜集数据使用BigTable存储数据行键:倒排的URL列键:网站名称、语言、HTML描述、图片、链接……时间戳:记录不同时刻的网页快照应用场景分析2——Google搜索数据采集Spider可能的数据处理流程Spider获取到网页数据从Chubby的元数据中找到该URL所处的子表从子表服务器中寻找对应的行如果该行不存在,则插入新的行读取网页内容列,比较新旧数据增加时间戳,标识新数据若当前时间戳超过指定数目,删除最旧内容处理完毕存在对应行对应行键不存在数据未变化数据发生变化应用场景分析2——Google搜索数据整理Google搜索包括多个子类生活搜索:租房、车票、酒店等资讯搜索:热门新闻、分类新闻等学术搜索:学术论文定期计算网站评价数据例如PageRank的计算具有统一的数据来源使用不同的表存储数据可能使用MapReduce定期刷新数据应用场景分析2——Google搜索数据整理(Google学术搜索)应用场景分析2——Google搜索数据整理(Google学术搜索)数据抽取寻找包含学术(论文)信息的网页数据,并结构化存储学术(论文)信息抽取(分析参考文献、摘要等)可能的技术方案:MapReduce+BigTable数据统计基于抽取的数据进行统计分析(如分析被引用次数等)可能的技术方案MapReduce+BigTable学术信息BigTable行键:论文标题列键:作者、主题词、摘要、参考文献、期刊信息、被引用次数、下载链接……应用场景分析2——Google搜索数据整理(Google学术搜索)如何使用MapReduce抽取数据生成抽取目标(URL)文件将目标文件分割为M块寻找M个Worker分别做Map处理查询网站的网页数据是否包含论文描述信息抽取论文描述信息,输出按论文标题将输出排序将论文描述信息存入BigTable寻找若干Worker做Reduce处理MapReduce自动处理自动处理应用场景分析2——Google搜索数据整理(Google学术搜索)如何获取论文统计数据(如论文引用次数)分析论文信息表,二次MapReduce论文A,参考文献:{论文B,论文C,论文D}论文B,参考文献:{论文Q,论文C,论文A}论文C,参考文献:{论文D,论文H,论文A}论文F,参考文献:{论文A,论文C}论文E,参考文献:{论文S,论文A,论文D}论文S,参考文献:{论文E,论文F}应用场景分析2——Google搜索数据整理(Google学术搜索)如何获取论文统计数据(如论文引用次数)归纳排序应用场景分析2——Google搜索数据整理(Google学术搜索)如何获取论文统计数据(如论文引用次数)Reduce操作应用场景分析2——Google搜索数据检索有可能采用MapReduce实现关键词搜索可能的处理流程子表是否有Content列是否包含关键词关键词语义分析任务划分(子表+新关键词)输出到临时结果表获取行数据中Content项处理完成分配Worker结果输出MapReduce应用场景分析2——Google搜索数据检索搜索结果可能通过临时表存储每个关键词对应一个临时子表检索系统根据输入枚举现存检索结果的相似关键词如果临时子表中存在检索结果,直接输出应该存在机制刷新临时子表欢迎访问中国云计算网站http://www.
chinacloud.
cn欢迎使用《云计算》教材电子工业出版社刘鹏主编

虎跃云-物理机16H/32G/50M山东枣庄高防BGP服务器低至550元每月!

虎跃科技怎么样?虎跃科技(虎跃云)是一家成立于2017年的国内专业服务商,专业主营云服务器和独立服务器(物理机)高防机房有着高端华为T级清洗能力,目前产品地区有:山东,江苏,浙江等多地区云服务器和独立服务器,今天虎跃云给大家带来了优惠活动,为了更好的促销,枣庄高防BGP服务器最高配置16核32G仅需550元/月,有需要的小伙伴可以来看看哦!产品可以支持24H无条件退款(活动产品退款请以活动规则为准...

HostYun 新增可选洛杉矶/日本机房 全场9折月付19.8元起

关于HostYun主机商在之前也有几次分享,这个前身是我们可能熟悉的小众的HostShare商家,主要就是提供廉价主机,那时候官方还声称选择这个品牌的机器不要用于正式生产项目,如今这个品牌重新转变成Hostyun。目前提供的VPS主机包括KVM和XEN架构,数据中心可选日本、韩国、香港和美国的多个地区机房,电信双程CN2 GIA线路,香港和日本机房,均为国内直连线路,访问质量不错。今天和大家分享下...

PacificRack 端午节再来一款年付$38 VPS主机 2核4GB内存1TB流量

这不端午节和大家一样回家休息几天,也没有照顾网站的更新。今天又出去忙一天没有时间更新,这里简单搜集看看是不是有一些商家促销活动,因为我看到电商平台各种推送活动今天又开始一波,所以说现在的各种促销让人真的很累。比如在前面我们也有看到PacificRack 商家发布过年中活动,这不在端午节(昨天)又发布一款闪购活动,有些朋友姑且较多是端午节活动,刚才有看到活动还在的,如果有需要的朋友可以看看。第一、端...

免费asp为你推荐
美国主机租用国外服务器提供商有哪几家比较好的。。。域名空间代理哪里的域名空间商比较好?电信主机租用请问放个服务器在电信机房一般要什么配置?租金多少?免费虚拟主机空间免费的虚拟主机空间有没有注册国际域名怎么申请国际域名虚拟主机代理谁给推荐个好的虚拟主机无限级代理海外域名我想了解一下“国内域名”,“国外域名”以及“海外服务器”这三个方面的一些知识免备案虚拟主机哪家免备案虚拟主机好,而且便宜点的?虚拟主机系统虚拟主机上的系统与电脑操作系统差别?下载虚拟主机虚拟机下载完之后如何安装
虚拟主机评测网 in域名注册 香港主机租用 美国linux主机 金万维动态域名 vmsnap3 ssh帐号 华为4核 中国电信测速112 权嘉云 韩国名字大全 已备案删除域名 美国堪萨斯 hkt 微软服务器操作系统 江苏双线服务器 双12 东莞服务器托管 qq金券 杭州电信 更多