项目网站日志

天津市卓越软件工程师2015年实验班分方向培养计划一、方向情况序号企业名称方向名称企业项目实训类别方向负责人1中科瑞通大数据与云计算大数据应用开发付立军二、方向培养计划专业特色企业项目实训类别大数据应用开发方向特色当下是大数据时代.
"大数据"需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产.
"大数据"的是无法使用传统流程或工具处理或分析的信息.

为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解.
本课程提供在企业在大数据时代普遍面临的各种挑战的解决方案.
该实训授课内容均是大数据前沿最流行、最热点技术内容,这些开源技术在将来很长一段时间内还将不断的被发展、优化.
企业中如果应用大数据技术解决实际问题,为企业发展增加核心竞争力.

本项目将全面覆盖大数据领域通用架构及涉及到的技术组合:离线数据平台:Hadoop、Hive、HBase、ETL、Flume实时数据平台:Storm、Kafka、Flume所需软硬件环境单机器配置要求:磁盘容量大于等于500G2个4核/8核CPU16-64GB内存千兆以太网LinuxCentOS6系统Hadoop集群:5台Storm集群:3台(二)建议先修课程列表序号课程名称需掌握知识点1数据结构线性表,栈,队列,串,数组,树,图等基本数据结构知识.
2数据库技术对主流数据库Oracle10g、MySQL等熟悉,同时对NoSQL较好的认识.
3操作系统进程管理、内存管理、文件系统、网络通讯、安全机制、用户界面、驱动程序等功能了解掌握.
4计算机网路对路由、交换、通讯、体系结构、网络协议、设计及集成等掌握和了解.
(三)专业技术课程列表序号课程名称学时学分任课教师备注1JAVA高级开发与实践302李守斌大数据基础课2Linux实践与计算机算法实践151刘冰大数据基础课3Hadoop原理与实践322常志军专业核心课4HBase技术实践与应用453高俊秀专业核心课5Storm与实时数据系统322常志军专业核心课6大数据平台架构与实现604高俊秀常志军专业核心课7数据仓库建设302徐文方巍提升及就业发展课(四)专业技术课程简介课程名称(1)JAVA高级开发与实践教材《Java核心技术:卷I基础知识+卷II高级特性》教学内容技术块Java编程基础及高级类特性、JAVA数据库编程技术知识点Java开发的工具EclipseJava类库熟练运用关系型数据库及SQL语言ODBC、JDBC的工作原理及使用方MySQL数据库访问与运用重点MySQL数据库、JDBC、数据库连接池的使用技术块JSP+Servlet编程知识点Jsp运行原理、Jsp隐含对象、Jsp指令,Jsp动作JavaBean、标签技术、文件上传、数据库连接池配置Servlet运行原理、Web应用配置、Web应用服务器配置SSL安全协议、监听器、过滤器、DAO概念重点JavaBean技术、数据库连接池配置、Web应用服务器配置、SSL安全协议技术块多线程机制和设计模式知识点程序、进程、线程的概念和原理Thread类的子类创建线程方法Runnable接口创建线程设计模式的背景知识和设计模式的种类重点线程控制方法,线程的调度、互斥和同步;设计模式技术块目前流行的三大框架知识点Struts工作原理、Struts框架技术及应用Spring工作原理、Spring框架技术及应用Hibernate工作原理、Hibernate框架技术及应用重点SSH三大框架的整合应用项目开发技术考核方式项目实践、课堂出勤、团队合作课程名称(2)Linux实践与计算机算法实践教材《Linux编程从入门到精通》,化工出版社;《计算机算法与程序设计》,清华大学出版社;编程之美教学内容技术块Linux基础与实践知识点Linux操作系统基础:Linux系统的特点及安装管理;桌面系统的使用;用户管理;文件系统操作;VI工具使用.
Linux磁盘与网络管理:网络管理;进程管理;磁盘管理;日志管理.
服务安装与部署:WEB服务器;数据库服务;Java安装与配置;Linux服务;Iptables配置;虚拟化配置.
Linux下的Shell编程:Linux下的Shell编程方式重点服务前安装部署,shell编程,磁盘与网络管理.
技术块计算机设计算法实践知识点二叉树的前序遍历,中序遍历和后续遍历的实现(递归和非递归),查找算法,内排序(插入排序,快速排序,选择排序等)时间复杂度和空间复杂度数组及字符串实践应用链表及树的运用递归和动态规划重点熟练掌握算法各类应用考核方式项目实践、课堂出勤、团队合作课程名称(3)Hadoop原理与实践教材Hadoop权威指南(第2版)教学内容技术块HDFS存储概述知识点HDFS存储核心概念HDFS关键运作机制HadoopShell重点了解Hadoop的存储架构HDFS,能够使用HadoopShell技术块MapReduce原理和事件知识点MapReduce运行机制MapReduce使用注意事项编写MapReduce程序并能运行出正确结果重点根据数据的特点能够设计MapReduce程序,并编写和运行考核方式项目实践、课堂出勤、团队合作课程名称(4)HBase技术介绍与应用教材HBase权威指南[HBase:TheDefinitiveGuide]教学内容技术块HBase文件系统知识点HBase部署安装HBase存储于HDFS的关系HBase逻辑存储原理HBase查询流程重点了解HBase的原理,清楚HBase解决实时查询的关键设计技术块HBase基本操作知识点客户端APIJava实现对Hbase的put、get等方法HBase过滤器使用HBase表、列族、行键设计等重点能根据需求设计合理的HBase表,并能完成相关操作考核方式项目实践、课堂出勤、团队合作课程名称(5)Storm与实时数据系统教材Storm分布式实时计算模式[StormBlueprintsPatternsforDistributedReal-TimeComputation]教学内容技术块Storm编程学习知识点Storm集群搭建,依赖ZeroMQ、JNMQ、Python2.
6.
6Stormtopology构成组件及作用Trident介绍实践单词实时统计Topology重点掌握StormTopoloy编程各组件的角色和用法.
能将负责逻辑转成为组件流程.
技术块基于Storm的实时流式处理平台知识点Flume部署,实时监控数据源Kafka部署,实现Flume向Kafka加载数据Storm集群部署、Storm从Kafka中读取实时处理实践网站日志实时监控,完成ip黑名单功能重点理解实时流式数据平台的通用架构,加每个环节使用的技术考核方式项目实践、课堂出勤、团队合作课程名称(6)大数据平台架构与实现教材Hive编程指南[ProgrammingHive]教学内容技术块Hive实现原理、了解metastore知识点Hive的产生背景、主要解决的问题Hive转译引擎的工作机制Hive加载、访问接口HQL与SQL的对比重点了解Hive工具的作用,工作机制技术块Hive对表的基础操作知识点创建、删除、修改表外表、内表、分区介绍动态分区实现分区准确性多表关联查询重点熟悉对Hive的基本操作,能根据需求建立Hive表.
考核方式项目实践、课堂出勤、团队合作课程名称(7)数据仓库建设教材TheDataWarehouseMentor:PracticalDataWarehouseandBusinessIntelligenceInsights教学内容技术块数据仓库概述知识点数据仓库的由来和常见概念数据仓库常见问题数据仓库的基本架构重点数据仓库的基本架构技术块ETL理论和实施知识点ETL的基础理论ETL常见问题根据要求完成ETL任务重点完成ETL任务编写技术块构建示例数据仓库知识点根据要求完成多个相互关联的ETL任务理解各种任务和数据仓库分层的概念技术块完成示例数据仓库的构建,并理解数据仓库的分成概念考核方式项目实践、课堂出勤、团队合作(五)实训项目简介在项目的设定上,根据行业培养的方向制定合理的项目实训计划.
项目名称1企业营销管理系统(JAVA实践)实训周期(周)4主讲李守斌助教王学兵项目简介(主要填写项目实现的功能模块简介)模拟实现某省移动营销支持系统,为管理员提供营销活动策划、审批、评估,为用户提供活动推荐、订购、查询功能.
该系统主要包括权限管理、实时数据采集、数据处理、营销活动策划、营销活动审批、营销活动推荐、营销活动受理,营销活动评估等功能.

权限管理,实现基础的工号和角色的管理,支撑工号、角色的增、删、改、查,角色权限分配,权限认证等功能.
数据采集,模拟实现数据的交互,用户行为轨迹.
数据处理,对采集的数据进行分类、分析、形成用户标签库活动策划,实现对营销活动的配置,包括基础信息、营销内容、发布渠道等信息管理.
活动审批,实现对营销活动的多层级审批.
营销活动推荐,根据用户的行为进行主动、被动营销活动推荐.
活动受理,为用户办理某个营销活动,提供查询功能,包括参加活动的条件限制,和参加活动后的约束.
营销活动评估,实现以的统计报表,活动推荐、订购成功率等.
组织形式角色职责人数项目工程师系统分模块开发、系统模块间整合5人助理工程师负责需求调研与业务逻辑设计1项目经理项目的规划、协调、项目节点把握1项目组成立项目组,制定项目里程碑项目组长对项目设计、跟踪及需求的沟通1技术骨干主要负责一个模块,带领1-2人完成2项目组成员按照项目组长的安排,完成相关开发实践任3考核方式评分总体标准:本门课程满分为100分;评分标准为:总分=项目提交(50%)+平时表现(20%)+项目答辩(30%)对于实训课程注重过程,强调结果内容具体内容评分标准权重项目提交物(50%)项目相关文档《项目任务分配及进度表》《项目需求分析说明书》《项目详细设计说明书》《项目测试说明书》《项目实训个人总结》每份文档占该项的20%权重,根据其情况酌情进行处理.
根据文档具体的完成的情况进行酌情给分.
40%项目源代码依据项目源代码代码书写美观符合编码规范.
代码运行正常.
页面的设计美观,合理,功能全面.
功能设计上有所创新.
不符合要求者,酌情扣分.
60%平时表现(20%)学习态度依据上课学习积极情况根据其完成项目的积极性和做项目态度,教师进行给分.
50%出勤情况依据考勤统计表根据《考勤表》进行给分.
50%答辩(30%)答辩PPT依据项目答辩的PPTPPT制作美观,内容全面.
按照要求完成PPT的每个环节.
不满足要求者酌情给分.
50%项目运行依据项目运行情况项目能够正常运行.
对此项目各个功能的理解到位,能回答出老师的提问.
不满足以上条件酌情扣分.
50%项目名称2通用海量数据计算、分析平台建设实训周期(周)17主讲常志军\高俊秀助教裴鹏飞项目简介项目模块1:分布式日志收集分析系统实训周期(周):4实践意义:日志收集是企业构建海量数据分析平台的第一步.
源数据包括:日志、db、网络数据等.
当产生数据的服务器达到百台、甚至几千台时,分布式日志收集就更加重要,同时也将会面临更大的挑战.
本项目即为实践分布式日志收集系统在产业中采用的技术组合、关键指标、容错机制等.

项目目标:(1)搭建Flume,HDFS,MapReduce,Hive系统(2)构建一个分布式日志收集系统,涉及数据收集,存储,计算分析和报表展示主要功能模块:一、Flume作为最底层采集工具.
第一级Flume通过avro完成分布式收集,根据数据源、数据量的大小,第二级Flume进行数据接收并写到HDFS、(Kafaka,实时模块使用)中.
多级的Flume设计降低了应用服务器的负责,同时提高了容错性.

二、HDFS、MapReduce作为分布式存储、计算系统,主要完成对数据的存储和处理.
三、数据仓库构建工具Hive,构建实践使用的数据表.
Hive的本质是HDFS文件的逻辑记录,处理脚本通过Hive的翻译引擎.
数据应用人员通过撰写类SQL的HQL,即可实现对海量数据的处理.

项目模块2:基于Hadoop的ETL系统实训周期(周):6实践意义:ETL是构建数据仓库的重要一环,从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据格式,将数据加载到数据仓库中去.
在数据仓库建设过程中,ETL是最花费时间、人力的,约占整个项目的60%-70%左右.
ETL就是要将各个不同的数据文件或数据库所撷取的资料,根据企业之需求及数据仓库Model的设计,转换成正确的信息,清除重复不需要的资料,转至统一的数据库中,保留在企业内以利后续使用.