调度系统1.说明高级调度、中级调度和低级调度的基本含义。

什么是ETL调度系统?

.1 ETL流程及调度设计（ETL Schedule）(PSP) ? ETL调度的目标 快速见效系统要抽取39家分行四个系统的数据进行加工处理，数据从下传文件到ODS库，ODS库到LDM，再计算PI值和汇总PI，整个ETL处理过程需按一定步骤和满足某些条件进行，某些关键的文件如汇率数据、机构表等都会影响整个ETL的处理，因此，快速见效的ETL处理流程将是一个比较复杂的过程。

考虑到将来ETL处理的多样性和复杂性，引入了Job的概念，将ETL处理过程分为一个一个的Job，Job可能是清洗加载转换，也可能是PI加工。

为了对复杂的ETL处理过程更好的调度和监控，专门设计一个ETL调度系统。

通过ETL调度系统的开发使用，将清晰、高效地通过Job调度的方式处理快速见效的ETL过程。

? ETL调度的功能范围 1. ETL调度功能图示 2. ETL调度功能说明 调度维护 1) 调度系统参数维护，对调度系统的公共参数：期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。

2) 下传文件信息维护，维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。

3) 作业步定义与维护，定义作业对应的实际ETL处理过程，生成作业编号，定义作业类型和作业的驱动关系，作业的运行所需要的条件。

4) 调度异常处理，对调度过程中出现的异常情况进行处理，提供错误查找、出错重跑功能。

日志管理 1) 调度过程日志，管理记录调度中的主要过程和异常信息，如调度开始、调度完成、数据库操作异常和读写文件异常的日志。

2) Job执行日志，管理记录Job执行信息的日志，提供该日志的查询、删除和执行状态重置功能。

3) Job详细事件日志，管理记录Job执行中的详细事件（清洗记录条数、数据库具体操作情况）的日志，提供对日志的查询、删除操作。

作业调度 正常情况下的作业调度，对整个ETL过程进行调度，提供分段提交处理和自动提交处理功能。

可调度的Job类型 1) C程序（清洗），ETL调度提供与C程序的接口，从而可以对C程序进行调度。

2) 用C封装的SQLLDR（加载），将ORACLE SQLLDR封装在C程序中进行调度。

3) PROC程序（合并、转换），对合并和转换过程，调度提供相应的接口，从而对ORACLE的PROC程序进行调度。

4) 存储过程（转换），将存储过程封装在PROC程序中进行调度。

5) DataStage（PI加工），调度系统提供了与DataStage的接口，可以对DataStage各个种类的Job进行调度。

? ETL总体流程图 ? 作业步（ETL_Step）的功能类型及数据处理 0. 文件FTP: 将各个分行的源业务系统（NLNS、SBS、NACS）的以预定的文件格式以FTP方式通过中行网络传输到QUICK WIN项目系统的ETL服务器。

1. 文件注册：0中FTP的源数据文件，经过解压缩后，必须在QUICK WIN项目系统中注册，只有经过文件注册过程后QUICK WIN项目系统才能确认“那些分行的源数据” 已经正确到达，ETL系统就可以相应的处理流程。

2. 数据清洗：从各分行FTP来的源数据文件，可能存在非法数据或冗余数据或者数据规则标准不统一，而且文件格式上也不能被QUICK WIN项目的ETL过程立即使用，因此必须对数据文件进行数据清洗（删除非法、冗余数据、统一数据规则标准、转换成QUICK WIN项目的ETL过程能“加载”处理的文件格式）。

3. 数据加载：将清洗后的数据（文件格式）通过SQL LOADER加载到ORACLE数据库相应的数据库表中。

4. ODS数据合并：将各个分行的相同类型的源业务系统数据合并到ORACLE数据库中同一张数据表中。

5. LDM数据加工：面向业务生产数据（ODS数据库表中的数据）根据“QUICK WIN分析模型”将数据转换、加工成面向分析主题的“分析型数据”。

6. PI加工：根据业务需求、业务规则和分析模型，从LDM数据表中加工出QUICK WIN所需的PI。

7. 报表加工：根据业务需求、业务规则和分析模型，从LDM数据表和PI表中中加工出QUICK WIN所需的报表。

8. ETL调度程序：调度ETL加工各个过程的运行。

9. 监控程序：监控ETL过程的运行状态（加工进度、加工效率、成功、警告、错误等）信息，及时向系统的运行维护人员报告系统运行状态。

? 作业步（ETL_Step）的流程和依存关系。

1) 清洗类型的Job的运行依赖于相应下传文件的状态，必须是在下传文件检查及登记后才能进行清洗Job的调度。

2) ODS层加载类型Job的运行依赖于相应的清洁文件是否由清洗程序生成，即相应的清洗Job是否正确运行完成。

3) 从ODS到LDM的数据转换依赖ODS层的相关数据是否齐备，即相应的加载Job是否正确运行完成。

4) PI加工的进行依赖LDM层数据，即相应的转换Job是否正确运行完成。

5) 根据数据依赖关系，分区域进行作业调度，各区域之间的ETL处理可以并行处理。

? 作业调度方式 1. ETL调度系统结构图 2. 调度策略 采取条件驱动的策略来进行Job的调度，Job一满足驱动条件便开始运行。

针对快速见效系统的ETL情况，定义四种类型的驱动条件： 1) 前导Job驱动 ETL过程中各个操作需按一定次序进行，前导Job表示ETL过程中先要进行处理的Job，Job的前导Job可以有多个，前导Job驱动的图示如下： 2) 下传文件驱动 当下传文件未下传完毕时，下传文件清洗不能进行，因此，下传文件通常作为清洗文件的驱动条件，当系统检测到下传文件已下传并正确后，便可进行相应的清洗，驱动Job执行的下传文件可能有多个，图示如下： 3) 时间驱动 当到达某个时点时，Job便开始运行，图示： 4) 上述三种条件综合驱动 要上述三种情况至少两种均满足，Job才能运行。

3. Job的并发设计 每个Job只要满足了驱动关系后，便开始以后台方式运行。

这样便实现了不同区域和同一区域的Job的最大限度的并行。

考虑系统资源的情况，可以事先设定最大并行数。

4. 并发冲突设计 当并行跑的Job都需要共同使用同一资源的时候，会产生资源占用的冲突，ETL过程中通常的冲突, 用令牌的方式来避免冲突，只有获得令牌的JOB才能跑，否则等待令牌释放。

? 定义数据转换流程中检查点和核对点 1) 下传文件，下传文件与源系统数据进行比较检查，核对下传数据准确性。

2) 清洁文件，将清洁文件与下传文件进行比较检查，从而可判断清洗处理过程的正确性。

3) ODS库表，将ODS库表中的数据与下传文件中数据进行比较检查，从而可判断加载处理过程的正确性。

4) LDM库表，将LDM库表中的数据与ODS库表中数据进行比较检查，从而可判断转换处理过程的正确性。

5) PI值，将PI值与LDM层相关的库表进行比较检查，从而可判断PI计算处理过程的正确性。

? 日志信息设计 1) 调度过程日志。

以文件的方式存在，用于记录Job调度中的主要过程和异常信息，如调度开始、调度完成、数据库操作异常和读写文件异常。

2) Job执行日志。

数据库表方式存在，给Job的调度提供必要的信息，是Job调度策略计算的依据，调度模块和Job之间的接口之一。

3) Job详细事件日志。

数据库表方式存在，记录ETL处理过程中的详细信息，如清洗记录成功条数、失败条数或数据库操作情况（INSERTUPDATEDELETE）。

? 给出异常处理设计：所有被拒绝的行、可接受的错误数以及合理退出的方式 ? 通知设计：重要信息（成功/失败）的通知 1. 成功退出 1) 分段提交方式，当分段提交的当次任务都正确完成，即Job运行状态临时表中登记的作业状态全部为完成时，退出ETL调度。

2) 自动提交方式，当当期所有的任务都正确完成，即Job运行状态表中登记的作业状态全部为完成时，退出ETL调度。

2. 失败退出 1) 关键作业异常，关键作业运行异常时，影响剩下的作业不能运行时，则退出ETL调度。

2) 超过ETL时限，当超过预先设定的ETL 时限时，退出ETL调度。

3) 数据库异常，当不能正常操作数据库时，退出ETL调度。

4) 操作系统异常，当发生操作系统异常，导致程序不能正常运行，如文件系统异常导致读写文件错时，需要退出ETL调度。

5) 手工退出，需要人为干预ETL调度的时候，能以手工操作的方式退出ETL调度。

? 给出各个阶段号说明 给出表格：表6－N ETL_Step编号表（ETL控制参数） ? ETL 调度优先级别 按Job驱动关系进行Job的调度，前导Job优先于后续Job。

? ETl流程及调度模块说明 ? 模块概要说明 模块概要说明（总体层次） 模块名称 模块编号 开发工具/环境 模块功能说明 备注 作业调度 J01 AIX+Shell+C ETL调度主模块，负责整个ETL过程的调度处理。

维护员 作业管理 J02 EXECL+BRIO+C 定义作业步对应的实际ETL处理过程，生成作业编号，定义作业类型和作业的驱动条件。

管理员 异常重跑 J03 AIX+Shell+C 当ETL运行出现异常时，提供断点重跑机制。

维护员 参数管理 J04 Brio EIS 调度系统的公共参数：期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。

管理员 日志管理 J05 BrioSDK,EIS 包括调度过程日志、Job执行日志和Job详细事件日志的查询和删除。

管理员 模块概要说明（明细层次） 模块名称 模块编号 模块类型 开发环境 模块功能说明 备注 CTLINIT J01_01 作业调度 AIX,PROC 检查输入参数和驱动关系，初始化资源令牌状态/Job运行状态/下传文件状态。

UNCOMPR J01_02 作业调度 AIX,PROC,SHELL 检测下传目录下的压缩/打包的文件，并将这些文件解压缩/展开，之后移动到非下传目录下。

FILEREG J01_03 作业调度 AIX,PROC 根据下传文件控制表 检查各文件头的控制信息，将检查结果记录在下传文件控制表中。

CHKREGJOB J01_04 作业调度 AIX,PROC 扫描Job运行状态（或临时）表看所有（或本次提交需要完成的）Job是否完成，根据Job执行日志信息登记完成的Job(在Job运行状态表登记)。

CALREGJOB J01_05 作业调度 AIX,PROC 根据Job运行状态/下传文件状态/ Job驱动关系计算可已运行的Job，并在Job运行状态表中将这些Job登记为“就绪“状态。

JOBRUN J01_06 作业调度 AIX,PROC,SHELL 依据当前进程数/资源令牌占用清况发出调度一个Job运行的命令，并登记Job运行状态为“正运行“。

CRTJOB J02_01 作业管理 EXECL 生成作业列表和作业对应的驱动条件。

CHKJOB J02_02 作业管理 PROC 检查作业列表的合法性，包括驱动关系的合理性检查。

RERUN J03_01 异常重跑 AIX,PROC,SHELL 当ETL运行出现异常时，提供断点重跑机制。

PARADM J04_01 参数管理 BRIO EIS,SQLPLUS,SHELL 调度系统的公共参数：期数、进程数、数据日期、本期开始日期和本期结束日期进行设置、修改及查询。

LOGADM J05_01 日志管理 BRIO EIS,SQLPLUS 包括调度过程日志、Job执行日志和Job详细事件日志的查询和删除。

? ETL流程及调度的模块设计说明表（设计阶段） 见附件《ETL调度详细设计.doc》 ? 给出ETL流程及调度的程序设计说明表（实现阶段）：参见 “1.15节” 1.2 ETL监控(ETL Monitor) (PSP) ? ETL监控结构设计，图示说明 ? ETL监控主要功能概述 1) ETL调度检测下传文件状态，并登记到下传文件状态表中，通过Hyperion Client设计对下传文件状态查询的BQY文档，发布到Hyperion Performance Suite 8 Server，再通过Http或直接通过ODBC进行BQY查询来获取下传文件状态，从而实现了文件传输监控功能。

2) 当某个区域的某些文件清洗完成时，ETL调度在Job运行状态表中登记该区域相应清洗Job的状态（异常或完成）；当文件加载、转换或加工完成时，ETL调度同样方式在Job运行状态表中登记相应Job的状态，通过设计对Job运行状态查询的BQY，并发布到Hyperion Performance Suite 8 Server，再通过Http或直接通过ODBC进行BQY查询来获取Job的当前状态，从而实现了加载、转换和加工的监控功能。

3) 对Job的执行情况（开始时间、结束时间）的监控通过设计查询Job执行日志表的BQY文档来实现，对Job的详细事件的监控通过设计查询Job详细事件日志表的BQY来实现。

4) 对调度的整体情况的监控，则可直接通过TELNET查看调度过程日志，便能知道调度的完成情况和异常情况（数据库错、参数非法或操作系统错等）。

? ETL监控模块说明： ? ETL监控的模块概要说明 模块概要说明（明细层次） 模块名称 模块编号 模块类型 开发环境 模块功能说明 备注 FILEMON J06_01 ETL监控 BRIO,EIS 监控各个区域的下传文件传输情况和文件状态。

JOBMON J06_02 ETL监控 BRIO,EIS 对各个区域的清洗、加载、转换和加工过程的完成情况进行监控。

EVTMON J06_03 ETL监控 BRIO,EIS 对JOB的执行开始时间、结束时间和JOB运行过程中的详细操作情况进行实时监控。

MAINMON J06_04 ETL监控 BRIO,EIS 对调度的整体情况的监控，包括调度成功完成、异常退出、数据库错、参数情况和操作系统出错进行监控。

系统调度是什么？

系统调度分为三种： 高级调度：又称作业调度。

其主要功能是根据一定的算法，从输人的一批作业中选出若干个作业，分配必要的资源，如内存、外设等，为它建立相应的用户作业进程和为其服务的系统进程（如输人、输出进程），最后把它们的程序和数据调人内存，等待进程调度程序对其执行调度，并在作业完成后作善后处理工作。

低级调度：又称进程调度。

其主要功能是根据一定的算法将CPU分派给就绪队列中的一个进程。

执行低级调度功能的程序称做进程调度程序，由它实现CPU在进程间的切换。

进程调度的运行频率很高，在分时系统中往往几十毫秒就要运行一次。

进程调度是操作系统中最基本的一种调度。

在一般类型的操作系统中都必须有进程调度，而且它的策略的优劣直接影响整个系统的计能。

中级调度：又称交换调度。

为了使内存中同时存放的进程数目不至于太多，有时就需要把某些进程从内存中移到外存上，以减少多道程序的数目，为此设立了中级调度。

特别在采用虚拟存储技术的系统或分时系统中，往往增加中级调度这一级。

所以中级调度的功能是在内存使用情况紧张时，将一些暂时不能运行的讲程从内存对换到外存上等待。

当以后内存有足够的空闲空间时，再将合适的进程重新换人内存，等待进程调度。

引人中级调度的主要目的是为了提高内存的利用率和系统吞吐量。

它实际上就是存储器管理中的对换功能 参考资料：/z/q658630214.htm

什么是电力调度系统

2007年的问题。

大概说一下吧，免得推荐答案误导人。

电力调度的主要工作简单点说是根据用电的需量安排每个电厂的发电量。

电力调度系统指调度自动化系统，主要是调度SCADA系统、EMS能量管理系统等，这些系统会采集每个电厂的发电数据，给每个发电厂分配发电任务等等。

当然发电计划还是要人工参与的。

或者你也许问的是组织机构？电力调度系统就是指的电网公司，中国有两个电网公司，国家电网和南方电网，南方广东、海南、广西、云南、贵州几个省是南方电网的，其他是国家电网的，下设区域电网公司、省电力公司，再往下就是市供电局等等。

调度是干什么的

生产调度就是组织执行生产进度计划的工作。

生产调度以生产进度计划为依据，生产进度计划要通过生产调度来实现。

生产调度的必要性是由工业企业生产活动的性质决定的。

现代工业企业，生产环节多，协作关系复杂，生产连续性强，情况变化快，某一局部发生故障，或某一措施没有按期实现，往往会波及整个生产系统的运行。

因此，加强生产调度工作，对于及时了解、掌握生产进度，研究分析影响生产的各种因素，根据不同情况采取相应对策，使差距缩小或恢复正常是非常重要的。

扩展资料： 通信调度： 在通信业务中，频谱资源和功率资源都是有限的，但小区里用户数量和业务量是不同的，系统不能只顾虑一部分用户，它要对资源进行合理的分配，以使系统中的用户得以正常良好的通信。

这种分配的方法或者策略，即为调度算法或者调度技术。

最大载干比和轮询调度分别是以吞吐量最大化和公平性最优为准则的两种调度极端。

实际的调度算法都介于这两者之间，最常用的就是比例公平调度。

比例公平调度既考虑了用户间的公平性（让所有用户都得到服务），也考虑了系统吞吐量优化（尽可能地提高频谱效率，解决成本）。

综上所述，通过调度器在适当的时刻（某一特定传输时间间隔）运用适当的方法（如PR（Premium Rate Preannouncement，在呼叫接通前提示用户资费信息）、MAX C/I、PF调度算法）为适当的用户（系统中的某些用户）分配适当的资源（如PRB（Physical Resource Block，物理资源块）； HARQ（Hybrid Automatic Repeat Request，混合自动重传请求）、PDCCH CCE（Control Channel Element，控制信道单元）、功率等）以使系统中的用户得以正常良好的通信，就是通信业务中的调度技术。

参考资料来源：百度百科-调度 参考资料来源：百度百科- ?生产调度

什么是视频调度系统啊？作用是什么，原理是什么，我不要抄过来的！

视频调度系统：领导坐在办公室通过员工佩戴的摄像头进行指挥工作，太爽了。

作用是什么：消防员冲锋在前得到现场情况，指挥员谋划在后。

原理是什么：楼主 视频直观呀！

1.说明高级调度、中级调度和低级调度的基本含义。

1、高级调度 高级调度又称为作业调度。

它是批处理系统中使用的一种调度。

其主要任务是按照某种算法从外存的后备队列上选择一个或多个作业调入内存，并为其创建进程、分配必要的资源，然后再将所创建的进程控制块插入就绪队列中。

2、低级调度 低级调度又称进程调度。

它是距离硬件最近的一级调度。

其主要任务是按照某种算法从就绪队列上选择一个（或多个）进程，使其获得CPU。

3、中级调度 引入中级调度的目的是为了提高内存利用率和系统吞吐量。

其功能是，让那些暂时不能运行的进程不再占用宝贵的内存资源，而是调其到外存上等候。

此时的进程状态为挂起状态。

当这些进程重新具备运行条件且内存空闲时，由中级调度选择一部分挂起状态的进程调入内存并将其状态变为就绪状态。

扩展资料： 进程调度时机可能出现的情况 1、进程完成其任务时； 2、在一次系统调用之后，该调用使当前进程暂时不能继续运行时； 3、在一次出错陷入之后，该陷入使现行进程在出错处理时被挂起时； 4、在分时系统中，当进程使用完规定的时间片，时钟中断使该进程让出处理机时； 5、在采用可剥夺调度方式的系统中，当具有更高优先级的进程要求处理机时。

参考资料来源：百度百科-计算机进程调度