内存虚拟内存设置多少最好

第二章网络实现模型模型的重要性网络算法学的一个难题是它需要多个领域的知识:协议、硬件、体系结构、操作系统、算法等需要不同领域的专家协作设计出高效的网络计算机系统不同领域的专家通过简单的模型进行对话:模型描述了问题的要点,又不涉及不必要的细节最低程度:模型应能定义所需要的术语(能够交流)最好情况:领域外的专家可以根据模型进行设计,并可由领域内的专家对设计进行验证2.
1协议抽象模型协议定义了对等实体之间通信的规则:定义了对等实体之间交换的报文的格式和次序定义了在发送报文、收到报文或收到其它事件后采取的动作(通常给出一个协议状态机)定义了调用接口*协议抽象模型(续)可将协议看成是加上了调用接口和报文格式定义的状态机,所有协议都可以抽象为图中的状态机模型:一个上层接口调用使协议状态机初始化在某个状态时,可能发送一个报文、收到一个报文或发生一个定时器事件,并进入一个新的状态常见而耗时的功能(TCP/IP)与数据包收发有关的功能:数据操作:交换、数据拷贝、检错等分配资源(如内存、CPU)与协议处理有关的功能:重组数据包查表及修改状态设置定时器调度任务数据包交付给应用:解复用(确定目标程序)控制切换(唤醒目标程序)重要的性能指标两个最重要的性能指标:吞吐量:每秒处理的包数(pps)或比特数(bps)延迟:处理一个数据包的时间(通常关注最坏情况延迟)性能测量分为:全局性能测量:如端到端延迟和带宽,使用网络管理工具(如OpenView)进行测量本地性能测量:如路由器查找速度,使用计算机内部的性能测量工具(如Oprofile,Vtune)测量本课程关注数据包在本地的处理速度,线速处理是系统优化的重要目标之一因特网环境的特点链路速度已达到万兆量级10Gbps已普及,40Gbps在数据中心很常见,100Gbps已出现TCP流量占主导大量应用使用TCP协议小包很多路由器收到的包中大约一半为最小长度(40字节)的包移动互联网、即时通讯应用中大量都是小包网络设备需要处理大量的并发流骨干网上,在一个非常短的时间内大约有一百万个并发流经过一个路由器网络计算机系统面临的挑战高速链路+大量小包:包速率很高处理一个包的时间必须非常短,线速处理难度大高速链路+大规模并发流:时间局部性很差,在一个包上执行的计算,在未来短时间内重用到另一个包上的可能性很小Cache命中率低,消除访存瓶颈困难TCP流占主导+TCP处理开销大:优化TCP实现很重要2.
2存储器在现代计算机系统结构中,访存是最大的性能瓶颈:存储器访问时间比指令执行时间长很多处理器速度和访存速度之间的鸿沟越来越宽,使得访存瓶项问题更加突出访存构成了端节点和路由器的主要性能瓶颈:数据包、状态信息、指令等都保存在内存中许多系统优化工作都是围绕访存优化而展开的*存储器的种类寄存器:由一组有序的触发器构成,访问片上寄存器的耗时大约为0.
5-1nsSRAM:由一组寄存器构成.
一般情况下,片上SRAM的访问时间为1-2ns,片外SRAM的访问时间为5-10ns现在的高端多核处理器具有L1、L2、L3三级cacheDRAM:存储单元组织成行、列二维结构.
片上DRAM的访存延迟大约为30ns,最快的片外DRAM访存延迟为40-60ns,连续读的延迟约为100ns*存储器的种类:快页内存page-modeDRAM(快页内存)利用DRAM的结构特点,优化对相邻存储单元的连续访问:提供行地址时,选中的那一行数据(4字节)进入到rowbuffer中如果要访问的4个字节刚好位于同一行(页),不需要再提供列地址快页内存有利于快速访问局部性好的数据:可以一次读取相邻的4个字节优化访存的措施:有意识地组织数据,将那些要被读取的数据保存在连续位置*存储器的种类:交织内存InterleavedDRAM(交织内存)将几个DRAMbank集成到一个内存芯片中,复用数据线和地址线利用单个DRAMbank读写周期长的特点,在总线上交替完成对各个DRAMbank的访问提高内存带宽典型的产品有:SDRAM:集成了2个bankRDRAM:集成了16个bank*假设DRAM的读写周期为10ns,而输出一个地址只需要10ns举例:流ID的流水化查找应用需求:路由器统计每个流发送的包数每个流用五元组(共96位)进行描述线速处理要求:对于2.
5Gbps链路和40字节最小数据包,流ID的查找时间不能超过128ns.
(40*8/2.
5Gb/s=128ns)问题规模:核心路由器中大约有100万条并发的流*设计方案考虑需要设计一个数据结构:每个流维护一个计数器支持插入和查找两种操作,查找为针对流ID的精确匹配要求限制最坏情况下的查找时间(不超过120ns)考虑使用平衡二叉树问题:查找树保存在什么地方为了获得高速度,应保存在SRAM中:维护100万条流的状态,需要(96+16)*1M≈14MB空间,代价太高!
为了降低代价,保存在普通DRAM中:查找一个流需要log2106≈20次访存,按照访存周期50ns计算,查找时间为1微秒,达不到线速处理的要求!

*使用RDRAM实现二分查找考虑使用交织内存RDRAM(包含16个bank)实现高度为16的二叉树,树中第i层的所有节点存储在banki中.
查找芯片同时对16个数据包(流ID)进行查找,比如:第一个读周期(60ns):用第1个包的流ID查找bank1中的根节点,得到bank2(第二层)中要查找的节点;第二个读周期:先用第1个包的流ID查找bank2,再用第2个包的流ID查找bank1中的根节点;依次类推流水线充满后,每60ns完成一个流ID的查找问题:层次为16的二叉树只能有216=64K个流ID,不能满足问题规模!

*使用RDRAM实现M=3的B-树RDRAM允许快页模式,可一次读8个32比特的字(256比特)256比特的字可以存放2个96比特的流ID,以及3个20比特的指针构造一棵高度为16、M=3的B-树,可以保存316≈43,000,000个流ID*网络芯片的存储子系统设计技术交织内存和流水线:类似的技术也可用于IP查找、包分类、包调度等基于树结构的查找算法中如果没有交织内存,可用多个外部存储来实现多个bank宽字并行:为了一次访问较多的数据,使用快页内存或内存字较宽的SRAM组合DRAM和SRAM:SRAM快而贵,DRAM便宜却慢,将SRAM作为DRAM的缓存,可以得到一个较好的平衡*2.
3端节点架构端节点由处理器、存储器、总线和I/O设备组成处理器是一个状态机,以一系列指令和数据作为输入,写输出到I/O设备大部分的处理器状态保存在外部DRAM(主存)中,主存通常用较大的交织内存实现,访问时间长(如60ns)处理器使用cache来提高速度:Cache为容量相对较小的SRAM,保存最常使用的状态目前的高端处理器在芯片中包含L1、L2、L3cache*端节点的性能瓶颈网络应用的吞吐量受限于最慢的总线(通常是I/O总线)协议处理通常涉及多次数据包拷贝,每个数据包都要穿过总线几次处理器性能的提高消除了计算瓶颈,但无助于消除数据移动瓶颈结论:端节点的性能瓶颈不在计算,而在访存和I/O*Cache的使用效果与时空局部性Cache的使用效果与指令/数据的时间局部性和空间局部性有关:时间局部性:一个存储位置在短时间内被再次访问空间局部性:一个存储位置被访问后,其邻近位置在短时间内被访问,X86处理器基于空间局部性假设实现了预取高速数据包流基本不呈现时间局部性:数据包本身通常不会被反复处理同一个流的包往往被大量其它的流隔开对于高速网络应用,提高算法及数据结构的空间局部性非常重要!

*提高算法及数据结构的空间局部性设计紧凑的数据结构,使其能够常驻cache不被换出将随机访问(如链表)变为顺序访问(如数组)对相同/相近位置进行的操作尽可能放在一起将经常要被一起访问的数据放在连续位置,且与cache行对齐……2.
4操作系统操作系统是为解决在裸机上编程困难而设计的与裸机打交道最主要的三个难题是:处理中断,管理内存,控制I/O设备为解决以上三个难题,操作系统提供了三种抽象:不间断计算,无限存储,简单I/O抽象在提高程序员生产效率的同时,带来了两个代价:实现抽象的机制是有代价的抽象阻碍了程序员对资源的充分利用*(1)依靠进程实现不间断计算的抽象操作系统通过进程提供给程序员不间断、顺序计算的抽象进程抽象通过三个机制实现:上下文切换,调度,保护进程抽象带来的开销:上下文切换(状态保存及恢复),调度器运行,API*进程的三种类型中断处理程序:仅用于处理紧急请求的短小程序只使用少量的状态(如几个寄存器),开销(上下文)最小线程:轻量级的进程,只需要较少的状态(较小的上下文)同一个进程中的线程切换比进程切换开销小(内存不需要重新映射)用户进程:使用计算机的全部状态,比如内存和寄存器(上下文最大)用户进程之间切换的代价很高(重新映射内存)*举例:接收端活锁(ReceiverLivelock)正常过程:数据包到来产生一个硬件中断CPU执行中断处理程序,将数据包描述符拷贝到内核IP队列,调用一个软中断后返回调度器调度CPU执行软中断(协议处理),将包放入socket队列调度器调度相应的应用进程执行接收端活锁:当包大量到来时,计算机将全部时间用来执行较高优先级的任务,却因为没有时间运行低优先级的应用程序而导致数据包最终被丢弃,系统吞吐量为零.