revolutionary io标准IO和文件IO的区别

集群瓶颈为什么是磁盘io

首先，瓶颈一般是指在整体中的关键限制因素，磁盘IO是指数据往磁盘读写，现在的科技速度最快的属固态硬盘了，读的速度很大有1G/秒左右，但是写入速度最快几百兆/秒，集群中数据在cpu和内存之间速度快的可以忽略，处理速度也可以忽略，相对这些速度，磁盘读写就显得慢了，旁贷一下现在好一点的数据库oracle存储数据都是写日志先暂存然后等机器空闲再写入到磁盘，这些都是为了提高效率，不然你执行一条操作等半天。大概就这样。希望能帮到您！

是什么引起了存储IO瓶颈

这些元素中的每一个都是要不断的跟上他们用户数字化需求。服务器和网络业通过增加能量，并合理的利用那些能量来跟上需求。但是存储却正在成为企业的瓶颈。现在存储的瓶颈已经不再是一个IT问题，而是作为一个整体给把企业组织推向了一个危险的境地。那么什么是引起存储IO瓶颈的原因呢? 在不断满足日益增长的数字需求的两个因素中，计算能力通过增加性能和核心密度，以及通过服务器虚拟化和扩容集群或网格架构增加智能性。网络也简单的通过增加带宽容量，通过QoS增加容量的智能使用，增加广域网连接使用的有限性和高效性。 与此同时，存储性能并没有跟上。存储性能至少十年都是保留在相同的架构中。一个高性能的SAN或NAS双控制器会带来磁盘数目的增加。虽然增加硬盘驱动器可以提高性能，但对于硬盘驱动器的数目却是有限制的，磁盘数量受到双磁盘控制器的限制，控制器最大支持内部流量总数存在限制。控制器(SAN)或NAS在提高存储性能方面是主要的瓶颈限制。 存储I/O vs.多终端(multi-tenant)工作量 为了解决这个问题，现在改变了工作量。工作负荷现在是多终端的，采用多重共享服务器和网络接入存储，当然这种模式已经是过时的。多终端工作量之前，一个单独的服务器中的一个单独应用只能创建一个有限数量的要求。多终端工作量的一种运行方式是在一个单独的物理服务器上的多重虚拟机上运行，另一种方式是跨集群或网格的多个物理服务器，运行在一个单独的可扩展的应用中。这两种运行方式都可以产生成百的存储I/O要求。 影响是这些要求渗入存储控制器，总部(head)，和应用，服务器不得不等它赶上，这样就轮流延误了处理，最终使公司成本增加。 多终端工作量是在任何时间点有多重物主或用户。这些多终端工作量的呈现在数量和容量上都在增长。他们不再是企业中的惟一的限制，事实上，在现在的企业中，都是非常普遍的。很多企业现在已经有这些工作量的多重资源。 现在，任何实施服务器虚拟化的公司都有多终端工作量，一个单独的物理服务器内可以有20-30个虚拟服务器。NAS存储系统已经成为更受人欢迎的一个方法。主要应用在传输存储服务到虚拟主机，并且访问虚拟机更随意。在虚拟环境中，随着越来越多的虚拟机开始消耗所有可用的存储I/O资源，主机上所有其他虚拟机的性能也受到影响，在虚拟化项目中，产生了低性能影响，降低信心等一系列连锁反映，这时存储性能缩放已经变得非常重要。 除了普通的虚拟服务器使用，更传统的多终端工作量也有所上升，人们也正在研究多处理服务器。除了在芯片设计或处理SEG-Y数据外，也有许多其他的，如生物信息学中的DNA顺序，制造业中的发动机和推进力测试，政府部门的图像监督，媒体中的高分辨率影像，以及Web 2.0项目。 存储I/O性能在这些环境中是非常关键的，因为一旦进程或仿真作业完成时，工作基本上就停止了。当这些工作停止时，公司就会创造收益。解决推迟工作时间运行来减少用户所受影响变得非常重要，但即使尽可能的做最好的计划，用户的生产量多少也会受到影响。当生产量受影响时也就影响了公司的收益。 近年来，另一个需要解决的问题是所有的这些数据套件的复杂性增长了，变得更粒状化，转向三维空间，较大的增加了颜色深度。这些粒状不仅增加了需要存储数据的物理大小，而且进程和存储I/O也要求创建，修改，分析或测试数据。 所有可靠的，可预测的情况，可缩放的存储I/O性能是很关键的。 存储I/O瓶颈 解决所有性能瓶颈是很有必要的，计算，网络和存储等环境中的大多数挑战是处理存储瓶颈。计算的瓶颈可以通过技术像集群和网格计算来分配更高更快质量的处理器。网络可以通过线槽等增加带宽。这些技术都适当的处理了计算和网络的瓶颈。 存储架构缺乏的是一个类似向外扩展的模型，因为现在双控制器系统迅速的应用，特别是很多基于NAS的系统。因为这些系统是共享的，NAS对于多终端工作量应该是一个理想的存储平台。不幸的是，因为这些数据的高随机数据接入形式和很高的存储I/O请求，在虚拟服务器中，或者是一个有多重请求的单独的服务器或者是多个物理服务器中应用做了很多请求，都会使集群，NAS以及端口成为一个严重的瓶颈。结果是很多公司转向一个共享的SAN，作为一个单独的NAS文件系统也不是很容易管理，它也会导致性能的瓶颈。它不仅减慢了业务，而且限制了员工生产量，最后造成了公司的损失，使本来已经复杂的环境变得更加复杂。 解决存储I/O问题 随着企业中这些工作量变得越来越普遍，理想的解决方案是解决NAS瓶颈，建立一个易管理、高性能的NAS架构。 一个潜在的解决办法是集群计算存储I / O平台采用同样的方法。建立一个向外扩展的NAS解决方案，并行提高存储I / O性能和存储I / O带宽。随着它要求的工作量，允许环境缩放的。此外在NAS解决方案内允许内存连续使用，创造一个非常大的，但高效的高速缓存。最后，保持固有的NAS环境的简单，而不是更复杂的共享SAN解决方案。(责任编辑：romp)[我来说两句]

标准IO和文件IO的区别

先来了解下什么是标准IO以及文件IO。 　　标准IO：标准I/O是ANSI C建立的一个标准I/O模型，是一个标准函数包和stdio.h头文件中的定义，具有一定的可移植性。标准IO库处理很多细节。例如缓存分配，以优化长度执行IO等。标准的IO提供了三种类型的缓存。 　　（1）全缓存：当填满标准IO缓存后才进行实际的IO操作。 （2）行缓存：当输入或输出中遇到新行符时，标准IO库执行IO操作。 （3）不带缓存：stderr就是了。 　　文件IO：文件IO称之为不带缓存的IO（unbuffered I/O)。不带缓存指的是每个read，write都调用内核中的一个系统调用。也就是一般所说的低级I/O——操作系统提供的基本IO服务，与os绑定，特定于linix或unix平台。 　　2区别 　　首先：两者一个显著的不同点在于，标准I/O默认采用了缓冲机制，比如调用fopen函数，不仅打开一个文件，而且建立了一个缓冲区（读写模式下将建立两个缓冲区），还创建了一个包含文件和缓冲区相关数据的数据结构。低级I/O一般没有采用缓冲，需要自己创建缓冲区，不过其实在linix或unix系统中，都是有使用称为内核缓冲的技术用于提高效率，读写调用是在内核缓冲区和进程缓冲区之间进行的数据复制。 　　其次从操作的设备上来区分，文件I/O主要针对文件操作，读写硬盘等，它操作的是文件描述符，标准I/O针对的是控制台，打印输出到屏幕等，它操作的是字符流。对于不同设备得特性不一样，必须有不同api访问才最高效。