个人简介笨叔叔:沪上紫竹某小公司的小FAE.
工作之余写点Linux小段子.
2017年不小心出版了《奔跑吧Linux内核》一书.
Linux4.
x内核最新特性简介笨叔叔2017.
12AgendaLinux内核开发流程简介内存管理最新特性简介内存管理总览HMM特性页面回收基于node节点OOMKiller改进swap功能改进进程管理最新特性简介EAS调度器内核学习方法建议Linux内核开发模式现在最新的版本是Linux4.
14(2017.
12)由Linux内核社区开发主导总的maintainer是:LinusTorvalds每个子系统都有maintainer每2~3个月发布一个新版本创新的驱动力来源于各个公司:红帽,Suse,Intel,IMB,谷歌.
.
.
1.
平均60~70发布一个新版本2.
最新的Linux4.
13内核代码已经超过2千万行代码内存管理总览用户进程用户进程用户进程…用户空间malloc/mmap/mlock/madvise/mremap/…sys_madvisesys_mmapsys_brksys_.
.
.
vma管理缺页中断匿名页面pagecache页面回收slab伙伴系统(页面分配器)页表管理(内核页表和进程页表)MMUTLB物理内存cache反向映射KSMHugePage页迁移内存规整内核空间硬件层VMA4G3G01Gmmap空间用户空间物理内存堆空间代码段数据段VMApagepagepagepage进程页表进程task_structmm_structVMA内核空间…vma管理mmappgdmm…物理页面管理ZONEZONEZONEZONE管理高端映射线性映射mem_map[]pagemmvaddressvmaptepaddressfpnzonepgdatamem_map[]①②③④⑤⑥⑦⑧⑨异构内存管理传统访问方式GPU显存主存CPUGPU进程地址空间映射的显存malloc/mmap显卡驱动来做映射IOCTL+mmap被分离的进程地址空间(splitaddressspace)CPU通过malloc/mmap分配的常规的内存GPU通过显卡驱动管理和映射的进程地址空间这两个地址空间是分离的,访问需要相互来回拷贝用户空间内核空间相互拷贝:简单的数据类型比如数组、image等没有问题,但是复杂的数据模型就有问题了,比如链表、树等传统访问方式小例子mul_mat_on_gpu(float*r,float*a,float*b,unsignedm){gpu_buffer_tgpu_r,gpu_a,gpu_b;gpu_r=gpu_alloc(m*m*sizeof(float));gpu_a=gpu_alloc(m*m*sizeof(float));gpu_b=gpu_alloc(m*m*sizeof(float));gpu_copy_to(gpu_a,a,m*m*sizeof(float));gpu_copy_to(gpu_b,b,m*m*sizeof(float));gpu_mul_mat(gpu_r,gpu_a,gpu_b,m);gpu_copy_from(gpu_r,r,m*m*sizeof(float));}CPU分配的buffer,属于常规内存,比如通过malloc分配的.
这些数据作为input分配GPUbuffer,通过GPU驱动来分配的把CPU分配的buffer拷贝到GPUbuffer里在GPU中进行计算把GPU的结果拷贝回CPU的bufferHMM(heterogeneousMemoryManagement)建立一个统一的进程地址空间(shareaddressspace)HMMmirror镜像功能:CPU和GPU都可以同时访问这个统一的进程地址空间(虚拟地址),都能同时访问到相同的物理内存.
页面迁移:在一个进程里可以透明地使用device的内存.
已经合并到Linux4.
14内核中支持HMM的开源NV的显卡驱动nouveau正在开发中支持HMM的应用程序例子:mul_mat_on_gpu(float*r,float*a,float*b,unsignedm){gpu_mul_mat(r,a,b,m);}HMM来提供了一个统一的进程地址空间,用户编程变得简洁很多CPU进程地址空间CPU页表GPUGPU页表用户空间内核空间虚拟地址VA物理地址PACPU页表:VA->PAmirror:拷贝CPU页表到GPU页表,GPU也可以访问这个虚拟地址VA和对应的物理地址PA那么GPU可以访问这个PA①②③HMM的镜像功能HMM镜像功能保证:CPU和GPU访问同一个虚拟地址时都能指向相同的物理地址CPU进程地址空间CPU页表GPUGPU页表用户空间内核空间虚拟地址VA物理地址PACPU页表:VA->PAmirror:拷贝CPU页表到GPU页表,GPU也可以访问这个虚拟地址VA和对应的物理地址PA那么GPU可以访问这个PA①②③HMM的迁移功能CPU进程地址空间CPU页表GPUGPU页表用户空间内核空间虚拟地址VA物理地址PACPU页表:1.
支持CCIX协议,CPU页表也指向这个显存的物理地址GA2.
如不支持CCIX协议,CPU页表填充一个无效的特殊的页表项GPU的页表指向这个显存中的物理地址GA显卡驱动可以迁移这个PA的内容到GPU显存GA里,这样可以利用显存的高带宽如果支持CCIX协议,那么CPU和GPU的页表都能同时指向这个GA如果不支持CCIX协议,那么CPU的页表项要填充一个无效的特殊的页表项,当CPU访问这个虚拟地址时候,会触发一个缺页中断,然后把GA的内容迁移回主存⑥⑤④HMM的迁移功能显存的物理地址GA基于node节点的页面回收机制原来的页面回收机制都是基于ZONE(内存管理区域)在32位系统里,内核地址空间有限,所以高端内存分在了ZONE_HIGHMEM同一个node里不同的ZONE存在不同的页面老化速度(pageagespeed)不同的zone的页面扫描的速度和覆盖率不一致zone里的LRU链表扫描覆盖率也不一致页面回收内核线程kswapd和页面分配器之间复杂的逻辑关系,社区里增加了很多诡异的patchLinux4.
8里已经支持基于node节点的页面回收机制OOMKiller改进OOM检测机制Linux4.
7合并的新机制.
在直接回收机制分配内存失败时通常会直接调用OOM,有点鲁莽新机制,多了一下检测和尝试OOM收割机OOMKiller有时候不能回收进程的内存新机制:在杀死进程之前,先收割进程的匿名页面swap功能改进提高页面回收效率:优化LRU算法和页面回收机制优化SWAP性能随着SSD的普及,swap的性能可以随着优化解决思路:细化锁,减少锁的争用细化:swap_info_struct->spinlock细化:保护address_space的一个锁进程管理改进现有调度器的缺点现有的SMP调度器不支持大小核架构调度器和CPUfreq以及CPUidle等动态调频调压的驱动模块脱节没有考虑功耗场景PELT(Pre-entityLoadTracking)负载计算方法会导致负载反应比较迟钝,不太适应手机场景高通骁龙820处理器架构EAS调度器EAS(EnergyAwarenessScheduling)绿色节能调度器设计目标:保证系统性能的前提下尽可能减低功耗统一调度器、CPUfreq和CPUidle核心实现WALT(WindowAssistedLoadTracking)算法可量化的能效模型可量化的计算能力复用Linux内核的CPU调度域模型新增的CPUfrequencygovernmentEAS调度器架构图Linux内核学习方法介绍内核学习常见的疑惑内核代码太庞大,Linux4.
x内核代码超过了2000万行内核更新速度太快内核核心设计经常变化和优化缺乏最新的内核设计资料和文档市面上大部分Linux内核书籍停留在Linux2.
4和Linux2.
6内核笨式吊打法–带着问题去阅读内核代码深挖实际项目上遇到的问题阅读代码产生的疑问面试或者微信论坛上讨论的问题《奔跑吧Linux内核》中奔跑卷以及每一章的思考题可以从一个简单的驱动开始,比如简单的字符设备驱动"Qemu+gdb+eclipse+O0"调试跟踪内核选择感兴趣的内核模块进行调试或者修改动手实践数据结构关系图函数调用关系图归纳总结兴趣兴趣兴趣Linux内核学习资料推荐
昔日数据怎么样?昔日数据是一个来自国内服务器销售商,成立于2020年底,主要销售国内海外云服务器,目前有国内湖北十堰云服务器和香港hkbn云服务器 采用KVM虚拟化技术构架,湖北十堰机房10M带宽月付19元起;香港HKBN,月付12元起; 此次夏日活动全部首月5折促销,有需要的可以关注一下。点击进入:昔日数据官方网站地址昔日数据优惠码:优惠码: XR2021 全场通用(活动持续半个月 2021/7...
80vps怎么样?80vps最近新上了香港服务器、美国cn2服务器,以及香港/日本/韩国/美国多ip站群服务器。80vps之前推荐的都是VPS主机内容,其实80VPS也有独立服务器业务,分布在中国香港、欧美、韩国、日本、美国等地区,可选CN2或直连优化线路。如80VPS香港独立服务器最低月付420元,美国CN2 GIA独服月付650元起,中国香港、日本、韩国、美国洛杉矶多IP站群服务器750元/月...
月付/年付优惠码:zji 下物理服务器/VDS/虚拟主机空间订单八折终身优惠(长期有效)一、ZJI官网点击直达ZJI官方网站二、特惠香港日本服务器香港大埔:http://hkdb.speedtest.zji.net/香港葵湾:http://hkkw.speedtest.zji.net/日本大阪:http://jpsk.speedtest.zji.net/日本大阪一型 ...
什么是32位系统为你推荐
冯媛甑冯媛甄 康熙来了rawtools闪迪32Gsd卡,无法格式化,显示只有30M,并且是raw格式。如何恢复?百度关键词工具百度有关键字分析工具吗?Google AdWords有的haokandianyingwang有什么好看的电影网站mole.61.com摩尔庄园的米米号和密码我都忘了 只记得注册的邮箱 怎么办-_-www.vtigu.com初三了,为什么考试的数学题都那么难,我最多也就135,最后一道选择,填空啊根本没法做,最后几道大题倒dadi.tv电视机如何从iptv转换成tv?梦遗姐男人梦遗,女人会吗?bk乐乐《哭泣的Bk》是Bk乐乐唱的吗?汴京清谈都城汴京,数百万家,尽仰石炭,无一燃薪者的翻译
备案域名购买 中国万网域名 187邮箱 5折 rackspace 优惠码 patcha 南昌服务器托管 国外代理服务器软件 免费测手机号 双线asp空间 网页加速 香港博客 镇江高防服务器 hosts文件 dbank 主机箱 主机配置 监控主机 国内云主机 更多