基于数据中心的云计算数据中心挑战结构重点

欢迎批评与指正！ OF OF OF 面向云计算数据中心的绿色软件挑战 孙毓忠 中国科学院计算机系统结构重点实验室 Email:@ Tel: ：, then Click “OS group”内容纲要 绿色软件是绿色数据中心的关键 数据中心与HPC计算的统一 黑色软件的根源 软件绿色之路 国家战略需求:基于数据中心的云计算 面向数据中心的超级计算模式 基础架构——基于的大规模高效能、可信的数据、计算超级环境 围绕重大需求的活动 超级计算模式的挑战： 计算系统日益膨胀导致的高能耗； 软件系统日益复杂导致的高阻尼性； 处理器多核化呼吁软件的高扩展性。 挑战1、超级计算环境能耗的严迫性 李国杰院士，“改变信息科学技术的重点研究方向”，2008年人民大会堂诺贝尔奖报告 挑战2、软件对硬件能力的阻尼性 软件叠架高耗 应用层的Read在Linux内核中的单向20次以上的调用 系统软件阻尼效应的宏观实例：中间件阻尼开销 数据库读写与文件系统读写比较 平台 .1 对比对象 MySQL数据库中的操作： --quick 采用SQL级别的备份机制绿色软件论坛，将数据表导成 table/等SQL语句 文件系统中对应的操作：cp 简单的文件复制，不考虑数据表的结构 数据表大小 约700M 实验设计 每组实验进行两次，第二次备份的数据被cache住 结论：功能增加以功耗和延迟为代价Linux OS disk read/write disk File MySQL read/write =+file +, “ data with Anvil”, Mike , Shant , Eddie ,ACM SOSP’09 系统软件阻尼效应的宏观实例：数据库读写与文件系统读写比较(续) 比较结果（cp比）： 缩短4倍左右 动态能耗（负载对应的能耗）降低4倍左右 挑战3、处理器多核化与软件 扩展性的矛盾 绿色软件:绿色数据中心的关键 处理器多核化降低了超级计算环境的效能： ’s Law：2x 晶体管数目 = 1.4x性能; 解决能耗问题——高效能的系统软件： 原则：超级计算环境高“效”解决其高能耗； 方法：提高超级计算环境的有效计算比例； 手段：芯片及系统级体系结构、系统软件、应用。

系统软件的叠架高耗导致CPU指令流中有 效计算小于6%（ J. Dally ELM）。 大胆推理 曙光5000A： 230T/180.6T 700KW： 节能94%？ 超级计算模式下的绿色软件挑战： 降低数据中心能耗100倍! 内容纲要 绿色软件是绿色数据中心的关键 数据中心与HPC计算的统一 黑色软件的根源 软件绿色之路 计算机体系结构的再认识 学科方向——计算机体系结构 计算机系统（，从硬件的角度，如计算所的HPP体系结构）； 系统软件（ ，从软件的角度，如运行于HPP之上的操作系统、文件系统、运行环境）； 计算理论（ and model，从理论的角度，如LogP和BSP）。 SEECI:数据/计算中心的融合 形成围绕计算机体系结构的研究体系 计算机系统： -like和HPC融合通用可重构计算体系结构SEECI，同时开发应用并发性与并行性: ：RCR、 、 BSWRN（TPDS，第一著者）； == + mem + disk via CPU + GPGPU, in HPC and == Von ; Multi/many-core CPU + GPGPU==〉XPU with FPGA at scale； - == Green sys + with ; 内容纲要 绿色软件是绿色数据中心的关键 数据中心与HPC计算的统一 黑色软件的根源 软件绿色之路 认识——高效能挑战的多维性 从部件与系统的角度： 以多核为代表的部件能耗挑战； 以多核为基本部件的超级计算平台能耗挑战； 从莫尔定律的角度： 多核芯片莫尔定律利用的效能性； 基于多核部件的超级计算平台莫尔定律的效能性； 从应用效能的角度： 软件对系统硬件莫尔定律的阻尼性—执行效能墙； 多核超级计算平台系统软件的可靠性与可信性。

观点：效能的重大挑战在软件——Wirth's law is more than 。 In his 1995 paper “A Plea for Lean ”he it to . Book“ + Data = ” 系统软件“执行效能墙”系统软件低效能——执行效能墙 内存墙 I/O墙（磁盘墙） 计算墙 编程墙 复杂性墙 可靠性墙 内容纲要 绿色软件是绿色数据中心的关键 数据中心与HPC计算的统一 黑色软件的根源 软件绿色之路 绿色软件的科学问题 科学问题——固化软件与应用算法和硬件多样性的失配导致软件对硬件Moore定律产生日益强大的阻尼效益，产生新的软件挑战-软件的执行效能墙，阻碍了能量在应用算法、软件与硬件间的高效流动，导致每瓦有效操作的低下。因此，必须考虑重新思考软件设计方法学和软件本身的机构、机制绿色软件论坛，即需要绿色软件。 绿色软件的4大挑战 1、编程墙问题的挑战：程序=算法+数据结构，这里异构的算法和数据结构的设计必须考虑其下的计算平台和环境的异构、并发、扩展性、可用性、可移植性等特征，从而导致软件生产的高效性与分布式计算环境的异构与并发性间的矛盾，研究目标：在千百万并行计算单元上处理千百万级并发操作，研究内容： a)算法的并发性/异构性与执行的并发性/异构性相融合的编程语言； b)异构算法的并发性与并行性的机制与原理； c)异构并发算法的并行执行的机制与原理。

#

绿色软件的4大挑战（续） 2、无限扩展性的挑战：算法在设计的时候必须考虑其要求解问题的规模，必须考虑求解问题的计算规模和复杂度，必须考虑计算对应的数据空间的无限性，从而导致软件自身在可信性、可靠性、扩展性、动态性、演化性、分布性、并发性、并行性等方面的矛盾，研究目标：无限可扩展软件的复杂度下降1个数量级，内容： a)可无限扩展软件的体系结构、运行机制、原理与设计方法学； b)无限数据空间与无限计算空间在多尺度下交互的机制、原理与方法； c)多特征（如可信性、可靠性、扩展性、动态性、演化性、分布性、并发性、并行性）软件的运行机制、原理与设计方法学。 绿色软件的4大挑战（续） 3、能量有效性的挑战：物质资源、能量资源、信息资源之间具有很强的互相影响力。其中的许多影响需要深入研究。IT的能耗在全球能耗中的比例正在持续上升。从能耗角度研究IT技术是一个十分重要的、全球化的技术、经济、政治问题。软件将在其中扮演十分重要的角色。从能量转换计算的内涵看： 能量的转化循环模型：风能、水能、太阳能等转换为电能，电能驱动芯片转换为热能，加剧地球的温室效应，形成能量的循环； 硬件（处理器、硬盘、网卡等）是能量的直接而被动的使用者，硬件仅提供了能量消耗的理论最小下界，遵循硬件摩尔定律推动下的发展； 软件（操作系统、中间件、应用等）是硬件行为的规范与指导者，是能量的真正消费者，软件决定了能量消耗的最大上界。 #

目前而言，阻碍了硬件摩尔定律效能的发挥，研究目标：围绕软件能够降低数据中心能耗100倍吗？ 绿色软件的4大挑战（续） 研究内容： a）复杂计算问题的高效计算模型、算法设计与编程方法； b)绿色计算模型。计算系统异构化、颗粒化、松散化背景下，探讨社会化绿色计算的有效模式，例如云计算模式、P2P模式等在其中可能的角色；信息化自身的绿色问题；能耗复杂度模型和度量；能量在计算中的消耗与转换的模式与途径等； c)绿色计算基础软件架构。网络化绿色系统软件的编程模型、开放与自演化模型、可信模型、计算模型；新型的软件设计理论与方法；海量资源的高效复用和海量计算/操作的高效并发的深层次矛盾等；软件能耗效率度量；绿色计算软件的设计方法学和理论。 绿色软件的4大挑战（续） 4、软体系结构的挑战：软体系结构（如当前的云计算）具有无限的可扩展性、无限的灵活性、任意的可重构性、无限的计算能力、无限的可达性、无限的抽象性（如不同层次的编程与计算模型、语言等）等，所以，未来的计算机体系结构将呈现出“软体系结构”的特征，这一点在p2p计算中有很好的表现：任何人可自由构建有任意拓扑结构的虚网络计算环境。软件的形态、体系结构、功能、性能、设计方法等都将发生重大的历史变化，研究目标是构建全球化软计算能力中心，研究内容： a)软体系结构（如云计算）的计算模式、动力学方程、计算模型； b)软体系结构的形态、运行机制、原理与设计方法学； c)软体系结构与无限可扩展并行的异构计算能力的并发性交互行为的机制与规律。 #

已有的工作进展 系统软件：基于虚拟化技术的绿色系统软件 软件对硬件Moore定律的阻尼效应、软件执行效能墙、绿色系统软件架构 （IEEE 、、HPDC、IPDPS、ICPP、HiPC等发表23篇论文）； 计算理论： 能力服务计算——解决资源绿色高效流动与系统能量高效使用（起源李国杰院士“能力服务器”，成熟）； 模型——抽象-like计算数据中心系统（对应MPP的LogP模型，在写论文）； Event- 计算模型（启发于data model、高光荣、 C. 、IEEE ，） ； 已有的工作进展（续） 原创技术10项： 可信多维空间流式模型、应用能力需求模型、资源整合效用分析模型、层次化能力调度模型和策略、网络化可信系统软件架构、DVMM、服务化IO模型与架构、绿色软件能效度量与监测、基于VM和的新型Web服务器、； 申请了6项专利，其它专利准备中，部分: 张跃东、杨毅、孙毓忠，“基于网格计算机体系的计算机外设部件连接系统及方法”，申请号2.4。 #

李忠、孙毓忠，“一种远程桌面系统中的窗口缓存方法”，申请号2.0。 王若倪、李亚琼、张玉放、孙毓忠，“基于分布式虚拟机管理器的分布式cache系统及其工作方法”，申请号2.5。 张玉放、王若倪、孙毓忠，“一种流水线Web服务器的系统及其工作方法”，申请号2.X。 杨亚军、熊星、孙毓忠，“一种在虚拟化环境中I/O设备重构的方法及系统”，申请号2.2。 能力服务计算的关键技术 能力服务 流动机制 资源虚拟化及其供给机制 应用的能力（CPU、内存等）需求模型 层次化能力流动模型和流动策略 能力流动与应用能力需求的实时匹配模型和技术 虚拟化数据中心服务与资源整合的效用分析模型 分布式虚拟机机制（IO、网络、内存）新型高效能网络化系统软件架构 网络化的可信系统软件架构 系统原型：学术发展源头与归宿 绿色无限操作系统项目—— OF OF OF