谷歌机房供电系统剖析

2011年中，谷歌公布了其在2010年全年的数据中心耗电情况。根据谷歌提供的数据，这家互联网公司一年的电力消耗量高达近23亿千瓦时，比21万个美国家庭一年的用电量加一块儿还要多。据斯坦福大学的Jonathan Koomey 估计，截至2010年底，谷歌共拥有近90万台服务器，约占全球3%的服务器数量，但只使用全球数据中心1%的电力，目前其部分数据中心的年均PUE约为 1.12左右，显然谷歌数据中心的运作比其他数据中心更为高效。我们知道除了制冷系统外，数据中心的供电系统也是能耗很大的一块，因此有必要研究一下其供电系统，虽然不一定适合中国国情和一般用户，但其理念和思路却是非常值得借鉴的。

由于篇幅有限，变电站及中压部分就不再展开，但其总体思路是采用中压配电输送到机房周边，靠近负载就近经变压器降压成低压，再通过低压母线输电到机房内的IT机柜上。从图1我们可以看到模块化的户外型变压器及低压配电柜环绕机房周边，采用集装箱型的柴油发电机组作为变配电的供电投切备份，柴发风管直立到屋顶上排风。经过变压器变压后的市电通过母线槽或者线缆直连到机房内的机柜上方，直接给自带分布式UPS的服务器供电。

如图是谷歌数据中心内部的俯视图，从这个照片我们可以看到市电经前面描述的室外变压器降压后直接通过母线槽的方式架设在每排机柜顶部，再用机柜顶部的配线盒连接到每个机柜PDU，具体细节我们后面会介绍。由于谷歌定制的服务器上自带有分布式小UPS，因此谷歌的数据中心内部不再有UPS室和电池室等，也没有列头柜等二次配电环节，每个服务器直接采用市电直供技术，达到接近99.9%的供电效率。如图3(a)所示的每个机柜直接从机柜顶部母线槽上安装的配线盒取电，这种供电架构非常简单清爽，大大减少了线缆的采购和工程施工，而且非常灵活便于机柜扩充和带电检修维护等，运营起来也非常简单，还可以根据机柜的功率和用电可靠性情况灵活调整配线盒来满足不同设备的供电需求。此外，变压器、中低压以及柴发供电外置，且无集中UPS和电池等，机房内的空间利用率也非常高。

谷歌的带小UPS的市电直供服务器大家都应该非常了解了，这里不再详述，只简做要介绍。其原理是在服务器内安装底部的12V黑色铅酸电池用于市电停电保护，市电正常时候，由于没有外部UPS，市电直接给服务器供电，达到99.9%的供电效率;当市电停电后，直接挂接在12V输出上的电池短时放电，直至室外的柴发启动恢复服务器电源带载。电池参与放电的时间基本不到一两分钟，因此电池的容量很小，大约只有3.2Ah，备电时间远远小于传统数据中心15到30分钟的电池备电需求，因此对柴发的启动要求很高。

我们前面知道谷歌的柴发是模块化直接安装在变压器旁边的，很有可能是低压柴发，其启动很快。而且每台柴发对应一个变压器，没有复杂的柴发并机以及启动时序等问题，因此正常情况下柴发启动时间可以控制在十几秒以内，一两分钟的电池备电时间基本上是够了，但这对运维水平要求就非常高了。当然谷歌的软件架构和业务备份方面也足够强壮，甚至部分设备停电也不会影响到业务正常运行，因此只有强大的技术实力才可以采用这种供电架构。

如图是谷歌三联柜102a-c的正视图，以及顶部配电系统100，后者不仅给三联柜服务器供电，还给相关的空调等支撑设备供电，比如机柜顶部的风扇等。三联柜底部装有滚轮105，用于支撑机柜，并且方便现场运营人员灵活搬运，每个机柜高度约为30个导轨，估计每个设备高度约1.5U，总计高度45U左右，整个三联柜总共有90个设备安装空间。这种设计使得整个三联柜不会太高，无需凳子或者梯子等来协助。三联柜横向宽度方面也不会太宽，叉车等工具可以简易搬迁，甚至现场安装人员可以徒手在数据中心内很容易搬动到需要的地方。