0
| 本文作者： 张帅 | 2019-09-12 12:47 |
在京东的投资版图上，宿迁绝对是备受关注的一个点，原因也无需赘述。雷锋网了解到，京东在宿迁的投资项目一共有12个，计划投资近200亿元，已建成京东信息科技园、京东智慧物流全国调度运营中心等5个项目，完成投资65.5亿元；近期已开工和即将开工项目7个，计划总投资130亿元。
京东云华东（宿迁）数据中心就是京东在宿迁的重要布局，在计算力代表生产力的互联网行业，云计算之下的数据中心在某种意义上象征着基础硬实力，京东云华东数据中心建设于2015年，总投资35亿，一期投资15亿，二期计划投资8至10亿，现已投入6亿，整个园区占地200亩左右，相当于19个足球场大小，是京东云骨干网络节点核心数据中心之一。
数据中心是京东庞大的业务体系的技术支撑，华东数据中心又是京东自建的第一个数据中心，承载业务规模和种类相当齐全，毫不夸张的说，京东有一部分是建立在宿迁之上。
京东云华东（宿迁）数据中心一号园区占地200亩，总投资超30亿元，其中设备投资约24亿元，总建筑面积5.5万平方米，包括4栋数据中心楼（模块）和一栋综合楼。
一期数据中心的投产也经历了三个阶段，先是2015年投产的模组1，华东数据中心2014年底拿地并开始设计，2015年4月份土建开工，2016年4月实际运营，建设速度还是比较快的，这也和当时京东业务发展速度暴增，需要数据中心来支撑有关，彼时快速运营才是第一要求。
因为建设速度快且宿迁并不是最初选址地，模组1没有采用大胆技术尝鲜，而是采用更为成熟的方案，不过模组1也给了其他模组以参考，京东云在后续的模组建设中就充分吸收了模组1的建设经验，模组1设计PUE是1.4，实际运营过程中京东云将PUE控制在年均PUE≤1.3（实测）。
1模组内部的数据机房和配电室由相同的小模块组合而成，可根据使用需求灵活布置、调整模块内容。单个数据中心模块的建立面积为6万多平米，总机柜数1138个，分别布置在10个模块机房内，4个标准模（4KW）、3个高密模块（8KW）2个网络传输间，和1个微模块（12W）机房，总能存放约4万5千多台标准服务器。
模组4在相同地板面积的情况下增加了35%的机柜数量，4模组可容纳1556个机架，单机柜功率在4kw到12kw，设计PUE小于1.35。模组4在供电方面采用高压直流加UPS加市电直供方式，针对不同业务采用不同供电模式，另外在冷却系统方面用上了平滑自然冷却技术。
京东云数据中心水冷机房
数据中心空调系统的能耗一般占总能耗的20%-40%左右，其中制冷压缩机的能耗又占到空调系统总能耗的70%-90%。因此，利用自然冷源来解决数据中心的散热问题成为数据中心创新技术的核心考量之一。
传统自然冷却板换的开启只有0和1两种状态，不能和冷机并行运行，京东云的创新是在数据中心外楼放置数十个温度、湿度、风速和液位等传感器，机房内不采用传统的点装式探头，而是光纤测温，规模应用不仅提高了精度还降低了成本。
中央控制系统对室外、室内、温度、水及设备各方面数据进行采集，进而控制系统阀门、变存器，带动风机、水泵，包括控制冷水机系统实现平滑联动。冬天板换完全打开，冷机停止工作，在过渡季板换可开启一定的角度，冷机部分运行，甚至可以开半台冷机，基本实现无人工干扰下的自动运行。
江苏宿迁地区，一年中大部分时间的温度在-5~35℃之间，年均气温14.2℃。京东数据中心相关负责人表示，在宿迁的天气状况下，一年大概有1/3的时间可利用板换冷却，通过平滑自然冷却技术，一年有将近5个月的时间可以完全利用室外的自然冷源，大幅降低运营成本。
实际运行中，冷冻水系统在室外日平均温度持续5天以上低于10度时，切换到自然冷却系统使用，日平均温度持续5天以上高于10度时，开始退出。全年基本可以分为免费制冷季和常规制冷季。
“我们在传统的Freecooling技术基础上，增加了一套自主设计的气候环境采集控制系统，完全实现了制冷系统根据室内外环境温度、湿度、系统负荷大小、平滑连续的调节各组件运行状态，始终保持系统在最佳的效率区间。而且全年可以“免费”使用自然冷源的时间高达180天以上，直接节约电费数百万元以上“，京东方面表示。
雷锋网了解到，京东云宿迁数据中心一号园区4个模组建成可容纳5800个机柜，实际服务器数量可超15万台，此外园区还采用了大规模雨水回收再利用系统、物理阻垢水处理系统，降低污染，整体基础设施可靠性不低于99.985%。
京东云宿迁数据中心搭载定制化第二代英特尔至强可扩展处理器，搭配傲腾数据中心级持久内存，多核高主频设计满足了京东云高性能计算、大内存配置和高网络吞吐需求。京东云公有云目前已完成4个区域 、10个可用区（华北北京、华东上海、华东宿迁、华南广州）的整体布局，另有数十个遍布全国的IDC设施。
二期：风侧间接蒸发冷却
如果说宿迁1号园区还只是小试牛刀，那么2号园区的建设思路更加体现了新互联网巨头的进击心。九月初传来消息，京东云华东数据中心二期土地已完成摘牌，目前正在进行方案深化设计。
宿迁2号园区紧邻1号园区，占地约260亩，总投资大于60亿元，同样是4栋数据中心楼，不过设计机柜数量是一万个，预计能装下20万台服务器。
京东云数据中心内部机柜
根据京东规划，2号园区在2018年底完成数据中心规划和土建施工前期准备工作；2019年中期完成核心数据中心建筑物交付；2019年12月计划交付5000台机柜，2021年交付剩余全部机柜。
相较于1号园区，2号园区将采用风侧间蒸发冷却技术，预计年平均PUE低于1.2。据说宿迁数据中心的建设曾考虑引入周边骆马湖水做自然水源的冷却方式，但是对生态环境的隐形影响无法评估，京东当即拍板摒弃这种方式。
间接蒸发冷却技术在国内外数据中心均已有应用，京东针对宿迁数据中心做了本土化定制，包括进出风结构和尺寸等细节。单层数据中心，蒸发冷却设备按在上部，热通道封闭，热风蒸发向上进入冷却设备里面去，交换过的冷风反送到服务器。多层数据中心蒸发冷却设备放在侧面，侧进风侧排风。
初步测算，2号园区若采用风侧间蒸发冷却，可以实现一年85%以上时间不启动机械制冷。
关于选址宿迁，还有一个故事。京东2012年开始数据中心选址，调研了十多个城市，宿迁并不在其中，京东数据中心专家拿着100多页的报告去向刘强东汇报，1个小时之后，刘强东发问，“你们的数据中心为什么不选择建在宿迁”？
从技术角度上，宿迁并不在传统意义上的数据中心选址考虑之列。刘强东提出了两个原则，第一，数据中心建在宿迁，尽快建成；第二，解决当地互联网基础设施薄弱问题，通过数据中心促进当地互联网产业的调整和升级。腾讯在深圳、阿里在杭州、百度在阳泉的数据中心等，都可以理解为互联网大佬的家乡情结，不过宿迁的网络条件还是要更差得多。
网络条件是京东华东数据中心面临的所有难题中的最大瓶颈。为此，京东和三大运营商分别进行了沟通，在模组1投产时，已经实现中国联通的骨干网络从徐州直连宿迁，不必通过南京再返回，少了600km的线路延迟，实测过程中，数据从北京到宿迁相比到南京有更低的时延。
京东云通过自建BGP解决单运营商网络中断的问题，三⼤ ISP互为备份，京东云与各ISP直接互联，缓解运营商大区间网络通信异常问题。京东云自建BGP作为电信运营商与京东云数据中心的中间层，以⼆级运营商的作⽤，向公有云/私有云/甚⾄是合作伙伴的数据中⼼提供质量稳定可靠互联⽹接⼊服务。
各全国区域间均采⽤双平面设计，双活并互为备份。在区域内，各数据中心双上联到2个骨⼲机房，通过骨⼲机房与各ISP互联网、其它区域骨干网互联。并且同区域的各数据中心之间互联，通过骨⼲机房的双星形结构⼀跳到达，在确保传输成本利⽤率最⼤的情况下、确保了传输延时和质量。
京东云业务的快速发展对数据中心提出了更高要求，雷锋网获悉，京东已经在廊坊、张家口等地筹划新数据中心的建设。
京东宿迁数据中心还有更多的黑科技尚待发掘，比如更先进的浸没式液冷、智能巡检机器人等等，京东华东数据中心落地宿迁后，为当地提供了互联网基础设施能力，吸引了一批互联网企业迁入，与其说京东选择了宿迁，倒不如说数据中心为宿迁打开一扇通往互联网的窗口。
相关文章：
5G时代需要什么样的服务器和数据中心？ | MWC 2019
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
