数据库巨头Orcale正试图用商业化和集成专利的方式,或者在X86服务器上欲集成开源软件来阻止复杂的NoSQL和数据存储方法以及像Hadoop这样的处理工具的牵制作用。技术成果将在不久后的大数据一体机上体现。Orcale还没有公布这种一体机的销量怎样。但是公司已经升级了处理器,并且NoSQL数据库是软件栈的核心,但总归有好消息,即,Orcale准备继续为大数据一体机投资。
Orcale大数据一体机的发展史
大数据一体机的提出是在2011年的十月份的OpenWorld上,于今年的一月份开始实行。它对于Exadata数据集群、Exalogic应用服务器集群、Exalytics内存装置是一种补充。所有这些部件被称作,工程系统。Orcale将这款一体机定位为决绝特定负载的工作机。
Orcale所有的机器预配的都是单一硬件的价格。根据系统的不同,可能还会有不同的软件栈,保底价是不包含软件价格的。越重要的软件部分的价钱越高,可能能达到2、3倍的裸机服务器的价格,但是对于大数据一体机来说,基本的软件是被放到机身中与其捆绑销售的。
大数据一体机集群本质上是用Orcale自己的Berkeley数据库NoSQL基于Cloudera发行的CDH3 Hadoop版本存储数据的。服务器节点在Red Hat的Linux上运行Orcale数据库,并且保证数据不断载入,用整合工具将数据信息存入或者调取出Orcale的11g R2数据库中。并且,Orcale在软件中还整合了开源的R系统语言和运行时间程序,以保证集群中的每一个节点能够运行R,就像MapReduce数据运行时一样。
第一代大数据一体机有18个双插槽的Xeon 5600服务器,216个芯片,864GB的内存,648TB的磁盘空间。每个节点有两个Xeon X5675处理器,48GB空间内主频为3.06GHZ。3TB 7.2K RPM SAS磁盘在3.5英寸的空间中运行。36端口的InfiniBand交换机以QDR(40Gb/sec)的速度运行,将所在服务器的节点和其他集群相连。还有两个交换机分别为,八个10Gigabit以太网端口和32InfiniBand QDR端口来连接到Orcale内部的基于机架的系统和其他的Exa系统,更多的大数据一体机和外面的资源。
大数据一体机的性能提升
随着Hadoop和NoSQL集群的发展,可以利用共享的 InfiniBand交换机空间将多个机架联系,Orcale NoSQL数据存,Cloudera Hadoop软件估测附加的节点。Orcale选择的交换机(和合作伙伴Mellanox共同开发的)允许累加8个机架,324个节点在一个平滑的,无阻 塞InfiniBand光线中。不过如果你觉得这不够大的话,你可以增加更多的,更大的交换机。
这款大数据一体机预装了免费的NoSQL社交版,不过如果你想要功能更加齐全的话,可以使用NoSQL企业版。并且可以再集群中运行Hadoop的分布式文件系统来存储确定类型的非结构化数据——HDFS,Orcale NoSQL是不会互相排斥的。
大数据一体机的硬件情况对比(来自Orcale官网)
第一代大数据一体机每个机架大概450,000美元,包括Cloudera的CDH3 Hadoop版本的“OEM终身执照”,每年54,000美元的后续支持合同费用。核算起来,就是每个节点大概28,000美元。在周一发布的X3-2版 本的大数据一体机,不管是硬件还是软件都进行了一番美化,但是每台机器的价钱大概稳定在450,000美元。
据了解Orcale此次服务器的节点使用的是Intel最新的Xeon E5系列的处理器。需要强调的是,Orcale的双插槽的节点用的是Xeon E5-2660处理器。Orcale声称此次处理器性能提高33%,很明显这一说法值得商榷。
从 6核升到8核,是提升了33的处理器芯片数,但是芯片的时钟频率增加也会是运行速率减少28%。如果你见过用SPECint2006 CPU测试机器过程,用的分别是x5675和E5-2660处理器,后者动能比前者高10%,这很难判定是NoSQL还是Hadoop的功劳大些,但是基 本上更大的缓存和内存以及更高的线程有助于工作负载的提升。
Orcale正在不断扩充内存容量,提升了33%的到1.1TB,每个节点64GB,这样能够帮助提高工作性能。并且最新的Xeon E5相对于Xeon 5600系列来说能耗减少了30%,并且温度更容易降低。磁盘驱动器的数量和容量仍然不变保持在每个机架64TB。
在软件方面来说,X3-2版的大数据一体机包含了最新的Orcale企业级系统Linux5.8用的是Linux内核。为了运行java自动升级了Hotspot Java虚拟机。Orcale还采用了Cloudera今年六月最新发行的CDH4 Hadoop版。
并且Orcale在自己的NoSQL数据库上还升级到了2.0版本,目前为C程序运行一个API,支持用JSON将文档转成数据存储,其它的API管理存储 在NoSQL中更大的项目。在软件中还有一个额外的表格链,确保SQL查询语句在Orcale的11g关系型数据库中运行,在11g内部的NoSQL中能 够查看,查询记录。同时加入了开源的R发行版,并且Orcale企业级管理器有一个插件来控制大数据一体机的突发情况。