除了Hadoop 还有哪些分布式计算平台？优势各自是什么

Question

如题所述

Answer 1

您好，很高兴为您解答。

1：MapReduce(MR)，最为general和流行的一个分布式计算框架，其开源实现Hadoop已经得到了极为广泛的运用（Facebook, Yahoo!等等），同时在Hadoop基础上发展起来的项目也有很多（Hive是发展最好的），另外像Cloudera，Hortonworks，MapR这样的在Hadoop基础上发展起来的公司也有很多。
2：Pregel，和MR一样也是Google发明的，其优势是在完成一些适合于抽象为图算法的应用的计算时可以更为高效，Giraph可以算是一个比较好的发展中的开源实现。
3：Storm，Twitter的项目，号称Hadoop的实时计算平台，对于一些需要real time performance的job可以拥有比MR更高的效率。
4：Spark，UC Berkeley AMPLab的项目，其很好地利用了JVM中的heap，对于中间计算结果可以有更好的缓存支持，因此其在performance上要比MR高出很多。Shark是其基础上类似于Hive的一个项目。
5：Dryad和Scope，都是MR（Microsoft Research）的项目，从paper上来看Dryad是一个更为general purpose的计算框架，在vertices里实现计算，通过channels实现communication，两者组成一个graph workflow；而Scope有点类似于Hive和Shark，都是将某种类似于SQL的script language编译成可以在底层分布式平台上计算的job。但是这两个项目因为不开源，所以资料不多，也没有开源项目那样的community。

当然还有其他很多，比如Google的Dremel，Yale的HadoopDB（现在已经商业化叫做Hadapt）。

如若满意，请点击右侧【采纳答案】，如若还有问题，请点击【追问】

希望我的回答对您有所帮助，望采纳！

~ O(∩_∩)O~

Answer 2

1：MapReduce(MR)，最为general和流行的一个分布式计算框架，其开源实现Hadoop已经得到了极为广泛的运用（Facebook, Yahoo!等等），同时在Hadoop基础上发展起来的项目也有很多（Hive是发展最好的），另外像Cloudera，Hortonworks，MapR这样的在Hadoop基础上发展起来的公司也有很多。
2：Pregel，和MR一样也是Google发明的，其优势是在完成一些适合于抽象为图算法的应用的计算时可以更为高效，Giraph可以算是一个比较好的发展中的开源实现。
3：Storm，Twitter的项目，号称Hadoop的实时计算平台，对于一些需要real time performance的job可以拥有比MR更高的效率。
4：Spark，UC Berkeley AMPLab的项目，其很好地利用了JVM中的heap，对于中间计算结果可以有更好的缓存支持，因此其在performance上要比MR高出很多。Shark是其基础上类似于Hive的一个项目。
5：Dryad和Scope，都是MR（Microsoft Research）的项目，从paper上来看Dryad是一个更为general purpose的计算框架，在vertices里实现计算，通过channels实现communication，两者组成一个graph workflow；而Scope有点类似于Hive和Shark，都是将某种类似于SQL的script language编译成可以在底层分布式平台上计算的job。但是这两个项目因为不开源，所以资料不多，也没有开源项目那样的community。

当然还有其他很多，比如Google的Dremel，Yale的HadoopDB（现在已经商业化叫做Hadapt）。

Answer 3

你首先把现在流行的大数据框架了解清楚，大约有内存数据库，实时流处理，mpp和hadoop，都是分布式平台的，只是侧重点不一样