架构师训练营第十二周总结

/ 架构师训练营 / 没有评论 / 1012浏览

大数据的特点

Hadoop与Spark Hadoop 是一种分布式计算平台,用Java编写,可运行在Linux、Windows以及类Unix系统上。包括两个核心技术,HDFS和Mapreduce。HDFS实现数据的分布式存储,MapReduce实现数据的分布式计算(通过Map和reduce两个函数实现)。

Spark 比 MapReduce 快,前者使用内存存储中间结果,后者使用HDFS。

数据库类型

关系型数据库是根据表间的索引建立关系,因此叫关系型数据库。代表产品有Oracle、MySQL、DB2。
NoSQL非关系型数据库,四种存储类型:
1、键值;
2、文档(JSON格式);
3、列存储;
4、图数据库。
代表产品有:Redis;CouchDB、Mongodb;HBase;Neo4J。