开篇:当数据大到一台机器装不下
当数据量从 GB 增长到 TB 甚至 PB,单台机器的硬盘装不下、CPU 算不完。这时候就需要把数据分散到成百上千台机器上存储和计算。Hadoop 就是为解决这个问题而生的 -- 它是一个分布式存储和计算的框架,让你像用一台超级计算机一样使用一个集群。
Hadoop 的核心由三部分组成:
HDFS -- 分布式文件系统
HDFS(Hadoop Distributed File System)解决的是"海量数据存在哪"的问题。核心思想是:把大文件切成小块,分散存到多台机器上,每块存多个副本保证可靠性。
大约 7 分钟