Apache Hadoop - 近距离观察
Apache Hadoop 为大规模收集和处理数据提供了解决方案。 ASF 充当项目的中央存储库和分发点,Apache 充当用户和开发人员的核心社区。 Apache Hadoop 旨在通过在服务器上支持 Java 和 Java 平台来简化大型应用程序的部署。 Apache Hadoop 由 Juhan Lamb Pedrick、Alex Balcov、Michael J. Cafarella、Gerald M. Glassner 和 Raymond C. Tsouline 开发。它基于 NoSQL 数据库管理系统的技术,该系统最初由 Facebook 开发,后来被 Twitter 和 Google 使用。
Apache Hadoop 包含范围广泛的技术,包括 Map-Reduce、Yago、Summation 等等。 Apache Hadoop 的开发旨在使 Map-Reduce 框架更有效、更易于使用,同时为程序员提供直观的用户界面。 Apache Hadoop 旨在从传统的服务器安装扩展到完全并行的分布式系统,并行执行数千个任务。它能够处理大量数据密集型任务,允许每个工作人员将工作分成小块,以便底层集群可以有效地划分大型任务。
分布式数据分析借助 Apache Hadoop,用户可以从任何设备访问实时数据,而无需昂贵的分布式系统或存储介质。 Apache Hadoop 提供高度可扩展和高效的数据仓库和数据处理技术。 Map Reduce 框架允许用户有效地降低 Map 的复杂性,从而允许开发更复杂的图形和商业智能 (BI) 应用程序。用户还可以构建简单的 Extract-Transform-Load (ETL) 应用程序,从而使 ETL 处理程序能够有效地处理复杂的转换。