2011 年文章归档
共 3 篇文章
抛砖引玉, 淘宝统一离线数据分析平台设计
把这个拿出来的目的, 是想得到更多的反馈意见, 请邮件至zhouchen.zm@taobao.com 历史 Hive 由 2009 年 3 月引入淘宝作为数据平台的海量数据分析基础框架, 引入的原因有如下 几点: (1) 不是所有用户都懂计算机编程, 特别是 MapReduce 的分布式程序, 并且数据平 台的用户大多数会 SQL, Hive 则提供了由 SQL 解析成 MapReduce 作业的功能, 用 户只需要掌握 SQL 即可上手, 学习曲线较为平滑. (2) Hive SQL 表意精简, 大幅度地减少开发量, 提高数据分析的生产效率. 例如, 之前统计网站 UV 的代码至少需要 M…
2011-11-03 22:58 · mapreduce¶llel
HDFS的一致性分析
这篇文章去年4月左右写的, 一直留在我的草稿箱, 一直没有写完 :) 在分析HDFS的一致性之前, 我们先得解决HDFS客户端行为的几个问题。 1. 为什么HDFS不支持多个writer同时写一个文件,即不支持并发写? 首先谈一谈HDFS产生的历史。HDFS是根据Google的GFS论文所实现的, 初期时它的主要设计目标是为了存储MapReduce所操作的大型数据集。我们知道在Hadoop中, 每道Mapreduce作业的写操作一般发生在reduce阶段(如果是只含map的作业,则在map阶段)。一般情况下, 各个reducer的结果将分别写入一个HDFS文件当中。此处可能会产生一个疑问: …
2011-06-01 17:02
NameNode优化笔记 (一)
很久没有发博客了, 最近这段时间工作上、生活上杂事比较多。最近经常有人问我在学校还是在公司。其实之前在学校读研, 入研之前工作过几年。那时候在学校研究MapReduce, 部署了10台的PC机做些Hadoop与机器学习的研究。08年末觉得学校限制我的发展, 就联系了几家公司实习。最后我到了淘宝实习了一年半, 那时候因为身份还是学生, 前期主要维护淘宝的Hadoop集群, 后期主要研发Hive, 同时向社区贡献了一些代码。半年前我正式入职了淘宝, 担任数据平台的分布式计算组组长, 主要负责Hadoop MapReduce及Hive的研发。 严重跑题了, 转回正题。前段时间淘宝由于业务的数据突增…
2011-01-12 10:32 · mapreduce¶llel