2010 年文章归档
共 7 篇文章
我在Hadoop云计算会议的演讲
点击下载演讲稿 由中科院计算所主办的“Hadoop 中国2010云计算大会”于9月4日在北京召开。淘宝网作为国内最大的Hadoop应用商之一赞助与参与了这次会议。我有幸代表淘宝在大会上分享了淘宝在分布式数据处理实践的内容,下面是ppt的一个节选: 淘宝网目前有会员2亿左右,日均UV高达4000万,日交易量高达10亿元,每天产生大量的数据,所以部署了一系列不同规模的Hadoop集群。淘宝生产所使用的Hadoop集群为目前国内规模最大的Hadoop集群之一。在会议前一天,这个集群的规模是 1.总容量为9.3PB,利用率77.09%。 2.共有1100台机器。 3.每天处理约18000道hadoo…
2010-10-26 14:59 · mapreduce¶llel
分布式online与offline设计 slides
花了两个小时简单了做了一个ppt,给兄弟公司相关人员讲解offline分析(例如hadoop,hive, pig这种应用)与online(例如bigtable, hbase)在设计上的不同,希望能解开大家对两种不同应用在设计上的一些误区。
2010-08-25 00:24 · mapreduce¶llel
演讲: Hadoop与数据分析
前些天受金山软件公司西山居朋友的邀请, 去了趟珠海与金山的朋友们分享Hadoop与数据分析的相关经验. 附件是此次分享的ppt, 里面有一些图是来自网上。
2010-05-29 20:35 · mapreduce¶llel
Hadoop的Mapper是怎么从HDFS上读取TextInputFormat数据的
LineRecordReader.next(LongWritable key, Text value) LineReader.readLine(Text str, int maxLineLength, int maxBytesToConsume) DataInputStream.read(byte b[]) /* DFSDataInputStream继承此方法 */ DFSInputStream.read(long position, byte[] buffer, int offset, int length) DFSInputStream.fetchBlockByteRange(Locat…
2010-05-29 11:46 · mapreduce¶llel
Anthill: 一种基于MapReduce的分布式DBMS
MapReduce is a parallel computing model proposed by Google for large data sets, it’s proved to have high availability, good scalability and fault tolerance, and has been widely used in recent years. However, there is a voice from traditional database community, D. J. DeWitt et al argue that MapRedu…
2010-05-11 22:47 · mapreduce¶llel
HDFS的追加/刷新/读设计
hdfs将在0.21版(尚未发布),把DFSOutputStream中的fsync操作(实际上是sync方法)更名为hflush, 因为之前的fsync做的工作实际上不是同步数据到磁盘,而是刷新(flush)缓存。fsync功能可能会在以后的版本中添加。 DFS对于未关闭文件的数据提供最大努力持久: 1. NameNode持久化文件元数据信息,但不持久化文件由哪些块组成的信息。重启NameNode可能会导致数据丢失。 2. DFS不保证各数据块的副本数和文件的复制因子一致。如果一个数据块没有一个有效副本被写入,则写失败。 DFS对于已关闭文件的数据提供强持久: 1. NameNode持久化文…
2010-01-26 00:26 · mapreduce¶llel
TFile, SequenceFile与gz,lzo压缩的测试
先记一记,以后解释 :) $hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024 === SeqFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) === 10/0…
2010-01-07 22:47 · mapreduce¶llel