ITeye博客

2008 年文章归档

共 34 篇文章

hadoop源码分析

blog挺难贴图的, 我已经建了一个开源的项目, 用来存放文档. 请见: http://code.google.com/p/hana 最近有些私人工作上的问题要占用时间,而且学校网络上不了国外网站了. 所以暂时不能更新. 以后会持续更新, 会放在svn里.

2008-12-26 15:37 · mapreduce&parallel

hadoop源码分析之MapReduce(一)

hadoop的源码已经粗看过一遍,但每次想要了解细节的时候,还得去翻代码. 看了又是忘记. 所以我决定这些天把其中的重要的细节记下来。 声明: 1. 本文假设读者已经掌握一些MapReduce的基本概念,曾经编写过MapReduce程序。 2. 此源代码分析是基于hadoop svn的trunk之上(目前0.20.0-dev),由于hadoop正在换新的MapReduce api(org.apache.hadoop.mapreduce包), 以后很多类会弃用,很多接口会改变,这儿只能尽量保持同步。 3. 关于hdfs源代码可以参考 caibinbupt的hdfs源代码分析 ,这儿就不再详述。…

2008-12-16 13:08 · mapreduce&parallel

怎么停止和重新启用hadoop的DataNode

停止 比如我原来有10个节点的集群. 现在我想停掉2个,但数据不能丢失,只能让它们的数据转移到其它8台上.这道过程就是decommission. 我们不能直接把那2台停掉, 要在停掉之前把数据转移出去. 首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下 例如 CS02 CS03 CS04 CS05 CS06 CS07 CS08 CS09 CS10 这样就表明要把9台机器给停了. 然后在conf/hadoop-site.xml添加这样的属性: <property> <name>dfs.hosts.exclud…

2008-12-11 15:17 · mapreduce&parallel

关于本体论及语意搜索的一些资料

本体论的概念, wiki http://en.wikipedia.org/wiki/Ontology_(information_science) 有点像专家系统, 应该是prolog的专长. 语义搜索 http://www.powerset.com http://www.hakia.com/ http://www.evri.com

2008-11-13 01:47 · lucene&nutch

关于redpoll中使用mahout模块,而没有沿用其中算法的解答

接到mail, 公布出来省得再有提问 :) 首先, 我要实现的canopy和kmeans算法都是固定的,本来我不必要重新实现这些算法。我是暂时加入mahout-*.jar,因为里面的SparseVector,省得我再去实现一遍。 但我没用其中的算法, 因为我去年就发现mathout的实现有以下以个问题: 1. 它的CanopyMapper默认读取的是SparseVector.asFormatString之后的字符串形成的Text。我估计他们没有做过大数 集的测试,因为这个String占的空间非常大。SparseVector的每个元素由index和value组成, index是int型占4字节…

2008-11-07 19:03 · redpoll

怎么在hadoop作map/reduce时输出N种不同类型的value

BTW:再次感叹下没有机器, 3.4G的语料,单机处理了10来个小时, 真是郁闷~~ 要是有N台机器多好啊. 在很多时候,特别是处理大数据的时候,我们希望一道MapReduce过程就可以解决几个问题。这样可以避免再次读取数据。比如:在做文本聚类/分类的时候,mapper读取语料,进行分词后,要同时算出每个词条(term)的term frequency以及它的document frequency. 前者对于每个词条来说其实是个向量, 它代表此词条在N篇文档各中的词频;而后者就是一个非负整数。 这时候就可以借助一种特殊的Writable类:GenericWritable. 用法是:继承这个类,然…

2008-10-30 04:46 · mapreduce&parallel

最近项目进展及Hadoop自定义InputFormat

题外话: 请关注http://code.google.com/p/redpoll 如果有人可以提供10台左右普通机器测就好了,学校实验室不给这么多,俺已经写了一篇paper, 程序啥都好了,就差数据, 真郁闷。 进展比较慢, 走了些弯路, 不过最终还是理清了。开始考虑文档聚类后,要能通过文档的id定位到该文档的内容。而且这个id最好是整型,或者long型,而搜狐新闻给的docno是占32字节的GUID。如果不考虑这点, hadoop在算词频, 势必会生成很庞大的中间文件。 term1 docId1:tf, docId2:tf, .... term2 docId1:tf, docId2:tf,…

2008-10-27 03:04 · mapreduce&parallel

近期会做的项目

1. 大规模文本自动聚类。 目前实验条件有限,只能做到G级别,语料采用搜狐的新闻。 用mapreduce并行化分词,建立VSM。采用经典的tf/idf。 然后并行化的canopy算法进行粗分 再用并行化的k-means,余弦距离度量进行最后的聚类 思路已经想得非常清楚了,接下来就是写代码,得出数据。 2. 大规模文本自动分类。 采用svm或naive bayes算法,前面几步已经想清,最后的并行化没想清楚。 3.这个项目无限期长, 因为首先要把奇异值分解(SVD)的并行搞定。 建立VSM之后,矩阵的维度会变得非常高,采用这种方法可以将算法复杂度降低几个数量级。 做完之后,会继续采用Apach…

2008-10-11 17:01 · mapreduce&parallel

行业词库收集程序已经开源

前些天国庆在家,没网上. 地址在 http://code.google.com/p/wordseeker/ 采用Apache协议,对商业友好.

2008-10-07 12:26 · mapreduce&parallel

hadoop的几点经验

1. 机器较多时, 编辑各个节点的/etc/hosts文件会很麻烦, 一般会架一个dns服务器进行解析. 2. 实现WritableComparable接口定义自己的写入方式时, 要注意hashCode()方法. 默认是使用Object.hashCode()这样的话, 会用对象的引用做为hashcode. Mapper会将相同key中hashCode()相同的聚在一起发送给Reducer. 比如Text的hashCode实现: public class Text implements WritableComparable { ... /** hash function */ public i…

2008-09-29 10:46 · mapreduce&parallel

最近做的几个项目

1. 把 libmmseg 分词加了与lucene吻合的java接口,分词速度与c++版本接近, 已经和作者联系了.会在近期开源出去. 2. 用hadoop的mapreduce模型做了一个自动识别行业词的程序, 从算法上降低了计算量,而且分布式的话会更加快. 我用一份从51job, 智联招聘, 中华英才网等400多家招聘网站抓取的311万条职位语料做测试,5, 4元词词频在1000以上的正确率达95%以上,3元的差了点在60左右(没仔细统计,估计去掉功能字会好些), 2元的99%以上. 这个东东对做行业词库比较有用, 可以增加中文分词器的精度. 这段代码也会近期开源, 希望有大量语料的兄弟能…

2008-09-29 10:11 · lucene&nutch

俺的linux常用命令技巧

查找目录dir中后缀为*.c和*.h的文件 用正则 find dir -type f -name '*.[ch]' 不用正则 find dir -type f -name '*.c' -o '*.h' 在目录a下建立目录b,而目录a可能不存在 mkdir -p a/b 查看dir目录下面所有txt文件中含有"string"串的总行数 find dir -type f -name *.txt -exec grep "string" {} \; | wc -l 让所有执器同时执行同一道命令 建立好ssh, 设置环境变量SLAVES指定slaves的地址. for slave in `cat $S…

2008-09-16 12:57 · linux

lucene2.3.2与2.2.0建索引的速度比较

文本材料大小: 43.9 MB 文件数目: 19997个 分析器: lucene标准StandardAnalyzer lucene-2.2.0 索引大小: 16,901,638 字节 耗时: 158094 total milliseconds 110437 total milliseconds 106328 total milliseconds lucene-2.3.2 索引大小: 16,177,772字节 默认16M缓存耗时: 15407 total milliseconds 15500 total milliseconds 设置64M缓存耗时: 13578 total milliseco…

2008-07-29 22:42 · lucene&nutch

关于分布式lucene

有NFS, haproxy/lvs等解决方案。 或者基于HDFS自己实现一个能提供多个客户端同时写Index的文件系统 为什么不用hadoop的HDFS? 原因有三: 1. HDFS多个client写同一个index. 但我们希望能够实现此功能,以达到并行建立索引的目的。 2. lucene的索引一般包括几种不同的文件。这些文件大多会比HDFS的64M块要小,所以用HDFS存储不是很有效。 3. 以后hadoop的底层可能会建立一个抽象层。这个抽象层可以适用于各种不同的存储方式(不光是HDFS)和并行处理服务。 另外,自己建立一个lucene特有的索引存储,可以加深对hadoop架构的认识。…

2008-07-07 14:15 · lucene&nutch

职友集的搜索

我先试了一个搜索“和服”,这个词,返回1092条结果。不过应该都是没用的。 且看前面几条: 财务软件实施和服务顾问 参考工资 查看人脉 服务经理和服务工程师Service Manager and Engineer 参考工资 查看人脉 服务经理和服务工程师Service Manager and Engineer 参考工资 看样子是采用的二元分词做的。 http://shenghuo.google.cn 是google生活方面的垂直搜索引擎。貌似刚刚起步,主要是中华英才网, 51job, 智联招聘几个网站的资料。搜索“和服”这个词,只有两条结果。第一条与服装有关,但不是“和服”本身的意思,暂时不…

2008-07-04 12:45 · lucene&nutch

单分派与多分派,聊天记录

2007-12-17 23:06:01 lct The solution to these problems is to replace dynamically-dispatched messages with one or more statically-bound procedure calls wherever possible, to inline-expand the callee methods whenever the callee is small (a common case given the presence of accessor methods, user-defi…

2008-06-14 19:11 · misc

nutch演示

抓取了系里的网站 http://cs.jnu.edu.cn 和lucene的网站 http://lucene.apache.org/ 然后对这两个网站进行搜索.

2008-05-23 20:08 · lucene&nutch

中文分词演示

中文分词是中文信息检索的基础,也是一项难题。 下面随手做的一个演示, lucene的Analyzer扩展。

2008-05-23 20:03 · lucene&nutch

nutch源代码分析之ParseSegment

ParseSegment

2008-05-20 19:36 · lucene&nutch

nutch源代码分析之Fetcher

MapReduce:获取的urls集 输入:<url,CrawlDatum>, 按主机分块, 按hash排序 Map(url,CrawlDatum) $\to$ <url,FetcherOutput> 通过多线程、异步map实现 调用已有的Nutch协议插件 FetcherOutput: <CrawlDatum, 网页内容Content> Reduce()是同一化 输出: 两种文件: <url,CrawlDatum>, <url,Content>

2008-05-20 17:28 · lucene&nutch