2007-10-18から1日間の記事一覧

Hadoopのソースを読もう

大分前に,ストップしていたソースを別なところから読み始めることにする.HDFSを担うDataNode.javaのmain()から. try { StringUtils.startupShutdownMessage(DataNode.class, args, LOG); DataNode datanode = createDataNode(args, null); if (datanode !…

フットサル

珍しく,火曜日に.ちょっと,仕事で一時間送れ,なので,1時間しかしてないはずなのに,かなりつらかった.うーん,どんどん体が動かなくなるなぁ.さびしいなぁ.

千葉へ家族旅行(亀山湖とか) part2

さて,それで,目的の宿に到着です.でまぁ,本来の目的だった釣りを楽しむことにします.鯉の釣堀で釣りを楽しみます.鯉を釣るってのはすごいんですね.さおがしなりすぎ,そんでもって,引っかかっても釣り針に返しがないから最後まで持ってくるのが難し…

Hadoopのnamenodeが落ちた

HadoopのNameNodeが落ちたんですが,ほかのDataNodeやjobtrackerを無理くりkillで終了させた後(stop-all.shが効かないので.).でそのあと,start-all.shをやったら,何事も無かったのごとく再起動して,それまで入れたデータも残っていました. ふーん.あ…

Hadoopメーリングリスト

どうやって,HDFSのライブラリを使うの?という質問に.以下のようなソースが流れてました.んー,シンプル. import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FSDataOutputStream; import org.apa…

Hadoopメーリングリスト

For our CPU-bound application, I set the value of mapred.tasktracker.tasks.maximum (number of map tasks per tasktracker) equal to the number of CPUs on a tasktracker. Unfortunately, I think this value has to be set per cluster, not per mac…

Hadoopメーリングリスト

My project, Pig, provides an interactive shell for users where, among other things, they can do some basic DFS operations such as changing firectories, copying files, etc. It would be great if Hadoop could provide a consistent interface to…