2007-10-18から1日間の記事一覧
大分前に,ストップしていたソースを別なところから読み始めることにする.HDFSを担うDataNode.javaのmain()から. try { StringUtils.startupShutdownMessage(DataNode.class, args, LOG); DataNode datanode = createDataNode(args, null); if (datanode !…
珍しく,火曜日に.ちょっと,仕事で一時間送れ,なので,1時間しかしてないはずなのに,かなりつらかった.うーん,どんどん体が動かなくなるなぁ.さびしいなぁ.
さて,それで,目的の宿に到着です.でまぁ,本来の目的だった釣りを楽しむことにします.鯉の釣堀で釣りを楽しみます.鯉を釣るってのはすごいんですね.さおがしなりすぎ,そんでもって,引っかかっても釣り針に返しがないから最後まで持ってくるのが難し…
HadoopのNameNodeが落ちたんですが,ほかのDataNodeやjobtrackerを無理くりkillで終了させた後(stop-all.shが効かないので.).でそのあと,start-all.shをやったら,何事も無かったのごとく再起動して,それまで入れたデータも残っていました. ふーん.あ…
どうやって,HDFSのライブラリを使うの?という質問に.以下のようなソースが流れてました.んー,シンプル. import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FSDataOutputStream; import org.apa…
For our CPU-bound application, I set the value of mapred.tasktracker.tasks.maximum (number of map tasks per tasktracker) equal to the number of CPUs on a tasktracker. Unfortunately, I think this value has to be set per cluster, not per mac…
My project, Pig, provides an interactive shell for users where, among other things, they can do some basic DFS operations such as changing firectories, copying files, etc. It would be great if Hadoop could provide a consistent interface to…