2007-09-04から1日間の記事一覧

Hadoopのソースを読もう

package org.apache.hadoop.examples.Grepが定義されいるGrep.javaから見てみる.mapreduceの実行は, JobClient.runJob(grepJob); でされている.runJobは,staticで宣言されていて, JobClient jc = new JobClient(job); でJobClientが定義されていて, ru…

ミュージック携帯 810T,811T

特に技術的なことでもなんでもないけども,811Tには,付属の専用ソフトがついていて,それを利用して音楽(cd, mp3, wmv)を変換すると聞けるようになります. がしかし,実は,iTunes(無料のソフト)で,AAC変換をかけると出てくる音楽ファイルをmicroSDカード…

Hadoopのソースを読もう

続いて, // Create the splits for the job LOG.debug("Creating splits at " + fs.makeQualified(submitSplitFile)); InputSplit[] splits = job.getInputFormat().getSplits(job, job.getNumMapTasks()); において,入力データをmap数の分だけ,分割をし…

Hadoopのソースを読もう

そんで,JobClient::submitJob() (c++ぽいけど後でたどるためにこう書くことにする)は, String jobId = jobSubmitClient.getNewJobId(); Path submitJobDir = new Path(job.getSystemDir(), jobId); FileSystem fs = getFs(); LOG.debug("default FileSys…