続いて， // Create the splits for the job LOG.debug("Creating splits at " + fs.makeQualified(submitSplitFile)); InputSplit[] splits = job.getInputFormat().getSplits(job, job.getNumMapTasks()); において，入力データをmap数の分だけ，分割をし…

そんで，JobClient::submitJob() （c++ぽいけど後でたどるためにこう書くことにする）は， String jobId = jobSubmitClient.getNewJobId(); Path submitJobDir = new Path(job.getSystemDir(), jobId); FileSystem fs = getFs(); LOG.debug("default FileSys…

Hadoop File System を読んでみた雑感．Hadoopは，Google File SystemとGoogle Map ReduceをJavaで実装しましょうという試みですね． で，ひとまず，上記のHPにHadoop Distributed File System(HDFS)があったので読んでみた．気になった点のみ． ・概要 登場…