Hadoop v0.17
Hadoop
- Google File System(GFS),MapReduceのオープンソース版
- java
- Hadoopのインストール
- Hadoopのインストール(複数のマシン)
Hadoopのコマンド
- HDFSでは,標準のコマンド(cp,rmなど)ではアクセスできない.
- bin/hadoop dfsコマンドで操作を行う.
- bin/hadoop dfs -ls
- bin/hadoop dfs -rm
- bin/hadoop dfs -rmr
- bin/hadoop dfs -cat
- bin/hadoop dfs -mkdir
- bin/hadoop dfs -copyFromLocal(HDFSに転送)
- bin/hadoop dfs -copyToLocal(ローカルに転送)
Hadoop Map-Reduce Tutorial
複数のマシンで実行
- install
- マスタマシン
- NameNode×1台
- JobTracker×1台
- ワーカーマシン
- DataNode×残り
- TaskTracker×残り
- 環境設定
- conf / hadoop-env.sh
- それぞれのノードに対して,
- JAVA_HOME (必須)
- HADOOP_LOG_DIR:デーモンのログ保存場所
- HADOOP_HEAPSIZE:Hadoop用に使う,ヒープサイズの最大値
- conf / hadoop-site.xml
- fs.default.name
- mapred.job.tracker
- dfs.name.dir
- dfs.data.dir
- mapred.system.dir
- mapred.local.dir
- mapred.tasktracker.{map|reduce}.tasks.maximum
- dfs.hosts/dfs.hosts.exclude
- mapred.hosts/mapred.hosts.exclude
最終更新:2008年08月19日 10:45