Hadoop

Hadoop v0.17


Hadoop


Hadoopのコマンド
  • HDFSでは,標準のコマンド(cp,rmなど)ではアクセスできない.
  • bin/hadoop dfsコマンドで操作を行う.
    • bin/hadoop dfs -ls
    • bin/hadoop dfs -rm
    • bin/hadoop dfs -rmr
      • rm -r
    • bin/hadoop dfs -cat
    • bin/hadoop dfs -mkdir
    • bin/hadoop dfs -copyFromLocal(HDFSに転送)
      • bin/hadoop dfs -putでも良い.
    • bin/hadoop dfs -copyToLocal(ローカルに転送)
      • bin/hadoop dfs -getでも良い.


Hadoop Map-Reduce Tutorial


複数のマシンで実行
  • install
    • マスタマシン
      • NameNode×1台
      • JobTracker×1台
    • ワーカーマシン
      • DataNode×残り
      • TaskTracker×残り
  • 環境設定
    • conf / hadoop-env.sh
      • それぞれのノードに対して,
      • JAVA_HOME (必須)
      • HADOOP_LOG_DIR:デーモンのログ保存場所
      • HADOOP_HEAPSIZE:Hadoop用に使う,ヒープサイズの最大値
    • conf / hadoop-site.xml
      • fs.default.name
      • mapred.job.tracker
      • dfs.name.dir
      • dfs.data.dir
      • mapred.system.dir
      • mapred.local.dir
      • mapred.tasktracker.{map|reduce}.tasks.maximum
      • dfs.hosts/dfs.hosts.exclude
      • mapred.hosts/mapred.hosts.exclude
最終更新:2008年08月19日 10:45