ズッキーニのプログラミング実験場

プログラミング + アカデミック + 何か面白いこと。 記載されているものは基本的に私が所属する団体とは関係がありません。

   May 31

[Hadoop][Hive]EC2上のUbuntu12.04にインストールしてみる

by zuqqhi2 at 2013年5月31日
Pocket

Hiveをインストールしてみる。
とりあえず、動くところまで。

[hadoop@hadoop server]
$wget http://ftp.tsukuba.wide.ad.jp/software/apache/hive/stable/hive-0.10.0.tar.gz
$tar xvf hive-0.10.0.tar.gz
$exit

[ubuntu@hadoop server]
$sudo mv /home/hadoop/hive-0.10.0 /usr/local/hive
$sudo chown -R hadoop:hadoop /usr/local/hive
$sudo su - hadoop

[hadoop@hadoop server]
$vim .bashrc
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
$source .bashrc
$mkdir /usr/local/hive/logs
$cp /usr/local/hive/conf/hive-log4j.properties.template /usr/local/hive/conf/log4j.properties
$vim /usr/local/hive/conf/log4j.properties
hive.log.file=hive.log

---->
#hive.log.file=hive.log
hive.log.dir=/usr/local/hive/logs/
$cp /usr/local/hive/conf/hive-env.sh.template /usr/local/hive/conf/hive-env.sh
$chmod 755 /usr/local/hive/conf/hive-env.sh
$cp /usr/local/hive/conf/hive-exec-log4j.properties.template /usr/local/hive/conf/hive-exec-log4j.properties
$cp /usr/local/hive/conf/hive-default.xml.template /usr/local/hive/conf/hive-site.xml
$vim /usr/local/hive/conf/hive-site.xml
 481     we are increasing the number of files possibly by a big margin. So, we      merge aggresively.
 482 </property>
---->
 481     we are increasing the number of files possibly by a big margin. So, we      merge aggresively.
 482   </description>
 483 </property>

 490     tables/partitions. It was added by MAPREDUCE-1501
 491 </property>
----->
 490     tables/partitions. It was added by MAPREDUCE-1501
 491   </description>
 492 </property>

 557     <partition-dir>/c1=1/c2=a/
 558     <partition-dir>/c1=2/c2=b/
 559     <partition-dir>/HIVE_DEFAULT_LIST_BUCKETING_DIR_NAME/HIVE_DEFAULT_LIST_BUCKETING_DIR_NAME/
 560     Note: This config won't impact users if they don't list bucketing.
---->
 557     <partition-dir>/c1=1/c2=a/</partition-dir>
 558     <partition-dir>/c1=2/c2=b/</partition-dir>
 559     <partition-dir>/HIVE_DEFAULT_LIST_BUCKETING_DIR_NAME/HIVE_DEFAULT_LIST_BUCKETING_DIR_NAME/</partition-dir>
 560     Note: This config won't impact users if they don't list bucketing.
$hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-0.10.0.jar!/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201305311457_1645609290.txt
hive> show databases;
OK
default
Time taken: 5.689 seconds

なんとか動いた。
hive-default.xml.templateになんでこんな閉じタグミスが多いんだろう?

Related Posts

  • [Hive]rankを使ってカテゴリごとに上位数件を抽出するクエリ2016年8月7日 [Hive]rankを使ってカテゴリごとに上位数件を抽出するクエリ  hiveでタイトルのようなことを実現するクエリを紹介する。これにはrank関数という関数を利用することで実現できる。rankを利用しない場合は以下のように複数のクエリを発行する必要があり、データ量によってはかなりの時間がかかってしまう。 カテゴリのリストを準 […]
  • gitweb2013年8月28日 [git][gitweb][nginx]Ubuntu12.04LTSサーバにgitリポジトリ作って gitweb を入れる やりたいこと Ubuntu 12.04 LTS上にGitの共用リポジトリを作成して、 gitwebをWebUIとして入れて複数人でプライベートで共同開発したい。 Gitのリモートリポジトリの作成 Gitのインストール Gitのインストールは単純に […]
  • 2013年7月6日 [Haskell]PGMファイルを生成する part2 昨日の続きで HaskellでPGMファイルを生成してみる。 今日は、乱数列を生成してみた。 出力はこんな感じ。 あとは出力形式整えるだけだ!I'll do yesterday's thing. It's making […]
  • 2013年6月21日 [Coq]リストのモナドを定義してみる Coq リスト モナド リストモナドの定義 Haskellのモナドを定義してみることを考える。 まず、モナドに必要なのは以下の三つの性質である。 f(return(A),g) = g(A) f(A,return) = A f(f(A, g),h) = […]
  • 2013年8月5日 [mongoose][mongoDB]コレクションの指定方法 mongoose コレクション名 指定方法は 以下のソースの lower case of […]
  • 2013年7月8日 [Haskell]PGMファイルを読み込む part1 やりたいこと HaskellでPGMファイルを生成することができたから、 今度は入力出来るようにしてみたい。 プログラム とりあえずヘッダーを読み込んで出力するところまで。 実行してみる。 Target I could output […]
Pocket

You can follow any responses to this entry through the RSS 2.0 feed. Both comments and pings are currently closed.