ズッキーニのプログラミング実験場

プログラミング + アカデミック + 何か面白いこと。 記載されているものは基本的に私が所属する団体とは関係がありません。

   Mar 29

Apache Hadoop インストール

Apache Hadoop インストール 以前Hadoopの検証した時のインストールログ。 個人的には、現在はCDH版のHadoopをインストールした方が安定して使えると思う。 CDH版のインストール方法はいつか投稿する […]

続きを読む »

   Jun 17

[Hadoop][Ruby]Hadoop Streaming 練習2

適当にユーザIDが3000万件あるファイルを作成して ユニークユーザ一覧を出力してみる。 次にMapperをrubyで書いてみる。 次にReducerを書く。 Hadoopで動かす前に動きを試してみる。 問題なさそうだ。 […]

続きを読む »

   May 29

[Hadoop][Ruby]Hadoop Streaming First Step

RubyでMap Reduceを書く まずはMapper 次にReducer テストしてみる。 できた! Hadoop Streamingで実行する できた!

続きを読む »

   May 28

[AmazonEC2][Hadoop]完全分散モード

Info Instance : m1.large Number of instances : 3 Stand Alone Mode Pseudo Distribution Mode Complete Distributi […]

続きを読む »