ズッキーニのプログラミング実験場

プログラミング + アカデミック + 何か面白いこと。 記載されているものは基本的に私が所属する団体とは関係がありません。

   Jun 17

[Hadoop][Ruby]Hadoop Streaming 練習2

適当にユーザIDが3000万件あるファイルを作成して ユニークユーザ一覧を出力してみる。 次にMapperをrubyで書いてみる。 次にReducerを書く。 Hadoopで動かす前に動きを試してみる。 問題なさそうだ。 […]

続きを読む »

   Jun 16

[Hadoop][Ruby]Hadoop Streaming 練習

どのユーザがどの検索ワードを使用したかを表すログデータを 集計して検索ワードランキング用のデータを生成することを考える。 次にMapperをrubyで書いてみる。 次にReducerを書く。 Hadoopで動かす前に動き […]

続きを読む »

   May 29

[Hadoop][Ruby]Hadoop Streaming First Step

RubyでMap Reduceを書く まずはMapper 次にReducer テストしてみる。 できた! Hadoop Streamingで実行する できた!

続きを読む »