zuqqhi2のIT日記

プログラミング + アカデミック + 何か面白いこと

   Aug 07

[Hive]rankを使ってカテゴリごとに上位数件を抽出するクエリ

data  hiveでタイトルのようなことを実現するクエリを紹介する。これにはrank関数という関数を利用することで実現できる。rankを利用しない場合は以下のように複数のクエリを発行する必要があり、データ量によってはかなりの時間 […]
続きを読む »

   Sep 22

Windows上で Vagrant + Ansible を使ってテスト用Webサーバ構築

vagrant  Vagrantを使うことで仮想マシンを立ち上げることができる。Ansibleを使うことで立ち上げたマシンにソフトウェアをインストールさせたり、アプリをデプロイさせたりすることができる。本記事ではこれらのツールを使って、 […]
続きを読む »

   Jul 20

Mocha と Chai による ブラウザサイド単体テスト – 環境構築からjQuery Deferredまで –

ブラウザ  MochaとChaiを使ってブラウザサイド単体テストをやってみる。 この記事では環境構築、同期処理のテスト、非同期処理のテスト、jQuery Deferredのテストの基本のみ扱う。 環境 OS Windows 7 E […]
続きを読む »

   Jun 17

Mahout で 協調フィルタリング

mahout  Mahoutを使って協調フィルタリングをやってみる。 Mahoutを使うことで基本的に一切の予備知識無しで、機械学習技術を利用することができる。 本記事では、Mahoutのインストール方法から紹介するが、Hadoopは […]
続きを読む »

   May 17

統計分析用フリーソフトRのインストール方法

R Excelは非常に便利だが、統計や機械学習を用いた分析・グラフ化においては、さらに優秀なソフトがある。 それがRだ。Rを使えば、難しい数学的な知識が必要な分析・ビジュアライジングを数行で記述できてしまう。 本記事ではその […]
続きを読む »

   Apr 19

Excel2010を使って t検定 で新手法と旧手法の差を統計的に調べる

Mathmatics 統計的に新手法が既存手法に比べて優れているかどうかを確認するのにはt検定を使う。 t検定はExcelで簡単に実行することができるためその方法を紹介する。 ABテストをやるようなエンジニアの人はこれを覚えておくと、信頼でき […]
続きを読む »

   Apr 09

python ローカル開発環境 構築

python pyenvを使って python ローカル開発環境 を構築する方法を簡単にまとめた。 pythonでもRubyのbundlerやGemfileと似た機構がある。 pythonでもバージョンやライブラリの管理が簡単にできる […]
続きを読む »

   Mar 29

ScalaとSbtのインストール

20150321_sacala Scala Sbt インストール Scalaはオブジェクト指向言語と関数型言語の両方の特徴を併せ持つハイブリッドな言語。 SbtはScalaのビルドツール。プロジェクト・パッケージ・ライブラリ管理もしてくれる便利なツール […]
続きを読む »

   Mar 29

Apache Hadoop インストール

20150326_hadoop Apache Hadoop インストール 以前Hadoopの検証した時のインストールログ。 個人的には、現在はCDH版のHadoopをインストールした方が安定して使えると思う。 CDH版のインストール方法はいつか投稿する […]
続きを読む »

   Mar 28

簡単な クローラー を作ってみる

silence-390331_640 クローラー インデックス 環境準備(Ubuntu) ここでは、Webページをダウンロードするためにurllib3というライブラリを使用し、 Webページの解釈のためにBeautifulSoupというライブラリを使用する。 […]
続きを読む »

   Mar 27

ベーシックな クラスタリング

20150327_clustering 学習の仕方 教師あり学習 入力と期待される出力のデータセットを用いて学習する。 教師なし学習 入力データセットのみを用いて自動的に構造を学習する。 データセットの準備 ブログの クラスタリング をそのブログの単語頻度を用 […]
続きを読む »

   Mar 26

協調フィルタリング

mds-result-300x250 協調フィルタリング とは 協調フィルタリング には様々なやり方があるが、 一般的には大人数の集団の中からレコメンド対象と好みが似た集団を見つけ出し、 その集団の行動リストの中から適切な行動を推薦するというものである。 嗜 […]
続きを読む »

   Mar 25

Coqによる 証明駆動開発 超入門

20150322_coq 証明駆動開発 とは 証明駆動開発 とは証明によってプログラムが期待通りの性質を有しているかを確かめながら開発する手法のこと。 ユニットテストの一部で使用可能な方法。 証明駆動開発 での流れは参考サイトに記載されているよう […]
続きを読む »

   Mar 24

Elasticsearch インストール ubuntu

20150321_elasticsearch elasticsearch インストール ubuntu インストール http://www.elasticsearch.org/overview/elkdownloads/ からtar.gzをダウンロードしてインストール […]
続きを読む »

   Mar 21

Mahout をUbuntu12.04 LTSにインストールした時のメモ

mahout コマンドのみ
続きを読む »

   Mar 14

[RabbitMQ]RabbitMQをUbuntuにインストールしてサンプルと管理画面を動かしてみる

20150315_rabbitmq_log Goal 次のことをやる。 RabbitMQをUbuntuインストールする(12.04) サンプルRubyクライントを動かす Web管理画面を動かす Environment OS Linux version 3.2.0- […]
続きを読む »

   Mar 03

[Meteor.js][MongoDB][Javascript]別インストールの既存MongoDBを使う方法

20150315_meteorjs_image Goal 既存のMongoDBをMeteor.jsで利用する。 Environment OS Linux version 3.2.0-64-generic (buildd@kissel) (gcc version 4.6 […]
続きを読む »

   Feb 15

[Javascript][Meteor.js]インストールとHello World

meteor Meteor.js Meteor.jsはJavascriptのサーバサイドフレームワークの1つ。 Node.jsをベースにしているが、いろいろと違う。 面白いところは、クライアントとサーバ間でソースコードやDBの内容を共 […]
続きを読む »

   Feb 07

[LeapMotion][Javascript]LeapMotionをJavascriptからとりあえず使ってみた

IMG_8908 目的 Leap Motionは手の動きを検出するデバイス。 今回はJavascriptからLeap Motionを使ってみる。 ソースコードはここから拝借して試してみた。 Environment OS Linux ver […]
続きを読む »

   Jan 18

[Java][Webカメラ][背景差分]Webカメラで撮っている動画に簡単な背景差分を適用してみる

backgroundsubtraction Target 1. Webカメラで動画取得 2. その動画にシンプルな背景差分を適用 Environment OS Windows 7 Enterprise SP1 java 1.7.0_51-b13 webcam-ca […]
続きを読む »