ズッキーニのプログラミング実験場

プログラミング + アカデミック + 何か面白いこと。 記載されているものは基本的に私が所属する団体とは関係がありません。

   May 21

Tensorboardを使ってニューラルネットワークと学習の状況を可視化する

はじめに tensorflowやtflearnでモデルを作っていると、ネットワークを図にしたり学習の進み具合をさくっとグラフにしてくれるツールがあると便利だな、と思ったことがあると思います。 Googleで検索をしている […]
続きを読む »

   Jan 08

[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った

はじめに tensorflow、chainer、scikit-learnなど各種python用の機械学習ライブラリをインストールしてあって、すぐに使えるDockerイメージを作りました。mecabなども入っているので自然 […]
続きを読む »

   Dec 23

[Node.js]バッチスクリプトの書き方

はじめに この記事はNode.js Advent Calendar 2016の16日目の記事です。 やりたいこと ごくたまにNode.jsでバッチを書く機会があります。ですが、ちょっとしたスクリプトを書くならいざしらず、 […]
続きを読む »

   Dec 21

[Play][Scala]PlayFrameworkでリクエスト駆動のバッチを作る

はじめに この記事はScala Advent Calendar 2016の21日目の記事です。 解決したい問題 PaaSをよく利用するのですが、デプロイ先を分散させたりIaaSでサーバ管理をしたくない時に、バッチ処理もP […]
続きを読む »

   Dec 12

[OpenCV][Ruby]Webページのデザイン崩れ確認の自動化

はじめに この記事は、OpenCV Advent Calendar 2016の12日目の記事です。 他の皆さんの内容とくらべてかなり簡単な内容です。 解決したい問題 仕事でWebサイトの開発・運用をしていたとき、サイトの […]
続きを読む »

   Dec 11

[機械学習]本番導入までの道のり

はじめに この記事は、Machine Learning Advent Calendar 2016の11日目の記事です。 機械学習のアルゴリズムに関する記事は検索すればたくさん見つけることができます。 しかし、実際にどのよ […]
続きを読む »

   Aug 07

[Hive]rankを使ってカテゴリごとに上位数件を抽出するクエリ

 hiveでタイトルのようなことを実現するクエリを紹介する。これにはrank関数という関数を利用することで実現できる。rankを利用しない場合は以下のように複数のクエリを発行する必要があり、データ量によってはかなりの時間 […]
続きを読む »

   Sep 22

Windows上で Vagrant + Ansible を使ってテスト用Webサーバ構築

vagrant  Vagrantを使うことで仮想マシンを立ち上げることができる。Ansibleを使うことで立ち上げたマシンにソフトウェアをインストールさせたり、アプリをデプロイさせたりすることができる。本記事ではこれらのツールを使って、 […]
続きを読む »

   Jul 20

Mocha と Chai による ブラウザサイド単体テスト – 環境構築からjQuery Deferredまで –

ブラウザ  MochaとChaiを使ってブラウザサイド単体テストをやってみる。 この記事では環境構築、同期処理のテスト、非同期処理のテスト、jQuery Deferredのテストの基本のみ扱う。 環境 OS Windows 7 E […]
続きを読む »

   Jun 17

Mahout で 協調フィルタリング

mahout  Mahoutを使って協調フィルタリングをやってみる。 Mahoutを使うことで基本的に一切の予備知識無しで、機械学習技術を利用することができる。 本記事では、Mahoutのインストール方法から紹介するが、Hadoopは […]
続きを読む »

   May 17

統計分析用フリーソフトRのインストール方法

R Excelは非常に便利だが、統計や機械学習を用いた分析・グラフ化においては、さらに優秀なソフトがある。 それがRだ。Rを使えば、難しい数学的な知識が必要な分析・ビジュアライジングを数行で記述できてしまう。 本記事ではその […]
続きを読む »

   Apr 19

Excel2010を使って t検定 で新手法と旧手法の差を統計的に調べる

Mathmatics 統計的に新手法が既存手法に比べて優れているかどうかを確認するのにはt検定を使う。 t検定はExcelで簡単に実行することができるためその方法を紹介する。 ABテストをやるようなエンジニアの人はこれを覚えておくと、信頼でき […]
続きを読む »

   Apr 09

python ローカル開発環境 構築

python ※2016/12/29 更新 pyenvを使って python ローカル開発環境 を構築する方法を簡単にまとめた。 pythonでもpyenvとvirtualenvを使えばRubyのbundlerやGemfileと似たこ […]
続きを読む »

   Mar 29

ScalaとSbtのインストール

Scala Sbt インストール Scalaはオブジェクト指向言語と関数型言語の両方の特徴を併せ持つハイブリッドな言語。 SbtはScalaのビルドツール。プロジェクト・パッケージ・ライブラリ管理もしてくれる便利なツール […]
続きを読む »

   Mar 29

Apache Hadoop インストール

Apache Hadoop インストール 以前Hadoopの検証した時のインストールログ。 個人的には、現在はCDH版のHadoopをインストールした方が安定して使えると思う。 CDH版のインストール方法はいつか投稿する […]
続きを読む »

   Mar 28

簡単な クローラー を作ってみる

クローラー インデックス 環境準備(Ubuntu) ここでは、Webページをダウンロードするためにurllib3というライブラリを使用し、 Webページの解釈のためにBeautifulSoupというライブラリを使用する。 […]
続きを読む »

   Mar 27

ベーシックな クラスタリング

学習の仕方 教師あり学習 入力と期待される出力のデータセットを用いて学習する。 教師なし学習 入力データセットのみを用いて自動的に構造を学習する。 データセットの準備 ブログの クラスタリング をそのブログの単語頻度を用 […]
続きを読む »

   Mar 26

協調フィルタリング

協調フィルタリング とは 協調フィルタリング には様々なやり方があるが、 一般的には大人数の集団の中からレコメンド対象と好みが似た集団を見つけ出し、 その集団の行動リストの中から適切な行動を推薦するというものである。 嗜 […]
続きを読む »

   Mar 25

Coqによる 証明駆動開発 超入門

証明駆動開発 とは 証明駆動開発 とは証明によってプログラムが期待通りの性質を有しているかを確かめながら開発する手法のこと。 ユニットテストの一部で使用可能な方法。 証明駆動開発 での流れは参考サイトに記載されているよう […]
続きを読む »

   Mar 24

Elasticsearch インストール ubuntu

elasticsearch インストール ubuntu インストール http://www.elasticsearch.org/overview/elkdownloads/ からtar.gzをダウンロードしてインストール […]
続きを読む »