ズッキーニのプログラミング実験場

プログラミング + アカデミック + 何か面白いこと。 記載されているものは基本的に私が所属する団体とは関係がありません。

   Aug 18

[node.js]webサイトのクローリング用ライブラリ cheerio

by zuqqhi2 at 2013年8月18日
Pocket

以下のライブラリを利用する。

npm install request
npm install cheerio

requestは対象URLからのデータ取得に用いて、
cheerioはその取得したデータをDOM解析するために使用する。

例えばこんな感じで使用出来る。

#!/usr/bin/env node

var request = require("request");
var cheerio = require("cheerio");

var request_url = "http://www.google.com";

request({url: request_url}, function(error, response, body)
{
  if (!error && response.statusCode == 200) {
    $ = cheerio.load(body);

    var url = response.request.href;
    var title = $("title").text();

    console.log(url);
    console.log(title);
  } else {
    console.log(response.statusCode);
  }
});

Related Posts

  • <!--:ja-->[node.js]食べログAPI から得られたレストラン情報をmongoDBに入れる<!--:--><!--:en-->[node.js]Insert restaurant information from TabelogAPI to mongoDB<!--:-->2013年8月25日 [node.js]食べログAPI から得られたレストラン情報をmongoDBに入れる やりたいこと タイトルのそのまま。 コンフィグファイル(yaml)使ったりログも書いたりしているから忘れないようにメモ。 ソースコード 使ったライブラリはこんな感じ。 cheerio : 食べログAPI […]
  • <!--:ja-->[node.js]jQuery Deferred を使ってみる<!--:--><!--:en-->[node.js]Try to use jQuery Deferred<!--:-->2013年9月8日 [node.js]jQuery Deferred を使ってみる やりたいこと jQuery […]
  • 2013年6月27日 [Javascript][Node.js][express]mongodbと連携させてみる mongodbを使って値の保存、読み出しを使ったプログラムを作成してみる。 まずは expressを使用してひな形を作成する。 次にmongodbとの接続に使用するモデルを作成する。 […]
  • 2013年8月4日 [node.js][express]RESTful API part2 やりたいこと mongoDBとつなげてGETパラメタやDBのデータ内容に応じて出力を変える。 ソース […]
  • 2013年6月2日 [Backbonejs][Javascript]インストール Backbone.jsの準備 まずは必要なライブラリのダウンロード。 次は、テスト用のhtmlとjsを作成。 動作確認して準備OK! coffee scriptを加えてみる ここを 参考にしてnpmを入れる。 […]
  • 2013年6月23日 [Javascript][node.js]jsdomを使ってみる node.js上でjqueryを使うにはjsdomとdomToHtmlを利用するらしい。 それらを利用してjqeuryでbody以下にp要素を新たに追加するコードを書いてみた。 コンテンツとして使用するhtmlファイルは以下。 […]
Pocket

You can follow any responses to this entry through the RSS 2.0 feed. Both comments and pings are currently closed.