プログラミング + アカデミック + 何か面白いこと。 記載されているものは基本的に私が所属する団体とは関係がありません。

  1. プログラミング
  2. 0 view

[node.js]webサイトのクローリング用ライブラリ cheerio

Pocket

以下のライブラリを利用する。

npm install request
npm install cheerio

requestは対象URLからのデータ取得に用いて、
cheerioはその取得したデータをDOM解析するために使用する。

例えばこんな感じで使用出来る。

#!/usr/bin/env node

var request = require("request");
var cheerio = require("cheerio");

var request_url = "http://www.google.com";

request({url: request_url}, function(error, response, body)
{
  if (!error && response.statusCode == 200) {
    $ = cheerio.load(body);

    var url = response.request.href;
    var title = $("title").text();

    console.log(url);
    console.log(title);
  } else {
    console.log(response.statusCode);
  }
});
Pocket

プログラミングの最近記事

  1. sbt1.0.0のインストールとサンプル実行

  2. [機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った

  3. [Node.js]バッチスクリプトの書き方

  4. [Play][Scala]PlayFrameworkでリクエスト駆動のバッチを作る

  5. [OpenCV][Ruby]Webページのデザイン崩れ確認の自動化

関連記事

PAGE TOP