Tech Tips

  1. プログラミング
  2. 1518 view

[node.js]webサイトのクローリング用ライブラリ cheerio

以下のライブラリを利用する。
npm install request
npm install cheerio
requestは対象URLからのデータ取得に用いて、
cheerioはその取得したデータをDOM解析するために使用する。 例えばこんな感じで使用出来る。
#!/usr/bin/env node

var request = require("request");
var cheerio = require("cheerio");

var request_url = "http://www.google.com";

request({url: request_url}, function(error, response, body)
{
  if (!error && response.statusCode == 200) {
    $ = cheerio.load(body);

    var url = response.request.href;
    var title = $("title").text();

    console.log(url);
    console.log(title);
  } else {
    console.log(response.statusCode);
  }
});

プログラミングの最近記事

  1. PlatformIO IDE for VSCode を使用して VSCode で Ardu…

  2. ROS Docker イメージで発生した GPG error の解消方法

  3. Streamlit で訪れた国を色づけした世界地図を作成できるアプリケーションを作成してみ…

  4. M5Stack Core2 for AWS – ESP32 IoT開発キットで…

  5. D3.js v7 で点・線・テキスト・ツールチップ・ズームを設定する方法

関連記事

PAGE TOP