jsoupを使いWEBサイトをスクレイピングするプログラムをJavaで創る

やりたいこと

jsoupを使い、WEBサイトをスクレイピングするプログラムの基礎を学習したかった。

追々、実現したいこと

• ショッピングサイトや価格サイトで商品情報を収集する
• ニュースサイトで自分が興味あるキーワードに合致するニュースを収集する
• オークションサイトで目当て商品の情報を収集する
• 近所の映画館の上映スケジュールを収集する

など

注意点

スクレイピングプログラムは、性質上、一回の実行で大量のリクエストを発行することが可能。
そのため、実行周期やリクエスト数によってはDoS攻撃とみなされる場合があるので、節度を持った運用が必要。

実装

pom.xml
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.13.1</version> </dependency>

ScrapingDemo.java
package jp.ne.yonem; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.select.Elements; import org.jsoup.select.Evaluator; import java.io.IOException; public class ScrapingDemo { public static void main(String[] args) { try { System.out.println("Google検索で、\"jsoup\"を検索した結果を取得"); Document document = Jsoup.connect("https://www.google.com/search?q=jsoup").get(); System.out.println(); System.out.println("検索結果からタグ(\"h3\")の要素を取得"); Elements tag = document.select(new Evaluator.Tag("h3")); tag.stream().forEach(System.out::println); System.out.println(); System.out.println("検索結果からクラス定義(\"LC20lb DKV0Md\")の要素を取得"); Elements clazz = document.select(new Evaluator.Class("LC20lb DKV0Md")); clazz.stream().forEach(System.out::println); } catch (IOException e) { e.printStackTrace(); } } }

実行結果

最初の抽出では、検索結果から"h3"タグの要素のみを抽出している。
要素は順不同で抽出しており、最後の2件については、検索結果のタイトルとは関係ない要素を抽出してしまっている。
2回目の抽出で、classが"LC20lb DKV0Md"の要素のみを抽出している。
"h3"タグの抽出結果から、更にclassが"LC20lb DKV0Md"の要素に絞られて抽出されているのが分かる。

Google検索で、"jsoup"を検索した結果を取得 検索結果からタグ("h3")の要素を取得 <h3 class="LC20lb DKV0Md">jsoup使い方メモ - Qiita</h3> <h3 class="LC20lb DKV0Md">jsoupによるWebサイトのスクレイピング - Qiita</h3> <h3 class="LC20lb DKV0Md">jsoup Java HTML Parser, with the best of HTML5 DOM ...</h3> <h3 class="LC20lb DKV0Md">Jsoupを使ってJavaでHTMLを解析する - CodeFlow</h3> <h3 class="LC20lb DKV0Md">jQueryのように操作できる｢jsoup｣ | Java好き</h3> <h3 class="LC20lb DKV0Md">Javaのjsoupライブラリを利用してスクレイピングを実行する ...</h3> <h3 class="LC20lb DKV0Md">JSOUPを使ってHTMLをパースする | TechBooster</h3> <h3 class="LC20lb DKV0Md">jsoup HTML解析ライブラリ - Oracle</h3> <h3 class="LC20lb DKV0Md">【Java】 JsoupライブラリによるHTML解析 Jsoupの使い方 ...</h3> <h3 class="LC20lb DKV0Md">Javaでjsoupを使ってスクレイピングを行う方法-jsoup ...</h3> <h3 class="med dPAwzb" style="text-align:left" aria-level="2" role="heading">jsoupに関連する検索キーワード</h3> <h3 class="Uo8X3b">画像</h3> 検索結果からクラス定義("LC20lb DKV0Md")の要素を取得 <h3 class="LC20lb DKV0Md">jsoup使い方メモ - Qiita</h3> <h3 class="LC20lb DKV0Md">jsoupによるWebサイトのスクレイピング - Qiita</h3> <h3 class="LC20lb DKV0Md">jsoup Java HTML Parser, with the best of HTML5 DOM ...</h3> <h3 class="LC20lb DKV0Md">Jsoupを使ってJavaでHTMLを解析する - CodeFlow</h3> <h3 class="LC20lb DKV0Md">jQueryのように操作できる｢jsoup｣ | Java好き</h3> <h3 class="LC20lb DKV0Md">Javaのjsoupライブラリを利用してスクレイピングを実行する ...</h3> <h3 class="LC20lb DKV0Md">JSOUPを使ってHTMLをパースする | TechBooster</h3> <h3 class="LC20lb DKV0Md">jsoup HTML解析ライブラリ - Oracle</h3> <h3 class="LC20lb DKV0Md">【Java】 JsoupライブラリによるHTML解析 Jsoupの使い方 ...</h3> <h3 class="LC20lb DKV0Md">Javaでjsoupを使ってスクレイピングを行う方法-jsoup ...</h3> プロセスは終了コード 0 で完了しました