「Webサイト上の『もっと見る』ボタンを自動で押しながらデータを集めたい」 「アコーディオンメニュー(折りたたみ)を開いた中身をスクレイピングしたい」
そんな時に大活躍するのが、Google ChromeやFirefoxの定番スクレイピング拡張機能『Web Scraper』の「Element click(要素クリック)」機能です。
しかし、設定画面を開くと英語の項目がズラリと並んでおり、「どこに何を入力すればいいの?」と迷ってしまう方も多いのではないでしょうか。
そこで今回は、Element clickの設定画面にある各項目の意味と、失敗しない設定方法をわかりやすく解説します!
1. Element clickの設定項目一覧
Element clickの設定画面にある全10項目について、上から順番に解説していきます。
① Id(識別子)
役割: この設定につける「名前」です。
書き方: 後から見返したときに、何を取得・クリックするための設定なのかがひと目でわかる名前を付けましょう。半角英数字(アンダースコア
_も使用可)で入力します。
② Type(タイプ)
役割: スクレイピングの挙動の種類を指定します。
書き方: 今回はボタンやリンクをクリックさせたいので、一覧から
Element clickを選択します。
③ Selector(セレクター)
役割: 最終的に抽出したいデータ(テキストや画像など)を包んでいる親要素(塊)を指定します。
書き方:
Selectボタンを押し、ブラウザ上で抽出したいデータ全体を囲むエリアをクリックして指定します。
④ Click selector(クリックセレクター)
役割: スクレイパーに「ページ内のどこをクリックさせるか」を指定します。
書き方:
Selectボタンを押し、ブラウザ上にある「もっと見る」ボタンや「展開ボタン(▼マークなど)」を直接クリックして指定します。
⑤ Click type(クリックのタイプ)
役割: ボタンをどのようにクリックするか(繰り返しの挙動)を設定します。
主な使い分け:
Click once: 1回だけクリックすればOKな場合(タブの切り替えや、1回で開くアコーディオンメニューなど)。
Click more: 「もっと見る」ボタンのように、新しいデータが出なくなるまで何度も連打してほしい場合。
⑥ Click element uniqueness(クリック要素の固有性)
役割: 同じボタンを重複してクリックしないよう、何を基準に「新しいボタン」と判定するかを決めます。
書き方: 基本的にはデフォルトの
unique CSS Selector(HTMLの構造が違えば別物とみなす)やunique Text(文字が違えば別物とみなす)のままで問題ありません。
⑦ Multiple(複数選択フラグ)
役割: クリックする対象(または抽出する対象)がページ内に複数あるかどうかを指定します。
書き方: ページ内に同じようなクリック対象(例:一覧の中に折りたたみメニューがいくつも並んでいる)がある場合は、必ずチェックを入れます。
⑧ Discard initial elements(初期要素の破棄)
役割: ボタンをクリックする「前」から、すでにページに表示されているデータを抽出に含めるかどうかを設定します。
書き方: 基本的には
Never discard(破棄しない) のままでOKです。クリックして新しく出てきたデータ「だけ」が欲しい場合のみ、設定を変更します。
⑨ Delay (ms)(遅延時間)
役割: ボタンをクリックした後、データが読み込まれるまで何ミリ秒待つかを指定します(1000ms = 1秒)。
書き方: サイトの読み込み速度に合わせて調整します。短すぎるとデータが読み込まれる前に次の処理に進んでしまい、エラーの原因になります。安全にいきたい場合は
2000(2秒)程度に設定するのがおすすめです。
⑩ Parent Selectors(親セレクター)
役割: このクリック動作をどの階層(どのページ)のときに実行するかを指定します。
書き方: サイトを開いた直後の最初のページで実行したい場合は
_rootを選択します。「別のリンクを踏んで移動した先」で実行したい場合は、その移動を行ったセレクター名を指定します。
2. 設定を成功させるためのポイント
Element clickを使う際、特につまずきやすいポイントを2つ紹介します。
📌 ポイント1:Delay(遅延)はケチらない スクレイピングの速度を上げたくてDelayを短く(例:500msなど)したくなりますが、通信環境によってはデータの読み込みが間に合わず、スクレイピングが途中で止まってしまいます。少し遅いと感じるくらい(1500〜2000ms)が最も安定します。
📌 ポイント2:SelectorとClick selectorの違いを意識する
Selector: 欲しいデータ(テキストなど)が入っている「箱」
Click selector: 押さなきゃいけない「ボタン」
この2つを混同するとうまく動きません。「何をクリックさせて、どこのデータを取るか」を整理して指定しましょう。
まとめ:設定が終わったら保存を忘れずに!
すべての入力が終わったら、最後に左下にある Save selector ボタンを押して設定を保存してください。
コメント