Webページから特定の情報を収集するスクレイピング処理は、時間経過とともに更新されるデータ(天気・株価・ニュースなど)では定期的に実行したいケースが多くあります。Pythonでは、スクレイピング自体をモジュール化しておき、scheduleライブラリを用いることで、指定した時間や間隔ごとに自動でスクレイピングを実行する仕組みを簡単に構築できます。この動画では、scraping2.html を対象としたスクレイピングを、毎日や一定時間おきに実行する方法を例示し、ターミナル上での利用や無限ループによるジョブ管理の手法を解説します。
演習で学ぶプログラミング:@puchi-engineer
・スクレイピングを定期的に実行する(schedule)
https://www.study-pg.com/intro-python5/scraping-schedule/
コメント