【Python × スクレイピング入門⑧】複数ページから情報取得しよう!【実践OK!】
※現在、質問・相談コメントの返信は対応しておりません。ご承知おきくださいませ🙇🏻♂️
▼ソースコード
https://github.com/hayatasuuu/ScrapingBeginner
スクレイピング講座の第8回目になります!
Pythonは、基本的に副業で稼ぐには不向きです。
でもスクレイピングは唯一、副業で稼ぐことが可能なスキルなので、一緒に頑張っていきましょう(`・ω・´)!
≪この動画で学べる内容≫
①複数ページから情報取得する方法が分かる
②スクレイピングで自分が欲しい情報を取得できるようになる
③time.sleep()を使った実践的なスクレイピング知識が身に付く
▼スクレイピング入門〜再生リスト〜
■□■□■□■□■□■□■□■□■□■□
▼Pythonの学習が済んでいない方はこちら!
Python入門【2020年版】:https://www.youtube.com/playlist?list=PL4Y-mUWLK2t2rISQza73yNiz6_8HTaQiY
▼Anacondaのインストール方法(Windows)
テキスト:https://tech-diary.net/anaconda-install-windows/
■□■□■□■□■□■□■□■□■□■□
▽Twitter
Tweets by hayatasuuu
▽Blog
https://tech-diary.net/
▽stand.fm(ラジオ)
https://stand.fm/channels/5f812ac1f04555115d597948
▼経歴
現在:フリーランスエンジニア(Python, GCP)
過去:大手SIerで機械学習系エンジニア&プログラミングスクール講師→大手金融機関(連結3万人以上)でデータサイエンティスト(Python, AWS)→スタートアップでWebエンジニア(Golang, ReactJS)→現在に至る
コメント
はやたす先生
複数ページからの情報取得に関連し、以下ご質問です。
講義に従い、複数ページからの情報取得を行い、3頁目の(最終)物件情報を取得できたことをd_list[-1]で確認することができました。
一方、d_listの大きさが、以下のように表現され、物件情報の明細件数を還元してくれません。(0→1→2と増加するのみ)
(取得した頁数を還元しているように推測されます)
https://gyazo.com/167e2b5e918c1afd6e6789d0f62bbe49
何が要因で斯かる不具合が起きうるか、推測されることがありましたらご示唆賜れますと幸甚です。
なお、講義冒頭部分に記載されいた「1頁分のコードを取得するコード」を実行しておりました。
同コードにも、d_list = []が入っており、(このd_list = []の)複数回定義が、要因だろうか、と推測もしますものの。
一応、最終明細まで取得できたので、無問題ながら、モヤっと感がやや残りますため、原因を解明できましたら幸甚です。
d_listの大きさについてですが1ページ目がなぜ0になるにでしょうか?また僕がやった際には52とでました。HPも日々更新されていると思いますので、多少のずれはあると思いますが…
スクレイピングの解説もわかりやすく、実践的で面白いです。感謝します!