Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜Webスクレイピングのやり方をわかりやすく解説

この動画では、Pythonでのスクレイピングについて説明しました。初心者の方でもスクレイピングがわかるような説明を心がけました。プログラミング初心者の方、プログラミングを覚えたい方、基礎を勉強したけど使いどころに困っている方が、業務自動化を始めるきっかけになれば幸いです。

※注意
WebスクレイピングをするURLが変更になりました。
https://kino-code.work/

▼目次
00:00 挨拶&はじめに
04:32 具体的なケース その1
06:01 実行環境と環境構築
06:41 ライブラリ、パッケージ、モジュール
07:32 seleniumとbeautifulsoupについて
09:26 ChromeDriverダウンロード
11:31 ライブラリのインポート
13:08 GoogleChromeを自動起動
14:09 ページへ移動
15:28 HTMLの要素の調べ方
16:34 テキストの入力
18:34 クリックの動作
20:21 xpathでの要素の指定
22:25 pyファイルで実行
23:22 ソースコードの実行
25:07 具体的なケース その2
26:23 beautifulsoup4のインポート
26:40 urllib.requestのインポート
27:25 beautifulsoupを使ってHTML解析
29:29 タイトル取得
30:03 aタグ取得
31:49 URL取得
32:21 取得したデータのリスト化
33:31 DataFrameへ変換
34:27 欠損値除外
35:16 特定の文字が含まれているか行を抽出
37:08 CSVへの書き込み
37:36 pyファイルでの実行
38:51 Webスクレイピングの注意点

▼Homebrew
https://brew.sh/index_ja

▼関連動画
Pandas超入門講座

Python超入門講座

Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕事がおわるプログラミング活用術

Pythonで面倒なExcelの仕事を自動化しよう( 第二弾 )｜ExcelとPythonでのやり方を比較しながらわかりやすく解説

Pythonで面倒なExcelの仕事を自動化しよう( 第三弾 )｜「売上予測分析」や「グラフ付きレポート」を完全自動作成

Pythonで株価のデータ分析｜株価分析を通してPythonでのデータ分析を学びましょう

▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート
※転職5回。司法試験の失敗後、非正規雇用の年収240万から750万にした経験あり。

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook : https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/
Website : https://kino-code.com/

▼文字書き起こし
こんにちは。キノコードです。
皆さんは会社でブラウザを使ってデータ収集やデータダウンロードの仕事はありませんか？
例えば、自分の会社の特定のサイトからいって、データをコピーしてエクセルに貼り付け。また違うページにいきデータをコピー。それをExcelに貼り付け。などといったことです。
他にも、特定の会員サイトにログインをして、レポート作成のためにCSVやエクセルデータをダウンロード。ダウンロードしたファイルをコピーしてまたExcelに貼り付け。といった行為です。
まさに私がプログラミングを覚える前、やっていたことです。
例えば、毎日1時間の業務であれば、あなたの時給が1500円だとすると毎月3万円。社会保険やその他の経費も含めると5万円以上でしょうか。つまり、年間60万円以上のコストカットになります。見方を変えれば、60万円の利益を作っていることになります。したがって、営業利益が20%の会社なら、毎年300万円の売上を作っていることになります。
Pythonを使えばブラウザを使って、データ収集やデータダウンロードなどの業務を自動化できます。
このようにウェブサイトからデータを取得する技術のことを「ウェブスクレイピング」といいます。
Pythonは、このウェブスクレイピングが得意です。
なぜなら、Pythonにはウェブスクレピングに必要なライブラリが豊富にあるからです。
他にも、Pythonを使えば、エクセルを操作したりデータを入力したりすることもできます。また、Gmailなどのメールを使って送信もできます。
したがって、あなたのやっている仕事の一部を、完全自動化もできるかもしれません。
言い方を変えると、Pythonを覚えれば、今流行のRPA、ロボティック・プロセス・オートメーションが実現可能です。
しかも、有料ツールを使う必要はなく、Pythonは完全無料です。細かい調整も可能です。
今のあなたご自身のスキルに、RPAのスキルを付け加えれば、人材としての価値は高まり、年収があがるかもしれません。私は現に、色々な業務を効率化して、会社から評価をしてもらえました。
このレッスンを通して、300万円を売り上げるプログラムを作ってみましょう。
また、実際にご自身の業務を効率化させて、会社での評価につなげましょう。
この動画は、ブラウザを使っての単純作業を効率化したい方、プログラミングを勉強しようと思っている方、プログラミングの基本は勉強したけど使いどころに困っている方に、お役立ちできればと思い動画を作成しました。
この動画では、Pythonによるウェブスクレイピングをデモストレーションのような形でお見せします。
動画で使ったソースコードもダウンロードできますので、それをちょっとイジってカスタマイズすることもできます。
この動画だけでは、カスタマイズできない方や、もっと詳しく勉強したい方のために、
Pandas入門コースというレッスン動画も作りました。
Python超入門コースとPandas超入門コースを学習すれば、業務効率化や自動化が可能になるでしょう。
Python超入門コースとPandas超入門コースのURLを概要欄に貼っておきます。
ご興味ある方はご覧ください。
Pythonを使った業務効率化の動画を今後どんどん出していく予定なので、「チャンネル登録」ボタンを押しておいてくださいね。
新しい動画が更新されたときに通知がいくように、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。
それでは本編にいってみましょう！
はじめに、ブラウザを自動操作して業務効率化するケースは、どんなケースでしょうか？
例えば、このようなケースをイメージしてください。
飲食店レビューサイトを複数運営している会社Aがあったとします。
会社Aに勤めるBさんは、毎日、出勤をしてから勤怠システムにログインをしてボタンをクリックしています。
その後、そのBさんは、昨日のアクセス数を調べるために、自社のサイトにログインしてアクセスログをダウンロードをしています。
会社Aは複数サイトを運営しているため、複数のサイトにログインして、アクセスログをダウンロードしています。
もしこの一連のデータ収集業務を自動化できたら、毎月どれくらいの時間を減らすことができるでしょうか。
例えば、1日1時間かかっているとしたら、月20時間くらい、年間で200時間以上くらい減らすことができます。
年間だと約1ヶ月分の労働時間です。
もし自動化できれば、他の業務ができたり、早く帰れたり、有給を取得したりできますね。
この面倒な作業はすべてPythonにやってもらいましょう
（続きは下記のブログにて）

▼文字書き起こしブログ
https://kino-code.com/python_automation_-web_scraping/

▼タグ
#Pythonでスクレイピング #Python自動化 #PythonでRPA #Pythonできること

▼お仕事のお問い合わせ
キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。
お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。