【Python】スクレイピングを利用して競馬データを収集する【機械学習】

スクレイピング

ソースコードはこちら。変更点やよくあるエラーの対処法も載せています。
→https://zenn.dev/dijzpeb/books/6bb4672104889fc17829?utm_source=youtube&utm_medium=social&utm_campaign=main_1

【メンバーシップ】
入会して頂くと、動画の内容についての質問など、優先的に対応します!
https://www.youtube.com/channel/UCDzwXAWu1zIfJuPTTZyWthw/join

競馬予想AIシリーズ第1回。pandasのread_htmlを使って、netkeiba.comから2019年の全レース結果のデータをスクレイピングします。
【目次】
0:00 pandasを使って1行でスクレイピングする方法
4:50 スクレイピングしたデータを辞書型に入れる理由
10:30 ‘1’→’01’と桁を合わせる方法(zfill)
13:40 ページ数が膨大な時、どうすれば良いか?(try~exceptの使い方)
15:30 重い処理がどのくらい終わっているか知る方法(tqdmとは?)
17:01 continue文の使い方
25:09 辞書型をDataFrame型に変換して見やすくする方法
27:42 3000件のデータを1つにまとめる方法(pd.concat)
29:54 pandasのデータを1行で保存する方法(pickle)

【他の動画】
次の動画:「正規表現を使って競馬データを加工する」

【競馬予想AI】Pythonで正規表現を使って競馬データを加工する【機械学習】

ロジスティック回帰で競馬予想してみた

【機械学習】ロジスティック回帰で競馬予想してみた【Python】

ランダムフォレスト・勾配ブースティング木で競馬予想してみた

【機械学習】lightgbm・ランダムフォレストで競馬予想【Python】

【メールアドレス】
dijzpeb2@gmail.com

質問、要望などあればぜひコメントしてください!

コメント

  1. 競馬予想で始めるデータ分析・機械学習 より:

    ソースコードはこちら。変更点やよくあるエラーの対処法も載せています。
    →https://zenn.dev/dijzpeb/books/6bb4672104889fc17829?utm_source=youtube&utm_medium=social&utm_campaign=main_1

    0:19 pandasを使って1行でスクレイピングする方法
    4:50 スクレイピングしたデータを辞書型に入れる理由
    10:30 ‘1’→’01’と桁を合わせる方法(zfill)
    13:40 ページ数が膨大な時、どうすれば良いか?(try~exceptの使い方)
    15:30 重い処理がどのくらい終わっているか知る方法(tqdmとは?)
    17:01 continue文の使い方
    25:09 辞書型をDataFrame型に変換して見やすくする方法
    27:42 3000件のデータを1つにまとめる方法(pd.concat)
    29:54 pandasのデータを1行で保存する方法(pickle)

    【他の動画】
    次の動画:「正規表現を使って競馬データを加工する」
    https://www.youtube.com/watch?v=FPnzEgKBy8w

    ロジスティック回帰で競馬予想してみた
    https://youtu.be/zxn61TkPYV8

    ランダムフォレスト・勾配ブースティング木で競馬予想してみた
    https://youtu.be/TbcEMHzwdcA

  2. おしん より:

    控えめに言って神動画です。
    やってみたいけど調べながらで時間を膨大に消費していたので、非常に勉強になります。

    応援の意味も込めて、チャンネル登録させていただきます!

  3. さひ より:

    初心者ですみませんが、質問です。。

    race id listをfor分で回すことまではできたのですが
    実際に実行すると
    x(children=(HTML(value=”), FloatProgress(value=0.0, max=4800.0), HTML(value=”)))

    と出てきました。エラーは起きてないと思うんですがどのような対処をしたら良いでしょうか?

タイトルとURLをコピーしました