【知っておきたい】LLMとは？生成AIとどういう関係？（図解で簡単にわかりやすく解説）

キノクエストの登録・詳細はこちらから▶︎https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=rK5jL-KNFi0_gaiyo_kq_service_a/

プログラミング学習「キノクエスト」なら、Pythonの学習も、ITスキルアップも、生成AIも、学習し放題。
ハンズオンで実務にすぐ応用できる問題もあります。
✅生成AIを使って業務削減をしたい方
✅DXに関する知識を習得したい方
✅ITパスポート試験を受けたい方
✅業務を自動化したい方
✅AIを使った分析や予測をしたい方

▼法人向けDX人材育成ならこちらから
【初回無料相談受け付けフォーム】
https://kino-code.com/contact-form/?utm_source=youtube.com&utm_medium=referral&utm_campaign=rK5jL-KNFi0_gaiyo_contact-form/

【キノクエストforBizサービス内容について】
https://kino-code.com/kinoquest-forbiz-1/?utm_source=youtube.com&utm_medium=referral&utm_campaign=rK5jL-KNFi0_gaiyo_kinoquest-forb

▼目次
00:00 ダイジェスト
00:35 この動画でわかること
01:44 LLMとは？
02:06 言語モデルの仕組み
03:08 なぜ大規模か？
07:57 LLMが注目を浴びた理由
19:18 LLMの弱点
11:57 LLMの課題の解決策
14:25 まとめ
15:07 キノクエスト、キノクエストforBizで学習しませんか？

▼関連動画
【今さら聞けない？】生成AIとは？AIとどう違うの？（図解で簡単にわかりやすく解説）

【今さら聞けない？】生成AIとは？AIとどう違うの？（図解で簡単にわかりやすく解説）

【生成AIを使いこなしたい人必見】プロンプトエンジニアリング超入門講座はじめます！

【プロンプトエンジニアリング超入門】02.プロンプトエンジニアリングがなぜ大切か？学ぶメリット5つ

【プロンプトエンジニアリング超入門】02.プロンプトエンジニアリングがなぜ大切か？学ぶ5つのメリット

【プロンプトエンジニアリング超入門】03.プロンプトエンジニアリングでできる8つのこと｜具体例で紹介

【プロンプトエンジニアリング超入門】04.プロンプトの基本形｜今すぐ使える「上達するコツ」

【プロンプトエンジニアリング超入門】05.効果的なプロンプトを作る4つのポイント

【プロンプトエンジニアリング超入門】06.プロンプトは明確さが命！生成AIにとっての明確な指示とは？

【プロンプトエンジニアリング超入門】06.生成AIへの指示は『明確さ』が命｜キャラクターや役割を設定、手順を指定、希望する長さを指定

【プロンプトエンジニアリング超入門】07.生成AIの性能を引き出す『情報提供』の極意｜提供した情報をもとに回答、引用を含めて回答

【プロンプトエンジニアリング超入門】08.複雑な内容でも生成AIの精度が上がるテクニック｜長い会話では一度要約、複雑なタスクを小さなタスクに分ける

【プロンプトエンジニアリング超入門】09.生成AIに考える時間を与えるテクニック｜解決策を考えさせる、見落としがないか確認する

【プロンプトエンジニアリング超入門】10.生成AIの精度を上げる「論文で証明された4つのテクニック」｜Few-shot、思考の連鎖、自己整合性、思考の木

【完全版】DX超入門講座合併版｜DXの基本的な部分をたった2時間で学べます

【保存版】Pythonでできることを100個以上紹介！プログラミングでやりたいことが見つかる！

【完全版】Pythonでできること174例と学習ロードマップを徹底解説！（仕事の自動化、データ分析、機械学習、Webアプリ開発）

▼動画で話している内容
みなさん、LLMという単語は知っていますか？
知っている方、感度が高いです。
LLMは、生成AIの土台となる技術です。
今や仕事や日常生活に欠かせないツールになりつつ生成AI。
現代の教養のためにも生成AIの土台となるLLMについて学んでいってください。
この動画は、次のような疑問を解消します。

– LLM（大規模言語モデル）って何だろう？
– LLMは何ができるの？
– LLMの課題や弱点はどう解決するの？

難しい理論や数式は抜きに、LLMについてわかりやすく解説をします。
この動画をみると、これからの時代の教養を身につけることができ、自分でカスタマイズしたLLMを構築する土台を身につけられます。

ITやDXについての学びを発信する「キノコード」です。
私は紀貫之の子孫ですが、文章ではなくコードを書いているので「キノコード」と名乗っています。
ぜひ、チャンネル登録をお願いします。

## LLMとは？
冒頭でも説明をしたように、LLMは、生成AIの土台となる技術です。
LLMは、Large Language Modelsの略です。
日本語に訳すと、大規模言語モデルです。
大規模な言語のモデルという意味です。
でも、言語のモデルってなんでしょうか？

## 言語モデルの仕組み
図で説明をします。
例えば、言語モデルが「時は金なり」という文章を生成する場合のことを考えましょう。
この図は、生成AIが、次に来る言葉を選ぶ仕組みを簡単に表現たものです。
例えば、「時」という単語が出たら、その次に来る可能性がある言葉として「は」「が」「です」などが候補になります。
それぞれの確率（％）が示されており、確率が高いほど、その言葉が選ばれる可能性が高くなります。
同じように、「は」という単語が来た場合、その次に来る候補として「金」「財産」「資産」「宝」などが考えられます。
また、その後に「なり」「です」「である」といった述語が続くことで、文章全体が完成されます。
このように、言語モデルは「次に来る言葉」を確率的に選びながら文章を作り上げる仕組みです。

## なぜ大規模か？
では、なぜ大規模言語モデルに、大規模とつくのでしょうか？
理由は3つあります。

### データ量
1つめは、データ量です。つまり、「膨大な言葉を学習していること」です。
どのぐらいの量の言葉を学習しているのか説明をするのが、トークンという概念です。
トークンとは、ざっくりいうと、文章を構成する単語や記号などの最小単位のことです。
英語の本は、一冊あたり5万～8万語程度の文量が一般的です。
2020年に発表されたGPT-3は、約5000億トークンを使用したと公表しています。
つまり、1冊あたり5万語と仮定すると、約1000万冊に相当します。
国立国会図書館は、国内最大の図書館として本や資料を収蔵しています。
2022年度時点での所蔵総数は、書籍や雑誌、新聞、電子資料などを含めて約4400万点にのぼると公表されています。
GPT-3で1000万冊ですとお伝えしました。
GPT-4は、正式には公表されていませんが、GPT-3の数倍にあたる1兆～数兆トークン規模で学習されたと言われています。
1兆トークンを1冊あたり5万語と仮定すると、2000万冊分の書籍に相当します。
現在のOpenAIの生成AIは、国立国会図書館の所蔵点数である約4400万点を大きく超えていると考えられます。
約4400万点の本を読んだ人間は誰1人としていないでしょう。
それだけの量を学習したLLMがどれほどの知識を持っているかは、想像に難くありません。

### 計算量
2つめは、膨大なデータを計算するために、大規模な計算をしているということです。
この計算には、GPUやTPUといった非常に高価で高性能な半導体が用いられます。
この高性能なGPUなどは1台あたり数百万円以上することがあります。
私の調べた限りだと、NVIDIAのA800のメモリ40GBで260万円、H100のメモリ94GBで540万円でした。
大規模なLLMの計算には、数百台から数万台規模のGPUが使用されます。
例えば、GPT-3の学習には、約1万台のGPUが使用されたと言われています。
そして、この計算には、莫大な電気代がかかります。
LLMを開発しているGAFAMなどは、電気の確保に取り組んでいます。例えば、Amazonは小型原子力発電に投資し、Googleは米国内で再生可能エネルギーの発電所の建設計画に参画すると発表しています。
GPT-4の開発には、GPUの費用、電気代などを含めて、100億円以上かかったと言われています。

### パラメータ数
最後に、LLMが「大規模」である理由は、パラメーターの数です。
パラメーターとは、言葉や文脈を学習するための「設定項目」のようなものです。
例えば、エアコンのリモコンには、温度や風量を設定するボタンがありますよね。その設定ボタンが多いほど、細かい調整が可能になります。
同じように、LLMの中には、言葉の関係性や文脈を調整する数十億から数千億もの設定項目が存在しており、主要な設定項目が複雑に組み合わさっています。

このパラメーターが多いほど、モデルはより賢くなり、自然な文章を作れるようになります。
GPT-1で約1.17億のパラメータ。
GPT-2で最大15億（1.5B）
GPT-3で最大1750億（175B）
GPT-4は、パラメータが約1兆を超えると言われています。

まとめます。
言語モデルは「次に来る言葉」を確率的に選びながら文章を作り上げる仕組みと説明しました。
大規模言語モデルとは、膨大なデータを学び、多くのパラメーターを使って、文章を自動で作るAIの仕組みです。

最新の生成AIは、人間の博士レベルを超える賢さをもっていると言われています。
今後、LLMの技術はさらに進化をして、人間社会を変えていくことになるでしょう。

（続く）

▼書き起こしブログページ
準備中

▼自己紹介
ブログに自己紹介を書いております。
https://kino-code.com/profile/

▼SNS
Twitter : https://twitter.com/kino_code/likes
Facebook : https://www.facebook.com/キノコード -105693727500005/
Website : https://kino-code.com/

#生成ai #gpt #llm