AIの手習い事始め その2, Texts and planned by Yoshio Okamoto / Codes of PDF written by Claude Opus5.5 (Anthropic) Octber 23, 2026
AIのしくみを手っ取り早く学ぶのに最適な動画シリーズ.ゆっくり動画ではあるが,元の研究に忠実に数式を用いずにうまい喩えで再現している.下記本格的な勉強と平行して学ぶとわかりやすい.参考文献も示しているのは凄い!
LLMのしくみ https://www.youtube.com/watch?v=kghUoC7VFug
Ref.https://www.anthropic.com/research/golden-gate-claude
Bitter Lesson という話 https://www.youtube.com/watch?v=ulMIRuGdy40
Ref.http://www.incompleteideas.net/IncIdeas/BitterLesson.html
https://deepmind.google/blog/alphazero-shedding-new-light-on-chess-shogi-and-go/
https://arxiv.org/pdf/1712.01815v1
量子化"とは何か? https://www.youtube.com/watch?v=vmEZpk5Ujaw
Ref. https://arxiv.org/pdf/2402.17764v1
なぜAIの中身は"作った本人"にも読めないのか https://www.youtube.com/watch?v=U0qllFgCu0Y
前回のその1,で扱った microgpt をさらに極める.
microgptはもっとも簡単なLLMと言っても,上記例に挙げた名前のファイルは全部で32033個もある.この計算過程をすべて見るのは大変なので,さらにこの入力ファイルの名前の個数をたった4個に制限する!なんでこんなややわかりにくい名前を採用したかは下記説明書をみてほしい.
つまり世界でもっとも簡単なLLMの内部計算をさらに最小の入力に制限して,裸にする試み!
1.計算の実態.
入力する名前の数をたった4個(ミニマム例とよぶことにする)に制限して,その計算過程を全部見る試み.
ミニマム例の名前
emma
ava
mia
anna
しかもその名前はわざとAIが間違えやすく迷いやすい上記の名前のセットを採用した(名前の選択理由も下記解説書に詳しい).
その全過程は長くなるので,以下の解説にまとめた.これはまだ試行版なので,様々な意見をもらって改訂したいと考えている.
AIに解説を作らせる条件として,"高校生や一般の人でもわかる" という条件を付加した.それでも最初はとっつきにくいと思うが挑戦してほしい.
さらに新しいバージョンの解説書を試作しました(10/25).microgptのしくみや計算内容のわかりやすい教科書を目指しています.
たった4個の名前で学習するmicrogpt解説書(統合版)
https://seagull.stars.ne.jp/2026_LLM/microgpt3/microgpt_complete_ja.pdf
読まれたら内容とか,コメントなどをお寄せいただけるとありがたいです.(yossi.okamotoあっとマークgmail.com)
たった4個の名前で学習するmicrogpt解説書(試行版,初期バージョン)
https://seagull.stars.ne.jp/2026_LLM/microgpt2/Dissecting_microgpt_ja_v0.1.pdf
2.ほかにLLMに至る機械学習,深層学習について,Claudeの協力で作った高校生にもわかるシリーズの説明書があります.私もまだこれを完全に理解したわけでなく,つまみ食いで読んでいる最中ですが,試行版として,これも公開します.
なにかコメントなどをお寄せいただけるとありがたいです.yossi.okamoto<あっとマーク>gmail.com
<機械学習>
教師あり学習と教師なし学習
https://seagull.stars.ne.jp/2026_LLM/Machine_Learning/JP/Supervised_and_Unsupervised_Learning_HSv0.1.pdf
<深層学習>
深層学習(1)ニューラルネットワークの基礎
https://seagull.stars.ne.jp/2026_LLM/Deep_Learning/JP/DeepLearning1_Basics_of_Neural_Networks_HSv0.2.pdf
深層学習(2)誤差逆伝播法と学習の実際
https://seagull.stars.ne.jp/2026_LLM/Deep_Learning/JP/DeepLearning2_Backpropagation_and_Training_HSv0.2.pdf
深層学習(3)畳み込みニューラルネットワーク
https://seagull.stars.ne.jp/2026_LLM/Deep_Learning/JP/DeepLearning3_Convolutional_Neural_Networks_HSv0.2.pdf
深層学習(4)系列データと Transformer
https://seagull.stars.ne.jp/2026_LLM/Deep_Learning/JP/DeepLearning4_Sequence_Data_and_Transformers_HSv0.2.pdf
<LLM>
LLMの基礎(1)トークンと言語モデル
https://seagull.stars.ne.jp/2026_LLM/LLM/JP/LLM_Basics1_Tokens_and_Language_Models_HSv0.1.pdf
LLMの基礎(2)事前学習とスケーリング則
https://seagull.stars.ne.jp/2026_LLM/LLM/JP/LLM_Basics2_Pretraining_and_Scaling_Laws_HSv0.1.pdf
上記説明書はかならず,下記の動画などを参考に読んでみてください.
ヨビノリ氏の深層学習YouTube解説動画シリーズ
3.microgpt本体についてのその他の簡単な解説(過去のもの,岡本が提案し,Claudeが作成したPDF)
https://seagull.stars.ne.jp/2026_LLM/microgpt/Reading_microgpt_ja_v0.1.pdf
さらにそのなかの行列の計算のしくみ(補足)
https://seagull.stars.ne.jp/2026_LLM/microgpt/Reading_microgpt_tables_ja_v0.1.pdf
Copyright(c) by Y.Okamoto 2026, All rights reserved