統計学と機械学習の参考書(メモ)

完全にメモ書きです。

読んでも面白くないよ(・∀・)

入門する前

マンガでわかる統計学※僕は読んだことがない

マンガでわかる統計学

これならわかる！ベイズ統計学

史上最強図解　これならわかる！ベイズ統計学

入門編

統計学入門

統計学入門 (基礎統計学?)

機械学習のエッセンス

機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning)

弱点克服大学生の確率・統計

弱点克服大学生の確率・統計

入門中

自然科学の統計学

自然科学の統計学 (基礎統計学)

多変量解析統計法

多変量統計解析法

StanとRでベイズ統計モデリング

StanとRでベイズ統計モデリング (Wonderful R)

ベイズモデリングの世界

ベイズモデリングの世界

深層学習

深層学習 (機械学習プロフェッショナルシリーズ)

はじパタ※僕は読んだことがない

はじめてのパターン認識

入門完了したら

パターン認識と機械学習

パターン認識と機械学習 上

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

統計的学習の基礎

統計的学習の基礎 ―データマイニング・推論・予測―

もう少し頑張ってみる

数理統計学の基礎

数理統計学の基礎

Theory of Point Estimation

Theory of Point Estimation (Springer Texts in Statistics)

ベイズ

ベイズ統計の理論と方法

機械学習

Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series)

その他

スパース推定

スパース推定法による統計モデリング (統計学One Point)

ロバスト統計学

ロバスト統計: 外れ値への対処の仕方 (ISMシリーズ:進化する統計数理)

Robust Statistics: Theory and Methods (Wiley Series in Probability and Statistics)

Robust Statistics (Wiley Series in Probability and Statistics Book 693) (English Edition)

確率過程

確率モデルの基礎―金融工学を視野に入れた確率論的考え方

ファジィ

ファジィ時系列解析 (統計学One Point)

データ同化

データ同化入門 (予測と発見の科学)

カーネル法

カーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学)

統計的因果推論

統計的因果推論 -モデル・推論・推測-

統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学)

統計的因果探索 (機械学習プロフェッショナルシリーズ)

調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)

岩波データサイエンス Vol.3

時系列

経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

時系列解析〈下〉非定常/応用定常過程編

時系列解析〈上〉定常過程編

点過程の時系列解析 (統計学One Point)

ベイズ

ノンパラメトリックベイズ 点過程と統計的機械学習の数理 (機械学習プロフェッショナルシリーズ)

強化学習

強化学習

これからの強化学習

マルコフ決定過程- 理論とアルゴリズム - (シリーズ 情報科学における確率モデル 4)

数理統計学

必携 統計的大標本論 ―その基礎理論と演習―

統計学への確率論、その先へ―ゼロからの測度論的理解と漸近理論への架け橋

大学生活を簡単に振り返る

国立の合格発表も終わって、いよいよ大学生という人もいれば、大学生活はまた来年にお預けという人もいるでしょう。

ひとまずお疲れ様でした。

さて、上記いずれの人にも大学生活がどんなものであったか参考になればなと思い、この記事を書くことにしました。

いたって普通の、少しだけ意欲のあった大学生の記録とでも思ってくれればいいです。
細かいことまで書き出すと果てしない分量になりそうなので簡潔に書いていこうと思います。

1年生

まず、入学した当初はあまり意欲的ではありませんでした。

いや、遊ぼうとかそういうのではなく、ちゃんと(？)経営システム工学が楽しそうだから大学に入ったのですが、楽しければいいやという感じでした。なんとなく経営システム工学の考え方の一端に触れられれば御の字かなと考えていたのが正直なところです。

嫌いな講義はよくサボっていましたし、嫌いじゃない授業も講義こそちゃんと聞いていましたが、復習もしなければテスト勉強もしませんでした。
1年時の授業は基礎科目が多くてすごく退屈しました。もちろんこの先あらゆる応用で必要になるからなのですが、それを痛感するのは2年時以降で、僕は勉強し直すことになるのでした。

それでもフル単(49単位でGPAは2.6ぐらい※GPAはmax 4の評定平均だと思ってokです)で、まあこんなもんだろと思っていました。

1年生を終えての純粋な感想は「数学の授業多すぎね？」でした。経営システム工学科に入る人は頑張りましょう。思っているよりも数学の授業がずっと多いです。

ところで大学にはサークルというものが存在するのですが、僕はそれには入りませんでした。しかし、草野球を地元で毎週いろんなチームでやっていたため(今も続けてます)、まあサークル活動をしていたようなものですかね。少し違うのは幅広い年齢層(中には80歳超えの人もいる)と幅広い職の人と一緒にやったということぐらいでしょうか。だから草野球の方がいいぜという意味ではなく、まあそういう世界もあるんだな程度に思っていただければ嬉しいです。

また、成人式の実行委員を市の方からお願いされたため、これを務めていました。これも楽しかったですね。これについては機会があれば書きたいと思います。

たくさん書いてもあれなのでここで1年時をまとめると

『授業だけ真面目に聞いていただけの、あとはそこらへんにいる量産型』

というような感じになるんじゃないかな。

2年生

1年生を終えてなんとなく「短くない時間と高いお金を払ってるのに得たものが少ないのは、なんだかとっても虚しいな」という気持ちになりました。

幅広い分野をカバーする経営システム工学の中でも、1つぐらいは高い専門性を身につけておくかということで、1年生の時の講義でなんとなく面白かった『統計学』をちゃんと勉強することにしました。

ちゃんと勉強するといっても、当時はテスト勉強もしない有様だったので、授業を受けて復習もするという、ただそれだけの事を「ちゃんと勉強する」ということだと思っていました(ちょっと読みにくくてすみません)。

すると不思議なもんで、他の科目もちゃんと勉強しようという気持ちになるんですね。

1年生のときと違って専門科目の割合が高くなったのも一因だと思われますが(そもそもは経営システム工学に興味があって大学に入学したので)、別に適当でいいかというようなものもなんとなくちゃんと勉強していました。

また、経営システム工学の諸分野では統計的手法があちこちで出て来るので、そういう統計的な部分はちゃんとやろうという気持ちになったのも一因だと思います。

ところが授業をちゃんと聞いているのにあまりついていけなくなっていました。

やる気はそこそこあるのに付いていけない。

所々でよくわからない変形をする式が、何でその形になったのかを調べてるうちに授業は次へ〜次へ〜と進んでいきました。

もうどうにもならんということで1年生の復習をしてやっと授業中に「うんうん」と話がわかるようになりました。

そんなこんなで2年生時のGPAは3.4と、1年生の時よりも大きく向上しました。

2年次をまとめると

『授業で教わったことは理解している、いわゆる量産機の高機動型』

といったところでしょうか。

3年生

「大学での勉強だけでいいのかな？自分が理解できるということは世の中の大半もできそうだしなあ…大学でしかできないことってなんだろう？遊ぶってのは社会人になってからもできそうだし…そうだ！大学でしかできないことといえば、なんにも気にしないでいつまでも寝ていられることと、なんにも気にしないで勉強できることだ」

という気持ちになり、最も興味のあった統計学については、授業外の範囲についても自分で勉強してみようということにしました。

ただ、何をやっていいのかさっぱりわからなかったので、統計検定というものを受けることにしました。

何でもいいからある程度勉強に方向性を持たせてくれるものが欲しかったというだけで、別に合否はあまり気にしないでいこうと考えていました。このあたりの話は

mark-n.hatenablog.com

にも書いたので割愛します。

また自然科学の統計学(いわゆる青本です)を読んで、線形代数が全くわからないと感じたため、線形代数を再び勉強し直したりもしました。

自然科学の統計学 (基礎統計学)

それと測度論に挑戦して木端微塵になったり、カーネル法の勉強して木端微塵とまではいかなくてもわけがわならなかったり、ベイズ統計というものがあるとしったりもしました。

この1年は統計学というより、好きなことを好きに自学習するという、それ自体のやり方を学んだ1年だったと思います。

これはどうでも良いことのように見えて、とても難しいことだったと思います。それまでは与えられたことを自由なやり方(人にやり方を縛られるのが嫌いだったので…)で勉強してきましたが、

何を勉強するのか？
なんで勉強するのか？
どのレベルまで持っていくのか？
どこまで掘り下げる？
前提知識は大丈夫？
どの参考書を使うの？
信頼できる情報源は？
どうやって正しいと判断するの？
飛ばしてもいいページは？
絶対にスルーできない項目は？
わからなかったときどうする？
質問する相手は？
質問の仕方は？

パッと思いつくだけでもこれだけの要素が出てきます。細かく考えればもっともっと出てくると思いますが、とにかく真に自分で勉強するというのは実は難しいことなんだなと知りました。

授業はというと年次を重ねるごとに「簡単だなあ〜」と感じるようになり、授業に対する負荷がどんどん減っていきました。

経営システム工学のような応用科学では、基礎がある程度固まっていれば、授業でやる程度のレベルのことを理解すること自体はそれほど難しいことではないというのが4年間での印象です。

ほとんどの科目の基本にある考え方は、言われてみればどれも当たり前のことです。
また方法こそ科学的ですが、適用対象は社会なのでイメージもつけやすいです。

ちなみに3年時のGPAは3.8でした。
まあこの数字は裏を返せば、それほど難しいことはやらないということなのですが、それでも有効なことをたくさん学びます。きっと就職してからの強力な武器になるでしょう。なってほしい。なってくれ。

また、就活は爆速で終わりました。
2月に内定2社、3月に内定3社の合計5社(落ちたのは0)内定を頂きました。また、向こうからアポとってきたりと不思議な体験もしました。
ちなみに内定を頂いたのは大手4の中小1です。アポとってきたのは大手です。さらにちなむといずれの大手も誰もが知っている会社です。

なんかいろんな人に食事やお酒の席に連れて行ってもらったな〜
就活自体は結構楽しかったですよ。
あと経営システム工学は就活最強だなと思いましたね。今世間が注目しているキーワードのてんこ盛り学科ですからね。クソポンコツでも○✕センチ◯アとかnmr◯研とかです(伏せ過ぎか？)。

例にならって3年次をまとめると

『学問というものに興味を持ちはじめて、それなりにちゃんとした訓練を積み始めた、将来有望そうな(そうなってのが大事)意欲ある学生』

という感じでしょうか。

4年生

希望通り応用統計学研究室に配属されました。
授業はほとんどなく、ほぼ毎日研究室にいました。最初の方は研究テーマを探しつつ、機械学習の勉強をしていました。

mark-n.hatenablog.com

他にもMCMC(これも機械学習か？)とか確率過程とかも勉強していました。

少しずつ論文も読めるようになってきたのもこの時期かな。カステラ本でよくわからなかったところを論文で確かめるということをやっていたら、少しずつ読めるようになってきたんだった気がします。

自分の話じゃないけど就活に関して少し言うと、普通の人は3年の3月から就活を始めて、だいたい5,6月には内定がばーっと出ていた感じだったかな。この先どうなるかわからないけど、他の人を見て焦る必要はないなと思いましたね。

話を戻します。

結局、研究テーマは機械学習じゃなくてロバスト統計学になったんだけれども、これが先生に上手く乗せられてしまい、理論研究になってしまった…

理論研究は難しいのです。経営システム工学のような応用を扱う分野の学生にとっては、特に難しいとかんじられました。
定理を作っても証明があってるかいつまでたっても自信が持てないし(たぶん3,40回は検討し直して書き直してる)、しかも自分の作った推定量は望ましい性質を持っていなくて、(こういう書き方は良くないかもしれないけど)修正法まで考えなきゃいけないハメになりました。

研究というものの難しさや、楽しさ、研究者はどういった発想をしているのか、どのようにストーリーを組み立てたり論文をまとめたりしているのか、いろんな定石等々…
私は他の人に比べて割と手厚い指導を受けられたので、色々なことを学ぶことができました。

とても難しかったけど、ちょこっと苦労したに見合った相応の力が付いたと思います。

学校にも何回か泊まったりして、意外といい思い出になっています。

ちなみに4年時のGPAは4でした。

そんなわけで卒業も確定して、今は布団の中で過ごしている毎日です。

最後に

社会人から「遊べるのは大学生のうちだけ、今のうちに遊んでおくのが一番いいと思うよ」とよく言われると思います。僕はよく言われました。

挙句の果には、遊ぶだけの毎日の比喩として「大学生は人生の夏休み」とまで言う人もいる始末です。

実際は社会人になってからの方が遊べるというのが事実だろうと思います。なんせお金がたくさんもらえますから。とはいうものの家庭を持ったら話は変わってきますが(両親を見て)…

じゃあ大学生のうちにしかできないことってなんだろう？という話になります。

先にも述べましたが、私は主に次の2つだと思っています。

ひとつ目は、いつまでもたっぷり布団で寝ていられること。これはたしかに社会人になってからはできませんよね。なんにも考えないで布団の中でぬくぬくと眠る。こんな幸せがありますか！？

そしてふたつ目は、勉学に好きなだけ励むこと。好きなだけというのは0も含めるし、限界までというのも含める、文字通りの好きなだけです。
大学には個人では到底整えられない環境が整っています。高価で最新の設備が何種類もあり、図書室は使い放題でそのへんにはない本が揃っているし、ジャーナルにはアクセスし放題だし、最先端の研究をしている先生達がたくさんいらっしゃいます。

勉学に全く打ち込まないのも悪くないと思います。否定するつもりは毛頭ありません。しかし、僕個人としては勉学に励んだ方が賢い選択をしていると思うのです。

僕はアルバイトで塾講師を勤めていたのですが、生徒に大学がどんな場所かを例える時に、よくバイキングのようなものという表現をしていました。

バイキングに行って何も食べずにおしゃべりだけして帰るというのも悪くないし、限界まで食べて気持ち悪くなったり苦しい思いをするのも悪くないです。ただし人が食べているのを邪魔するのは、度を越えた礼儀知らずだというものでしょう。

私なら満足するまで適度に、ちょこっとだけ欲張って食べるでしょう。おしゃべりも楽しむと思います。

制限時間が来て会計をする時に満足していることが何より大切だと思います。

そういえば

そういえば私は4年間塾講師のアルバイトをしていたと言いましたが、そこで面白い体験をしました。

中学3年生の時から教えていた生徒が大学生になり、なんとアルバイトとして入ってきたのです。しかも2人も。

教え子、しかもJCの時から知っている生徒が同僚になったんですよ？

とても不思議な感覚でした。

と同時に私が教えていた子が、私と同じことをやろうと思ってくれたことがとても嬉しかったですね。

大袈裟な表現ですが、なんだか報われた気がしました。