今年は仕事を辞めて大学院生になったりして変化の大きい年だったと思う。
例年のように振り返ってみる。
1月-3月
今年で一番忙しかった時期だと思う。引っ越しと入学手続きと退職の３つが重なり、まさに「公私共に忙しい」というやつだった。今考えると、大学卒業以来初めて仕事を辞めるという大きな変化のタイミングではあったのだが、感慨に浸る余裕もなく、ただ大量のタスクをこなすだけの毎日だった。
仕事の方は3月頭ぐらいまで結構デカい機能の開発をしたりしていたが、並行して引き継ぎ資料を大量に作っていた。在籍中は普段から知識がブラックボックス にならないようにドキュメントはこまめに書く方だったが、それでも引き継ぎ資料を書いていたら、結構自分しか知らなそうなことが残っていたのを発見したりして、完全なオープン化は難しいとつくづく感じた。もっとも、前職ではほぼ一人でクレカ決済用のマイクロサービスの設計と実装をしたり、社外システム連携の調整と設計と実装を複数案件やっていたりしたので、多少ブラックボックス 化してしまうのも無理もない仕事内容だった気がするが。
東京を離れる数日前に家の近くで撮った桜
4月-6月
筑波大学 院での生活がスタートした。最初は朝から夕方まで講義出てたらめっさ疲れるかなと思ったが、会社員時代よりは楽だったようでそこまで肉体的にはキツくはない、というのが最初の数週間の印象だった。シラバス を読んで面白そうなやつを片っ端から取ったら、どうも取りすぎてしまったようで6月末ぐらいにレポートラッシュがやってきて軽くヤバかった。秋学期も講義取りすぎてヒーヒー言ってるのでこの頃と比べても何も進歩していない。それでも受講した講義は全部単位が取れたのでまぁよかった。
serihiro-graduate-school.hatenadiary.jp
研究の方は「HPCで深層学習を何となくやる」以外の何もテーマが決まっていなかったので、事前調査のためにTensorflowやChainerMNのホワイトペーパーを読んだり深層学習関係の本を読んだりしてデータ並列とモデル並列とは何かみたいなことを調べていた。結果的に、この辺の並列深層学習ネタは現在研究のスコープから外れているのだが、計算ノード並べて同期データ並列でスケールさせるのが現在の世界的なトレンドではあるようなので、そのベースとなるアイデア と実装方法をじっくり調査できたのは良かったと思う。
あと筑波大学 内の計算科学センターにNVIDIA のV100とP100が刺さってる計算ノードで構成されたPre-PACS-X という実験用HPCクラスタ があったので、そこでChainerMNのサンプルを動かしたりもしていた。ただ、研究テーマは全く決まらずに徐々に焦りを感じ始めた。同じ研究室のM1の学生は、学部時代から研究成果を出しており、その延長で研究を続けているため大学院でも研究の方向性は入学時点で決まっているようだった。一方で、自分は新参者なのでゼロからすべて考えなくてはならない。特に何も考えずにホイホイ大学院に来たはいいが、どこにでもいるウェッブエンジニアに過ぎなかった自分の場合、研究に関しては圧倒的なビハインドを抱えてのスタートだった。
また、研究室内ではB4,M1を対象とした輪講 を週2でやっていて、「High Performance Computing: Modern Systems and Practices」というHPC関連の技術を網羅した本を読んだ。HPCというかコンピュータの歴史から始まって、HPCでよく採用されるNUMAなどのアーキテクチャ の説明、B/Fの概念、Linpackなどのベンチマーク の紹介、アムダールの法則 を中心とした分散処理システムのパフォーマンスの話、OpenMP やMPIの使い方まで多岐に渡る内容だったが、マトモに計算機アーキテクチャ を勉強したことがなかった自分にとっては本来学部４年間で勉強してくるはずの計算機アーキテクチャ の基礎を一通り学ぶことができて大変為になったと思う。この本自体は結構表現が回りくどかったりして読むのが大変だったのが正直な感想ではあるが、これからHPC上で何か動かしたい人が必要な基礎知識を学ぶには良いと思う。
学業以外の活動としては、大学院生らしくインターン に応募したりしていた。おっさんだし、まだ全然研究で成果を出してないのでまさか書類選考を突破できるまい、と思っていた企業の書類選考+コーディングテストを何故か通過して面接まで行ったりしまいビビり、面接では前職時代からよく読んでいたブログを書いていた人が出てきてさらにビビったが、紆余曲折あってこの企業のインターン には参加せずに、先にブログに書いたようにTreasure Dataのインターン に参加することになった。今年はインターン どうするかはまだ考え中だが、修論 の進捗が良くて時間的に可能であれば、今年行かなかった企業のインターン に再挑戦してみたいものである。
森でしょうか
7月-9月
7月もまだ春学期の講義期間ではあったのだが、ほとんどの講義が6月で終わってしまうため時間ができた。神経科 学の講義をうっかり取ってみたらかなり前提知識が要求される講義で全然ついていかなかったため、慌てて神経科 学の本を一冊買って知識を補強することでなんとか単位をゲットした。
結果的にはcNNのConvolutional層,Pooling層の処理と視覚野の処理の類似点や相違点などを学べたので面白かった。ニューラルネットワーク の字の如く、本当に脳でやっている計算処理がベースなのだなということを改めて実感した。脳から模倣したのはパーセプトロン だけだと勝手に思っていたので新しい発見だった。
8月からはTreasure Dataのインターン に参加した。詳細は以前書いたエントリに詳しい。
serihiro.hatenablog.com
感想としては、久々に仕事をして純粋に楽しかった。大学に入って以来全く余裕がない日々だったので、このタイミングで学業から少し離れて、長年の馴染みのあるソフトウェア開発に没頭できたのはかなり精神的に良かったと思う。自分のキャリアとしてはBtoBのサービス開発(転職サイトの企業向けシステム、飲食店向け予約システム etc）に長く関わってきたという背景もあり、同じくBtoBであるTreasure Dataでの仕事はカルチャー面でやりやすかったと感じる。
10月-12月
1月から3月が一番忙しかった時期なのに対し、この時期は一番つらい時期だった。
何がつらかったかといえば、この時期にM1の学生は修論 中間発表のようなものがあり、何人かのグループに分かれてそれぞれの研究進捗を毎週交代で発表せねばならない。*1 別段、研究がちゃんと進んでいればビビる必要はない。しかしだ、自分の場合は自分の発表の番が回ってくる2週間ぐらい前まで、人に話せるような内容の研究ネタがなかった。先に書いたように、先行研究のサーベイ をしてChainerで遊んでいましたという話ならできるのだが、それは研究ではない。他の学生がどんな発表をしているかというと、一番進んでいるものではすでに学会で発表済み、そうでないものでも、最低限何らかのアイデア はあって、そのアイデア を実現するための何らかの実験を行ってその結果を報告している、というものだった。つまり自分のようにサーベイ だけしてました、という進捗は自分のグループ内では報告されていない。それを見て実にヤバいということに気づいてしまった。
自分でアイデア を出して研究ができないのなら仕事辞めてまで大学院に来た意味はあるのか？そもそも入学できてしまったことが間違いなのではないか？みたいなことも考えてしまい、この時期は随分とどんどん悪い方悪い方に考えが向かってしまっていた。
しかし、そうは言ってもアイデア がないものは仕方がないので、ホントに春学期に読んだ論文の紹介でもするしかない。。と思っていた矢先、Chainerで遊んでいた時に偶然にもプロファイルしていたGPU のプロセッサ利用率とChainerのログから算出した1 iteration辺りの処理時間の相関性から、とあるアイデア をギリギリで思いつき、そのアイデア をChainer本体で実装することを最終ゴールとした内容でどうにかこうにか自分の発表をまとめることができた。やれやれである。修士 課程というのは研究を行い、あわよくば対外発表もして、最終的に修士論文 としてまとめることが目的の場所である。なのでこういったチェックポイントが必ず存在する（次回は来年7月の中間発表）。それを忘れてはならぬと肝に銘じさせる出来事であった。
しかしまぁ、上記の出来事から1ヶ月ぐらい経った今時点でも、これが研究になるのかどうか全く自信がない。自分の指導教官も深層学習が専門ではないので具体的な助言ができないようなので、全て自分で考えて進めていくしかない。自分に何か強みがあるとしたら、馴染みが薄い言語やプラットフォームでもキャッチアップするのが多少人より早いぐらいのものなので、とにかく今は自分のアイデア を実装して、動くものを使って客観的な評価を行い判断するしかない。
講義の方は相変わらず取りすぎてしまい、春学期同様に期末のレポートラッシュを先週、今週と乗り切ったばかりである。ただ、秋学期は実装の課題が多く、その辺は論文要約や論述ばかりだった春学期よりも楽ではあった。まぁ論文要約の講義もあったのだけど、最近は流石になれてきたのか英語の論文も大分早く読めるようになった気がする。英語に慣れたというよりは論文そのもののフォーマットに慣れて、どこをどう読めば抑えるべきポイントが分かるかが分かった、という感じである。春学期の頃はとりあえず全部精読していたが、今はもう少し効率の良い読み方ができるようになった気がする。多少は進歩したのかもしれない。
総括
学業については計算機アーキテクチャ 周り、並列処理、分散処理に関して新しい知識が多く得られて良かった
研究については先に述べたようにまだまだこれからという感じで、今年は何も成果を出していない
私生活については会社員時代と変わりはない
