研究室紹介

研究室の特徴

大規模計算を軸とした多様な研究テーマ

横田理央研究室では、スパコンを用いた大規模分散並列を様々な分野に応用する研究を行っています。近年、深層学習が画像認識、自然言語処理、強化学習などの様々な分野で注目されていますが、そこで用いられる深層ニューラルネットの規模は年々指数関数的に増大しており、スパコン上でしか計算できない状況になりつつあります。ただし、既存の深層学習フレームワークをそのままスパコン上で実行しただけでは計算速度や学習精度は簡単には向上しないため、大規模計算特有の課題を一つ一つ解決していく必要があります。従来よりスパコン上で行われている科学技術計算も日々変化する計算機アーキテクチャにあわせてアルゴリズムや実装方法を研究し続ける必要があります。また、ムーアの法則により計算機の性能は指数関数的に向上し続けているため、現在のスパコンで行われている計算は10年後には手元の計算サーバでできるようになります。つまり、現在のスパコンにおける課題を解決することは10年後の研究課題を先取りして解決していることにもなります。

豊富な計算資源

当研究室では、東工大のTSUBAME、東大のWisteria BDEC、産総研のABCI、理研の富岳など国内最大級のスパコンを利用できます。また、これらのスパコンの全系を貸し切って行うグランドチャレンジ制度なども積極的に利用することで、国内の研究室では有数の計算資源量を使うことができます。また、国内のみならず、世界の主要なスパコンセンター11組織との共同研究契約(MOU) [https://adac.ornl.gov] を締結することで、世界最大級のスパコンであるORNLのSummitやETH/CSCSのPiz Daintなども利用しています。通常の研究室の計算機環境では何週間もかかる計算を横田研究室では数時間で行うことが可能になるため、研究の進捗もその分早くなります。

多くの共同研究プロジェクト

深層学習、科学技術計算を問わずあらゆる研究分野でスパコンを用いた大規模計算のノウハウや膨大な計算資源量を保有している強みを活かすことができます。現在、学内・学外、国内・国外の研究室や企業と多くの共同研究プロジェクトに大規模計算の部分を担当する形で参画しております。学内では篠田研究室とNeural Architecture Search、井上研究室と継続学習や大規模事前学習、佐藤・川上研究室とは自動運転のための自己教師あり学習や深層距離学習、金崎研究室とは逆強化学習に関する共同研究を実施しています。学外では理研AIPのKhanグループとベイズ深層学習、理研R-CCSの松岡グループと富岳上での大規模深層学習、産総研のコンピュータビジョン研究チームとフラクタルを用いた事前学習、社会知能研究チームとVisual SLAMの共同研究を行っています。国外では、テネシー大学のDongarra研究室と階層的低ランク近似法、ETHのHoefler研究室とは深層学習の高速化技術、CMUのKitani研究室とは物体の3次元姿勢推定などの共同研究を行っています。このため、研究テーマは幅広い内容から選ぶこともできますし、新しい研究テーマを自分で見つける場合も指導教員だけの専門性に囚われずに共同研究者との連携により適切なサポートを行うことができます。

世界で活躍できる研究者の育成

学部時代に良い成績を取り、希望の研究室に所属し、国内の人気の企業に就職をすることが理想的な進路と考えがちですが、世界を見渡せば上には上がいます。インターネットに国境はなく、今の時代は誰でも世界中のあらゆる情報が瞬時に手に入るので、特に科学技術の諸分野においては国内に視野を限定してしまうことは大きな機会損失につながります。最終的に国内の企業や研究機関・大学で働く場合でも、若いときに一度でも世界の舞台で競争したかどうかで目標とする人物像、価値観の多様性に対する認識、英語に対する苦手意識などに大きな差が生まれます。当研究室は留学生も多く受け入れており、修士を出て海外の大学院に進学する学生も多くいます。当研究室の博士課程を出たものは世界でもトップの研究機関で活躍しています。ポテンシャルのある学生には最大限までその実力を発揮できるように支援するというのが当研究室の方針一つのです。自分が想像していたよりも遥かに大きな成功への道を歩めるよう全力でサポートします。

研究のやり方

大きな課題を小さな作業に咀嚼する訓練

研究のやり方というのは「研究テーマを自分で決める」か「研究テーマを与えられる」かの二択ではありません。経験を積むにつれてより大きな粒度での問題設定を自分でできるようになります。自分で決められること(自由度)の粒度が適切に設定されている環境で人は最も早く成長することができます。小さな課題を解決した達成感が積み重なることでモチベーションの向上にもつながります。学部3年生までの講義で演習として与えられているのは、細粒度まで咀嚼され吟味・厳選された問題です。研究室に入ると学年が上がるにつれ、より粗粒度のタスクを自分で設定して解決できるようになります。これは、会社に入ってから最初は細かい指示がないと動けないのに対して、経験を積むとざっくりとした課題を与えられればそれを達成するための的確な作業のスケジュールを自分で組めるようになり、それらのタスクを部下に振れるようになるのと同様です。同じテーマを引き継ぐ利点としては、後輩が色々教わることで研究の初期段階が加速することもそうですが、小さな作業を咀嚼して後輩に与えることで先輩がこのような能力を獲得できることも大きいと思います。どんなに大きな壁も、そこへ続く階段を自分で作れれば容易に乗り越えることができ、それは自分と同じ道を辿る無数の後続者の資産となります。学術論文とは本来そのような知見をまとめたものであるべきだと考えています。

ものごとの本質を見抜くということ

論文とは本来上述のような役割を果たすべきですが、近年のpublish or perish culture(論文数至上主義)のせいで提案手法の優位性を誇張するものばかりが最近は増えています。このような書き方をすると雑誌や会議に採択されやすいという仕組みの問題もあります。しかし、本質的に重要な情報だけを与えられることで人間は最も早く学習できるため、このようなノイズの中から本当に大事な情報を見つけ、自分で発信する場合もそこに気をつけるのが正しい研究者としての姿勢だと考えています。学部レベルまではかなり厳選された情報のみを与えられていたのでこのようなことに注意する必要はなかったのですが、大学院レベル以上の書籍や論文などは全てその信憑性を疑ってかかる姿勢が重要です。著者や組織の権威に影響されることなく自分の今まで勉強してきたこと全てと照らし合わせて一切の矛盾がないかを検証するような読み方・考え方を身につける必要があります。論文をたくさん読めば良いというものではありません。

「もうやられている」と早とちりしないこと

再び粒度の話に戻りますが、学生によくある早とちりで「論文を色々読んでみたら自分のやりたかったテーマがもうやられている」というのがあります。研究をやり始めてすぐの頃は自分のテーマがぼんやりしているために粗粒度で考えがちです。粗粒度でみたらどんな研究テーマも既存研究は存在します。研究の初心者にとって重要なのは既存研究と差別化できるくらいの細粒度のテーマを(指導教員に)見つけて(もらって)、それに全力で取り組むことです。そうすれば、学年が上がるごとに徐々に粗粒度でも新規性・優位性を見いだせるようになります。俗に言われる「博士課程を修了するにはその分野の第一人者になる必要がある」というのは、この新規性の粒度が「分野」のレベルまで達したということであり、ここで言っていることと質的に違うことを求められているわけではありません。当研究室ではこのような考え方に則り、学生一人ひとりに適切な粒度の課題を設定することを心がけています。もちろん、最初から粗粒度で全く新しいテーマを自分で見つける能力のある学生には、そうしてもらいたいと思っています。

研究以外の活動の奨励

留学

当研究室では海外留学を積極的に推奨しています。在学期間中の長期・短期の留学先も紹介しますし、海外大学院へ進学したOBも複数いるのでどのような準備をすれば良いのかなどのノウハウも蓄積されています。以下はこれまでの学生の留学・進学先です。

  • A*STAR (シンガポール) 1名留学
  • Carnegie Mellon University (アメリカ) 2名留学、1名進学
  • University of Montreal (カナダ) 1名進学
  • University of Tennessee (アメリカ) 1名留学

インターン

インターンシップは単に就職活動の一環としてでなく、企業や研究所での実務経験を通して研究のモチベーションの向上につながるケースが多いため、積極的に推奨しています。また、博士課程に進学した者も皆修士の頃に複数のインターンシップを経験しており、「一流企業の良さを見た上で積極的な理由で進学を選んで欲しい」ということもあります。これまでの研究室所属学生の多くは複数のインターンシップを経験しており、先輩の培ってきたインターン先へのネットワークもあります。以下はこれまでの学生のインターン先です。(アルファベット順)

  • AIST
  • Axon, Inc.
  • CyberAgent, Inc.
  • Fixstars Corporation
  • Future Corporation
  • Google
  • IBM Research Tokyo.
  • Livesense Inc.
  • Mercari Inc.
  • Nagase Brothers Inc.
  • Nefrok
  • NextSilicon
  • Nomura Research Institute, Ltd.
  • Panasonic Corporation
  • Preferred Networks, Inc.
  • Quansight Inc.
  • RIKEN
  • Sony Corporation
  • SORACOM Inc.
  • Team Lab Inc.
  • Techouse, Inc.
  • Telexistence, Inc.
  • Yahoo! Japan

競プロ

高性能計算分野の研究室であるため、毎年競プロの強者が多数在籍しております。AtCoder、Kaggle、ICPCなど様々な楽しいイベントで好成績を収めています。当研究室で行っている高性能計算の研究には競プロで培われる実装力が直接的に効いてきます。

↑