[TOC]
1. 概要
1.1. 生い立ち
中学2年生まで長崎で育ち,中学3年と高校の3年間を沖縄で過ごす(高校まで公立校).大学では数学を専攻し,現在は応用数学専門の博士課程2年.企業との共同研究を通して実問題の解決に取り組みつつ,趣味で純粋数学を英語で学び直し中
1.2. 専門・キーワード
- 深層学習
敵対的学習(GAN,WGAN-GP), AE(VAE, IntroVAE),ドメイン適応,異常検知, 畳み込みネットワーク(CNN), 物体検出(SSD,YOLOv3,M2Det), 他クラス分類 - グラフ理論
避難計画,普遍的最速流,辞書式最速流,最小費用流,最大流 - 最適化
0-1整数計画 - 機械学習
ガウス過程回帰・分類,スパースモデリング,スペクトラル・クラスタリング,サポートベクターマシン(SVM),t-SNE, UMAP
1.3. 経験
- 辞書式最速流と深層学習を用いた避難時間の見積もり
- 画像を用いた異常検知手法の開発(IntroVAE,WGAN-GP,次元圧縮手法とガウス過程などを使用)
- SSD,YOLOv3, M2Detを用いた物体検出
- 実問題に関する整数計画の定式化(詳細は研究概要を参照)
1.4. 取得スキル
- 最新の深層学習手法の実装(WGAN-GPなど)
- Pytorch,Caffe, Chainer, Kerasなど深層学習モジュールを用いたデータ並列型のマルチGPUの実装及びOptunaを用いたハイパーパラメータ探索
- klearnなどPythonモジュールを用いた回帰・分類問題の実装及びplotlyやmatplotlibを用いた結果の可視化
- 数理最適化ソルバーGurobiを用いた整数計画問題の実装
1.5. 日々の研究活動の様子
私が所属している研究室では約7社との共同研究があり、プロジェクト毎にリーダーとメンバーが割り当てられ、学生主体で研究開発を行っている。各プロジェクトの学生リーダーは必要に応じて課題解決のための議論の場を設けて、定式化やプログラム実装の役割分担を行い、研究開発及び成果報告を行っている。私は第一期生ということもあり、基本的には全てのプロジェクトにアドバイザー参画し、そのうち1つのプロジェクトに関してはプロジェクト全体の進捗管理や実装の中心的役割を担っている。そのため、実問題に対して適応可能な最新論文のサーベイをするとともに必要に応じて改良や開発を行うことで、研究開発を進めている。また、面白かった論文の紹介や座学セミナーを有志の学生で定期的に行っている。
2. 研究活動
2.1. 査読付き論文
Akira Tanaka, Nozomi Hata, Nariaki Tateiwa, Katsuki Fujisawa. Practical Approach to Evacuation Planning Via Network Flow and Deep Learning, the Fourth Interna- tional Workshop on High Performance Big Graph Data Management, Analysis, and Mining (BigGraphs 2017), to be held in conjunction with the 2017 IEEE International Conference on Big Data (IEEE BigData 2017), in Boston, MA, USA, 2017paper pptx
Akihiro Yoshida, Tatsuru Higurashi, Masaki Maruishi, Nariaki Tateiwa, Nozomi Hata, Akira Tanaka, Takashi Wakamatsu, Kenichi Nagamatsu, Akira Tajima, Katsuki Fujisawa, New Performance Index “Attractiveness Factor” for Evaluating Websites via Obtaining Transition of Users’ Interests, Data Science and Engineering, Springer, 2019, DOI : 10.1007/s41019-019-00112-1
- Akihiro Yoshida, Yosuke Yatsushiro, Nozomi Hata, Tatsuru Higurashi, Nariaki Tateiwa, Takashi Wakamatsu, Akira Tanaka, Kenichi Nagamatsu, and Katsuki Fujisawa, Practical End-to-End Repositioning Algorithm for Managing Bike-Sharing System, The proceedings of the IEEE Big Data 2019 , 2019(Acceptance rate 19.27%), in Los Angeles, CA, USA, 2019
Katsuki Fujisawa, Toyotaro Suzumura, Hitoshi Sato, Koji Ueno, Satoshi Imamura, Ryo Mizote, Akira Tanaka, Nozomi Hata, Toshio Endo, Advanced Computing and Optimization Infrastructure for Extremely Large-Scale Graphs on Post-peta-scale Supercomputers, Advanced Software Technologies for Post-Peta Scale Computing, Springer, 2018, DOI:https://doi.org/10.1007/978-981-13-1924-2_11
Nozomi Hata, Takashi Nakayama, Akira Tanaka, Takashi Wakamatsu, Akihiro Yoshida, Nariaki Tateiwa, Yuri Nishikawa, Jun Ozawa, and Katsuki Fujisawa. Mobility Optimization on Cyber Physical System via Multiple Object Tracking and Mathematical Programming, the Fifth International Workshop on High Performance Big Graph Data Management, Analysis, and Mining (BigGraphs 2018), to be held in conjunction with the 2018 IEEE International Conference on Big Data (IEEE BigData 2018), in Seattle, WA, USA, 2018
- Nariaki Tateiwa, Nozomi Hata, Akira Tanaka, Akihiro Yoshida, Takashi Wakamatsu,Takashi Nakayama, Katsuki Fujisawa. Hybrid Vehicle Control and Optimization with a New Mathematical Method, The 5th IFAC Conference on Engine and Powertrain Control, Simulation and Modeling, in Changchun, China, 2018
2.2. その他論文
2.3. 研究発表
Map-Matching Algorithms using Shortest Path Algorithm on Time-Expanded Graph, 4th ISM-ZIB-IMI MODAL Workshop on Mathematical Optimization and Data Analysis (March 2019)
次元圧縮と非線形分類器を用いた画像による不良品検知, 日本数学会 異分野・異業種研究交流会2018 ポスター発表
深層学習とネットワークフローを用いた避難計画に対するアプローチ,九州大学IMI主催 防災・避難計画の数理モデルの高度化と社会実装へ向けて, (December 1st 2017)
Prediction of Tsunami Evacuation Completion Time by Network Flow Algorithms and Convolutional Neural Network, 2nd ISM-ZIB-IMI MODAL Workshop on Mathematical Optimization and Data Analysis (September 2017)
辞書式最速流と深層学習を用いた避難完了時間の予測, 日本オペレーションズ・リサーチ学会 2017年春季研究発表会 (March 16th 2017)
3. 研究概要
潜在空間の分割による狙った異常の生成モデル(博士2年)
次元圧縮手法と非線形分類器を用いた異常検知(博士1年)
- 辞書式最速流と深層学習を用いた避難時間の予測(修士論文)
- 時間拡大グラフを用いたマップマッチングアルゴリズム(修士-博士)
- Webページの魅力度指標の提案
- バイクシェアリングシステムにおける需要予測・最適台数決定・再配置経路決定
- 人流追跡と最適化
- HV車の燃料消費量最小となる制御ロジックの求解
- 光ファイバ配線の最適化
3.1. 潜在空間の分割による狙った異常の生成モデル(博士2年)
工場や医療現場の異常検知において深層学習が活用されているが、異常データが非常に少ないという課題の性質が精度向上を大きく妨げている。この問題を解決する為に、AEなどの従来手法は正常データのみを学習し、データを正常化するモデルを構築する。推論段階では入力データと正常化したデータとの差分が大きいものを異常と判別する。この手法には異常データを入力した時の挙動が制御されていないという問題がある。提案手法では前述の問題の解決に留まらず、狙った異常(異常箇所や種類)を生成する。それにより多種多様な異常の生成が可能となり、深層学習が得意とする分類問題に帰着できる。手法の肝は潜在ベクトルに正常と異常に関する特徴を別々の次元で持たせる確率モデルを考える点で、損失関数や学習手順はAAE、GANやその派生のWGAN-GP、TripletLossなどの知見を適切に組み合わせ、安定した学習を達成する。
3.2. 次元圧縮手法と非線形分類器を用いた異常検知(博士1年)
少子高齢化で生産年齢人口が減少する日本の現状や近年のIoT技術の目覚ましい発展により,スマート工場に関心が集まっている.その基幹技術である画像を用いた自動外観検査を確立する為に,深層学習などの次元圧縮手法と非線形分類手法を適切に組み合わせたモデルを提案した.一般にガウス過程分類などの表現能力が高い非線形分類手法は計算量が大きく画像など入力の次元数が大きいと適応できない.そのため,深層学習の手法の1つであるAutoEncoderや幾何学的手法であるUMAPなどの次元圧縮手法と組み合わせることで高精度の予測モデルを確立した.さらに深層学習を用いて入力画像を良品化するモデルを開発することで,新しい画像に対してはモデルの出力との差分をとることで異常箇所を特定する教師なし学習モデルの確立した.さらに複数の予測モデルを組み合わせることで精度を向上させるアンサンブル学習などの技術も開発した.poster
3.3. 辞書式最速流と深層学習を用いた避難時間の予測(修士論文)
地震大国の日本では津波を想定した緊急避難計画の重要性が年々高まっている。グラフ理論を用いることで、ある条件下における最適な避難計画(普遍的最速流・辞書式最速流)を提示することができる一方、計算時間の観点から実用が難しいという課題を抱えている。本研究では複数の人口分布に対し最適な避難計画を事前に計算し、その結果を教師データとして深層学習に与えることで、避難完了時間といった避難計画で重要な情報を予測するアルゴリズムを開発した。実験には大阪市の淀川区の実データを使用したが、人流も含めた大規模なグラフが入力になることが課題であった。人の移動をHSV色空間で表現することで大規模グラフを画像として入力する事が可能となり、大規模都市にも適用可能なモデルを構築することに成功した。また畳み込みネットワークを用いることで、局所的な混雑が全体に及ぼす影響を加味することに成功した。実データを用いた実験によって、提案モデルが精度と速度の両面において有効である事が確かめられた。修士論文,国際学会論文 pptx,poster
3.4. 時間拡大グラフを用いたマップマッチングアルゴリズム(修士-博士)
連続したGPSデータが与えられた時に道路ネットワーク上の移動した経路を特定する作業をマップ・マッチングと呼び、混雑予測や道路計画策定に不可欠な要素技術である。GPS座標が頻繁に取得出来ない状況において、従来手法では「局所的に大きなGPS誤差に対応出来ない」もしくは「最適解ではあるが計算量が膨大で非実用的」という問題がある。本研究では時間拡大ネットワークという概念を導入する事で大域的な最適解に近い予測経路を高速に求める事に成功した。特に既存手法では平行した道路の間にGPSが存在した際に通過した道路の特定が非常に難しいが、提案手法では全体的なGPS誤差を考慮することで予想に成功する。最新の手法との比較実験では日本の実データを用いて、精度と速度の両面で提案手法が既存手法を上回っている結果を得ることが出来た。さらに、GPS近傍の道路を漏れ無く取得するための理論的考察を加えるとともに、高速化の為にフラクショナルカスケーディングという手法を応用した。また、グラフの点数及び枝数を適切に削減するために線分表現という手法を用いることで、計算時のメモリ量の削減や速度向上を達成した。pptx
※既存手法の大まかなアルゴリズム:GPS取得時に車両が通過中であった道路の候補(候補道路)を特定するとともに、候補道路毎に通過確率を定める。時刻の候補道路と時刻の候補道路の間を最短路で結び、その経路を通過した確率を定める。GPS毎に候補道路を選択する操作を行った時に尤度が最も大きい経路を出力とする。
3.5. Webページの魅力度指標の提案
ユーザー体験の向上の為にWebのデータ解析は盛んに行われている。一方で平均滞在時間や直帰率などの既存の指標では、振る舞いが全く違うページでも平均的な値が似ているなら、同様の評価値となってしまうという問題を抱えている。本研究では各ユーザーの滞在時間を含めたWebページの遷移情報のみから、経由点として使われるWebページと目的のWebページを分離できる魅力度指標を提案する。実際、Yahoo! JAPANニュースを用いた実証実験ではカテゴリーページでは値が低く、流行りの話題である「2018年ワールドカップ」や「令和」に関する記事の値が大きくなっており、手法の有効性が確かめられた。これらを達成する為にユーザーの興味度の変化を非負値行列分解と制約付きネットワークフローの問題を解くことによって取得した。その後、ページ毎に興味が似ている人々を1つのクラスタとみなし、滞在時間をワイブル分布でフィッティングした。最後にワイブル係数とクラスタ間の人数比から最終的なWebの魅力度を定義した。paper
3.6. バイクシェアリングシステムにおける需要予測・最適台数決定・再配置経路決定
本論文では、返却場所が決まっている(ドック型)バイクシェアリングシステムにおける需要予測・最適台数決定・再配置経路決定を行った。需要予測においては一般的なグラフ構造に適応できる深層学習手法であるR-GCNを用いることで、ドック間の貸し出しや返却の依存関係を上手く表現することに成功した。最適台数決定では「自転車が0台で貸し出せない状況」や「満車で自転車を返却出来ない状況」をなるべく回避するように0-1整数計画で定式化した。再配置経路決定では複数台のトラックが協力することで、各トラックの移動距離制約がある中で先ほど求めた最適台数になるべく近くなるような経路を0-1整数計画で定式化することに制約した。バイクシェアリングシステムにおけるEnd-to-Endのアルゴリズムを提案したことと、複数台のトラックの協力による実現可能な配送計画を達成しことが本論文の貢献である。
Akihiro Yoshida, Yosuke Yatsushiro, Nozomi Hata, Tatsuru Higurashi, Nariaki Tateiwa, Takashi Wakamatsu, Akira Tanaka, Kenichi Nagamatsu, and Katsuki Fujisawa, Practical End-to-End Repositioning Algorithm for Managing Bike-Sharing System, The proceedings of the IEEE Big Data 2019 , 2019(Acceptance rate 19.27%), in Los Angeles, CA, USA, 2019
3.7. 人流追跡と最適化
サイバー空間上で人や物の移動を表現するCPSs(Cyber-Physical Systems)はインフラや製造、小売など様々な分野で注目を集めている。本論文では人の検知及び追跡と人流最適化の手法を提案する。人流追跡においては複数カメラを用いた追跡にも対応できるKSP(K-Shortest Paths)という既存手法があるが、本研究では適切なデータ削減手法を行うことで精度は従来のままで3倍高速化することに成功した。また、人流の最適化では各人の出発・到着場所と出発時刻が与えた時に移動時間の最小化を目指した。最後に到着する人の到着時間を任意に決めた時に実現可能な移動方法が存在するかという問題は計算量が小さいSAT(SaTisfiablility problem)によって表現出来る為、2分探索を用いてSATを複数回解くことで移動完了時刻の最小値を求める事が出来る。また、IP(Integer Programming)に定式化する事で移動完了時刻が最小となる下で総移動時間が最小となる移動方法を求める事に成功した。実データを用いた実験によって移動完了時刻は30秒から10秒に短縮され、総移動時間に対しては225秒から47秒に削減された。
3.8. HV車の燃料消費量最小となる制御ロジックの求解
自動車の新規開発においては、プロトタイプを実際に作るのではなく、計算機上でシミュレーターを使って開発を進めるモデルベース開発が現在の主流であり、それによりコスト削減に成功している。本研究では各時刻の車速が与えられた時に燃料消費量が最小となる制御ロジックを制約付き最短路問題として定式化することに成功した。提案手法では初めに時間を離散化し、時間間隔とその時に充電するバッテリー量を固定した時に燃料消費量が最小となる局所的な制御ロジックを双3次スプラインを用いて求める。その結果から走行全体の制御を表現するグラフを生成して、バッテリー量が最初と最後で同じになるという制約の下で最短路を求めた。さらに、最適解を取り得ないグラフ上の枝を予め取り除いたり、局所的な制御ロジックを求める際の計算を適切に省くことによって、計算時間の削減に成功した。paper
3.9. 光ファイバ配線の最適化
IoTの普及を背景にデータトラフィック量が増大し、サーバーやストレージ間を繋ぐ光ファイバの数が増加している。光ファイバには「急峻な曲げが出来ない」といった制約や損失増加や遮断を引き起こす要因となる交差部について「交差部はお互いのファイバが直線状態である方が望ましい」、「可能な限り交差部が少ない方が望ましい」といった性質がある。そうした制約や望ましい状況を数式で表現し0-1整数計画に定式化することで問題を解決した。