【DeepLearning論文】ニューラルネットと物理シミュレーションの融合

機械学習

論文概要

Title


著者は何を達成したの?

  • 「ニューラルネット」と「物理モデル」を組み合わせるコンセプトを提案
  • その有効性を具体的な応用事例を元に実証

この手法のキーポイントは何?

  • ニューラルネットと物理モデルの両方を活用したアーキテクチャ
  • 学習の損失関数に対して、データエラーの最小化だけでなく、科学的一貫性を示す項を追加したこと

自分の研究にどう役立つか?

  • ロボットの物理モデルの品質向上に利用できそう

次に読む論文は?

基本コンセプト

この論文は、そのコンセプトが非常に面白いので、そこから説明をします。
上の図は、論文中で使用されたコンセプト概要図になります。

横軸は「データの利用」と考えると分かりやすいでしょう。
ニューラルネットワークは、とにかく大量のデータに対して処理を行うので、図中の右側に位置しています。
一方で、物理モデル(物理の数式)などは、利用のためほとんどデータを必要としないため、左側にあります。

縦軸は「科学的知識の利用」です。
物理モデルでは、物理学の公式などを総動員しています。
分かりやすいのは、物理シミュレーションです。
反対に、ニューラルネットワークは最適化計算だけを行っているため、人間の科学的知識をほとんど利用していません。

今回の提案されたPhysics-guided Neural Networks (PGNN)は、それぞれの特徴を合わせたものになります。
つまり、記事のタイトルに示したように「ニューラルネットと物理シミュレーションの融合」です。

手法

実際の論文に示された手法をみていきましょう。

アーキテクチャ

手法は、実に簡単です。上がその概要図です。

Drivers(要因)\(D\)が、物理モデル\(f_{PHY}\)に入力されます。その出力となるのが、\(Y_{PHY}\)です。
\(Y_{PHY}\)は、あくまで物理モデルのみによる結果です。

その結果を踏まえ、次のニューラルネット\(f_{HPD}\)によって、処理が行われ、最終的に\(Y_{HPD}\)が出力されます。
HPDは、hybrid-physics-dataの略です。

ここでポイントなのは、最終的な出力\(Y_{HPD}\)では、物理モデルとニューラルネット、両方の処理が反映された結果だということです。
つまり、このアーキテクチャでは「ニューラルネットと物理モデルの融合」が実現されています。

損失関数

ニューラルネット\(f_{HPD}\)には、その関数を最適化するために損失関数が必要です。
今回の手法には、以下の損失関数が利用されています。

\(
\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\argmin_{f} \underbrace{Loss(\hat{Y}, Y)}_{実験誤差} + \underbrace{\lambda R(f)}_{構造誤差} + \underbrace{\lambda_{PHY} Loss.PHY(\hat{Y})}_{物理的一貫性}
\)

\(\mathop{\rm arg~min}\limits_{f}\)は、以降の式の値が最小となる\(f\)を選びます。
これは損失関数の一般的に使われるものです。

そして見ての通り、この損失関数は3つの要素から作られています。
※ このブログは一般の人にも分かりやすく書くのが目的なので、なるべく日本語に訳していますが、その訳が適切でない場合があるかもしれないので、その際は英語を参照してください。

実験誤差(Emprical Error)項と構造誤差(Structual Error)項は、一般的なニューラルネットワークに登場する項です。
推論結果とラベルデータとの間に、どれくらいの誤差があるかを示しています。

物理的一貫性(Physical Inconsistency)項は、この論文の第2の目玉です。
この項では、推論結果が物理法則に対して、一貫性があるかを判断します。
これは、対象とする問題によって利用する数式が異なります。

この手法のデメリットとして、この損失関数を適用する問題ごとに変える必要があります。
これは、新たなチューニングが必要になり、上手く組み込むべき数式を選択する必要があります。

湖の温度変化予測への応用

前章までで、一般的な提案手法の概要を紹介しました。
この論文では、その有効性を実証するために、実際に湖の温度変化予測問題に対して手法を適用しています。

具体的な数式は難しいし、本質ではないので避けますが、
論文中では、以下の2つの物理モデルを利用しています。

Title
湖内の温度と密度の関係

Title
湖内の水深と密度の関係

結果

上の図で示したのが、湖の温度変化予測での実験結果です。

各手法により、その推論結果を比較しています。
横軸は、「物理的一貫性」で数値が小さいほど、結果が良いことを示しています。
縦軸は、「テスト誤差」で数値が小さいほど、精度が高いことを示しています。
つまり、左下に位置するほど良い結果であるといえます。

さて、最も左下にいるのがPGNNでこの論文の提案手法です。
右下にあるPGNN0は、提案手法において、前節で示した損失関数に物理的一貫性項がない場合です。
PGNNPGNN0を比較することで、物理的一貫性項の有効性が分かります

また他のプロットは、一般的な機械学習の手法と物理モデル単独の実験結果ですが、
どの手法でも、提案手法を超えられていないことが分かります。

より論文を深く理解するために

論文を理解するためには、やはり理論的背景が必要です!

今回の論文でも、損失関数などはニューラルネットに対する数学的理解を要求されてます。

ブロガーの僕が言うのも変ですが、ネット記事より書籍の方が情報がまとまっていますので、本でも勉強をおすすめします。
他の記事で機械学習分野における、僕のおすすめ本を紹介しているので、参考にしてみてください。

【2021年】失敗しない! AI・人工知能の書籍5選。【研究者が解説】
こんちわ、塩野入ワタルです!今回は、大学院で人工知能研究を行っている僕が、AI・人工知能のおすすめ本をレベル別に紹介していきます!【2021年】失敗しない!AI・人工知能の書籍5選。さて、結論は下記5つの書籍がオススメです。ビ...

まとめ

いかがだってしょうか?

実はこの論文、知り合いの大学教授からおすすめされた論文でした。
人からおすすめしてもらう論文は、一味違った面白さがあり、違った視点を得ることができます。

今回はコンセプトが非常に興味深い論文で、著者の独自の世界観に触れられた気がしました。

この論文で面白い点は、Introductionの章にほとんど引用文献がないことです。
一般的なディープラーニングの論文では、山ほどの文献を参照しています。
ここには、著者が自身の独自性を強く主張していることが伺えます。

また、第一著者のAnuj Karpatneにも興味を持ちました。
彼の他の論文を読むと、論理的な理論モデルと、ブラックボックスな機械学習の融合に精力的に取り組んでいるように思えます。
実験結果も良さげで、他の応用範囲も広がる気がします!

誤解や記述ミスなどもあるかと思いますが、コメント欄から指摘してもらえるとありがたいです!

コメント

タイトルとURLをコピーしました