AMP：Automatic Mixed Precision調べる（雑談枠）

半精度のfloat16を使うことでニューラルネットのforwardを速くする、AMPというテクニックがあります。
いつか調べたいなと思いつつ後回しにし続けていたので、気分転換に調べてみます。

Twitter
https://twitter.com/hiho_karuta