エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
pytorchハマったところ備忘録 - 理科系の勉強日記
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
pytorchハマったところ備忘録 - 理科系の勉強日記
Cuda assert fails: device-side assert triggered BCELossにnanを入力していました。BCELossの入力は[0... Cuda assert fails: device-side assert triggered BCELossにnanを入力していました。BCELossの入力は[0,1]なのでエラーが出ますね。BCEWithLogitsを使えば[0,1]以外も扱えますが、nanをだしている方をなんとかしました。nanが出ていた理由は学習率が高すぎたというものでした。schedulerでburn in期間を設定して、最初は小さなものから徐々に大きくすることにしました。 logをコピーしすぎてGPUメモリが足りない for batch in dataloader: (中略) running_loss += loss # loss.item()でないと勾配情報をどんどんコピーしていまい、メモリリーク Accumulated gradients 大きなバッチサイズを確保したいがGPUのメモリが足りないので、勾配を