話それ自体の良し悪しや他作品と比較して云々というのは兎も角そこから分かる事情や展開だけを鑑みた場合「主人公が薄情」という評価を受けてしまったのは自分からはさもありなん、としか。

第一に「個人的な事情でしかないなら幾らでも後回しにしてしまえばいい」というのがあります。
元いた世界に帰ってエロ動画見るなんて魔王か何かを迎え撃ってからでも遅くはないわけで、まして「一定の時間が経つと元いた世界には帰れなくなる」とか「(敵が強すぎるなど)主人公の力量では到底手に負えない問題である」といった切実な事情(後者なら後者でチキン扱いされるでしょうが)も無く「やむなく見捨てた」という言い訳の余地はとても無い以上、そう評されるのも致し方無い気がします。

あと見る限り主人公のキャラクター性に正直好感が持ちにくいために、悪い側面ばかり目についてしまうという線もあります。
特に極度のめんどくさがりで無関心というのは魅力の出しにくいキャラ造形ですからね、ある意味こういうタイプのキャラを極端に難しくしたようなウォッチメンのDr.マンハッタンは有名ですが、同作のキャラの中で人気がある方かというと…と言った感じで、作中でもコメディアンやシルクスペクターにそのスタンスを批判・非難されたりしています。
面白いキャラにできる可能性はなくは無いですが、共感や好感を得るのは諦めた方がいいと言わざるを得ないでしょう。