三人称であれば「目を泳がせる」などで表現するけど、つまりこれは「動揺している」ということを表現した文章であるわけだけど、一人称ならそれは端的に視点主の主観で語れば良いだけで、むしろ「驚いてる様子」を形容する必要があまりないと思う。

「盲目の彼はずいぶん驚いた様子だった」とかダイレクトに、逆に「動揺した盲目の彼は閉じたまぶたの裏で目が泳いでるに違いなかった」と視点主のイメージで書いてしまったりとか、
ようするに、「目を泳がせる」という状況がどういう状況なのかを別の言葉で現す。驚いたり動揺したりしてるのなら、そう書けば良いわけで。
「遠くを見つめた」というのは、なんだろ、哀愁の念でもある場面かな。であれば視点主に「彼は～～に思いを寄せているのだろう」とか主観で語らせれば良いかなと。