読むせんさんの恐怖感は、つまりは即物的に危害を加えられるかもしれないというイメージが怖いということではないでしょうか？
心霊系の場合は、幽霊って危害を加えませんよね。いや、危害を加える幽霊もいるかもしれませんが、怖がる人は危害を受けなくても怖がります。蒼ざめた顔をしてぼうっと佇んでいるだけで怖いという恐怖感。これは現実から少しずれた異界の深淵を垣間見たという拠り所のなさに、不安を抱くのだと思います。

私の場合は、そういう異質感のもたらす感覚に痺れはしますが、危害を加えてこないならそんなに怖くはないなとも感じる方かな？　要するに斬り刻まれたりするのは痛いから嫌ということ。どのみちフィクションではあるのですが、そこは感情移入の問題で別の話でしょう。

もう少し考えを進めると、異質なもの（幽霊）が怖いというのは、異質ゆえに危険性が判断しがたく、よって危害を加えられる可能性のあるものに警戒するという自然の本能なのかもしれません。

まとめると、とにかく生物は自分に危険を及ぼすものに恐怖する。そして、即物的に危険と判断できるものへの恐怖と、理解不能ゆえに危険かもしれないものへの恐怖の二種類がある。
そういうことなんじゃないかと。