「つらい思いをしている」のは本当に趣味のせいなのか？

創作には直接関係ありませんが、皆さんの考えを聞かせてもらいたいと思います。

ネットのサブカル界隈を見ていると「オタクへの偏見のせいでモテない」とか「学生の時、みんなと好きなものが違ったから友達ができなかった」みたいなことを言っている人が少なくありません。
これが私の実感とどうも合わないんです。
（以下はあくまで私の実体験の範囲内の話になります）

少なくとも私自身や私の周囲にいる人達は、アニメや特撮のオタクであっても、みんなと同じドラマを観ていなかったりゲームをやっていなかったりしても、平均レベルのコミュ力や社会性、一般常識さえ持っていれば、普通に非オタクや陽キャを含めた人達との友達付き合いや恋愛が問題なくできていました。実際、私と付き合いのあるオタクはほとんどが結婚しています。
（だいたい「オタクは陰キャでコミュ障の非モテ」みたいなのも、そうか？　と思いますし、それを言っているのがオタクだったら「自分がモテないのをオタク趣味のせいにするなよ」と思います）

たしかにみんなからバカにされたり、孤立したりしているオタクはいましたが、そうなる原因は、TPOをわきまえないとか、他者への配慮を欠いた言動、といった人間性の問題や、遊びや会話に誘われるのを待っているばかりで自分からは誘わない、他の人の好きなことに無関心、といった消極的な態度などであって、趣味とは無関係でした。

私の経験上、それまでに良好な関係さえ築けていれば、アニメ好きと打ち明ければ「へえ、どんな作品が好きなの？」くらいには話に乗ってもらえます。
みんながやっているゲームをやっていなくても「どんなゲームなの？」と聞けばそれをきっかけに会話に入れるし、「自分もやってみたい」と言えば、「じゃあ、うちで一緒にやろう」とか、それが漫画や雑誌なら「じゃあ、貸してあげるよ」と言ってくれる世話好きが一人はいるものです。

長々と書きましたが、短く言うと「趣味のせいでつらい思いをしているとか人生がうまくいかないとか言っている人のそれは、本当に趣味が原因なのか？」というのが私の疑問です。
近年、アニメ、漫画、ゲームをはじめとするオタクカルチャー全般に対する世間の評価が上がってきているにもかかわらず、サブカル界隈の雰囲気があまりに変化しないように見えて、「そもそもが本人の性格や人間性の問題であって、趣味とか関係なかったんじゃないか？」という疑問がわいてきたことから質問させてもらいました。

もっとも私は三十代前半でオタク差別が一番ひどかったとされる頃のことは覚えていません。もしかしたら私が知らないだけで「社交的で明るい性格からみんなの人気者だった人物が、オタクだと分かった途端に仲間外れにされたり、いじめられたりしだした」みたいなことがあったのかもしれません。
皆さんの体験や見聞きしたところはどうでしょうか。