人外とかじゃあなくって、そういうこと言われるのは大抵「ファンの行動が目に余る作品」ですよ。作品内の設定も描写もまったくの無関係です。
そういうレッテルが嫌な場合どうするのがいいかと言えば、作者自身が誠実な対応を心掛けるくらいしかないんじゃあないでしょうか。厄介なファンって、母数が多くなったら確実に湧いてきますから。
最も、作者ひとりで手綱握れるうちはともかく、関係者が増えてくると身動きも取りづらくなるでしょう。そうなったときに、参考にされるのが今現在の態度ですので、うーん…やっぱり誠実に、謙虚に生きるくらいしか、「イキリ某」が許される道はないんじゃあないかな、と思います。
あと、言ってる側もわりと適当というか、貶して留飲下げてる部分もあるので、顧客ではないと無視して切り捨てるのも必要かもしれないですね。