むしろ良くあるやり方なので、使っちゃって大丈夫です。
時系列的な最初から書き始めた結果中々面白いシーンがない＝読者が読むのを止めてしまう方が良く無いですから。

回想がマズいのは多用した時というのも正しいです。
読者が「今どこの話をしてるんだ？」と混乱しなければ大丈夫。

後は、本編を始めた後どれぐらいでプロローグのシーンに繋げるかですね。
あんまり後の方になると、ここでプロローグに繋がりましたと言われても「はて、どんなプロローグだっけ？」となってしまう恐れもあります。
かといって、すぐに繋げられるなら、わざわざ回想シーンにする必要が無いですし。
とはいえ、ラスボスとの最終戦直前に繋がる例もありますし、すべて終わった後で事件全体を回想するパターンも多いですから、作者の書き方次第かと。