ファンタジーで探すと見つかりにくいかもしれませんが、SFなら当たり前にあったりします。地球外が普通に出てきますから。

例えば「スターウォーズ」シリーズは、設定年代が遥かな昔の宇宙ですから、地球なんてものが出てこない。人類っぽいキャラ、亜人的、魔物的なデザインの知的生物とか出て来て、社会も似て非なる感じですよね。
作中の各種族の文明レベルもさまざまでした。石器レベルまではなかったですけど、古代～未来まで折衷した世界観です。

「科学技術を持つ異星人が地球に飛来し、石器時代の人類を母星に連れ帰った」と考えれば、お考えの構想とほぼ同じでしょう。それをSFにするかファンタジーかは、割とどうとでもなると思います。