＞落語の場合は語り手が「話題を戻す」という行為をするわけだから問題ないけど、特に三人称とかだと少々変な気はします。

ああ、それはありますね。
小説というのは三人称だろうと一人称だろうと実は作者が語っているのですが、三人称は作者の気配を消す方が効果的なんですね。閑話休題という言葉自体は昔から普通にある常套句だからエッセイや一人称小説ならあまり気になりませんが、三人称で使われると急に作者が顔を出してきたみたいな違和感はあるかもしれません。その点、悪手ですね。