実際には瞬時には真っ暗になっていないはずです。

局所的に見れば、普段電気をつけている時、光子を吸収した分子や原子は非常に熱くなり、再度光子を励起したり、電子や原子を振動させる事で熱を逃がします。
こういったプロセスは通常、ピコ秒からフェムト秒のオーダーで起こるので、もちろん人間は知覚できませんが、電気を消して、ピコ秒程度の間は壁は光っています。
パルスレーザーを当てて、そのピコ-フェムト秒の残光を観察するというのは、今では実験室では普通に行われています。

また、光子はエネルギー保存則や運動量保存則は満たしますが、電荷保存則に対応する法則が無いので、エネルギー保存則や運動量保存則を満たす範囲でいくらでも作ったり消したりできます。

ちなみに光子が逃げて冷える前に、なんらかの方法で再度熱くする事を難しく言うと、反転分布を形成すると言い、レーザー発振なんかを起こす時には、この熱い状態を保つのが重要です。