男性に「恐い」と言われました

男性のご意見も頂けたらありがたいです。
去年の夏、姉の友人に弟さんを紹介されました。
彼は県外で働いており、会うこともなく半年近くメールのやり取りをしていましたが、県外にいる私の友達にも会えるからと彼に会いに行くことにしました。（メールでは仲良くやっていました。）
メールで○月上旬頃そちらに行くが構わないですかと聞くと、その時期は研修がありそうと返信がありました。
平日でなく休日にも研修はありますかと問いに返信はなかったのですが、予約の期日が迫っていたのでホテルパックの手配をしました。
手配したことは書かずに旅行の日を伝えると、その日は研修がありそうだから確認すると返信がありました。
「断れるわけないじゃん」と冗談で返してくれると思い、「ホテルパックも手配したので仕事は断ってほしいな」と明るい感じのメールをしたら、数日後「仕事は断れません。もっと配慮があると思っていましたが正直恐いです。もうメールすることはありません」と返信がありました。
三ヶ月も前の出来事ですが、まだ引きずっています。私のメールの内容、また県外まで会いに行こうとしたことはやはり「恐い」ことでしょうか。