老いらくの恋の対象？

トピの通りの内容です。
以前お向かいに住んでいた高齢の方（６０代後半）に恋愛対象に見られていると感じ始めて、どうしたものかと悩んでいます。

私は４０代前半、仕事育児に多忙な３人の子供の母親です。ご近所同士だった頃は週に一度ほど立ち話をしていました。基本的には家族の話ですが、たまに外見を褒められたりもしたのですが、オジサン。。というよりお爺さんの言う事ですし、私自身元来鈍感でもあり気にも留めずにいました。

引っ越されてからは、「今度カフェに行こう」と言われ、特に断る理由もなく、たまにお茶に行っていました。２か月に一度ほど連絡が来ては誘われていたのですが、最後にお茶に行ったのは今年の三月です。仕事、育児、資格の勉強などで本当に多忙で、正直ゆっくりお茶を飲めるような気分でもなく、やんわりと断っていました。

違和感を感じるようになってから、メールを読み返して見ると「外で座りながら貴女の事を考えていたので、久々にメールしてみました。」、「また一緒にお茶に行きたい」。「会いたい」という気持ちがダイレクトではないのですが、よく読めばかなり感じるような内容が多く、なんだか重たくなってきました。

先週また連絡が来て、４回以上やんわり断ってきましたし、今は休暇なためお茶の約束をしました。が、なんだか気分が重たく、一応夫にその話を伝えると夫は驚いて「そのメールはおかしいだろう」と言った感じでした。今まで夫に言わなかったのは、変に負の感情を高齢の方にもって欲しくなかったというのと、まさかそういう目では見られてないだろうと信じたいと言う気持ちもありました。ただ、現時点では恋愛対象に見られているような気がしています。

高齢の方ですし、あまり相手を深く傷つけずにあちらが私に落胆するような言動を考えています（言葉遣いが悪いなど）。おかしなトピで申し訳ないのですが、アドバイスお願いします。