教えて！住まいの先生

私がマンションに入居して1ヶ月頃、生活リズムが整い、部屋を出るタイミングで隣人が玄関周りを掃除していて、こちらをチラッと見てきました。
これで、お互いが男と女と察せられました。
その時にも、私が部屋を出るタイミング朝5:50頃ですよ？にピッタリ掃除するなんて気持ち悪いと感じました。まるで確認するようで。

今は入居して1.5年です。
ここ数カ月、私の寝るタイミング23:30頃にドスンドスンと床に踵をつけて歩く音と振動を毎日してきて、眠りの妨げをされます。
しかもそれはたった5歩程度を毎日です。
あぁ、私が寝るタイミングがバレたのか。と感じています。

そしておとといと先月に、玄関の鍵穴を指す音と、ガチャガチャガチャとドアノブをゆすることを30秒ほどされ、私は室内にいるので急にドアが開けらるかと思うと恐怖で、急いで玄関まで行ってちゃんと閉まっているか確認しました。
私が玄関に近づいた時、あれー？わざとらしい男性の声がしました。まだ16時頃で酒の時間でもないのに。
その後隣の部屋のドアが閉まる音がして、
隣の男の人か。とは思いました。

そして一昨日、また夕方より早い時間に、施錠の穴にカチャカチャと刺す音が何回か聞こえました。
ビクッとしましたが、閉まっているはずとジッと身構えると音はやみ、また隣人のドアが閉まる音がしました。

数週間前には、私が外出して帰宅するタイミングで、
ドアを開けて顔を出してきました。目はあっていませんが、目が合う前に顔を引っ込めたと思います。
え！なんで出てきたの!と驚ききつつ、鍵を刺してあけるときも、ドアを20センチほど？開きっぱなしでした。私はこちらに被害がないように鍵を開けてすぐ身を滑り込ませて室内に入りましたが、帰ってくるタイミングで顔を出すなんて…と気持ちです。

私はまだ1.5年ですが、隣人はそれよりも長く住んでますし、マンションの一番端なのです。
一番端で隣は壁だと分かりやすいのに、ドアとドアに挟まれている私の部屋のドアを開けようと間違えるのは本当におかしいと思います。

そして今日も仕事から帰ってきて、ドアを閉めた後に、隣人からドスンドスンドスンと数歩足音をわざと聞かせるように、私が帰ってきたのに気づいてるよというように足音を鳴らされました。
(状況として私もバタンとドアが閉まる音をさせています)

生活音ではなく、こちらを意識しているような騒音なので、しかも男の人なので、いつか鍵穴を合わせて犯罪に合うんじゃないか、それと睡眠妨害もあり、どうした方がいいのか分からないです。
壁を殴りつけて、文句を伝えたいですが、逆上されたらこわいですし…
23:30頃や深夜2時頃にドスンドスンされた時は、偶に指でコツンと叩いて聞こえてると伝える程度です(毎日変わりません)

このマンションで一人暮らしを始めるのが初めてなので、これが当たり前なのか気にしすぎなのか、分からないので、どなたか教えて下さい。
よろしくお願いします。