教えて！住まいの先生

20歳の時に相続税対策で祖父と養子縁組し、いざ祖父が亡くなると父を抜かして自分が将来的に貰うものを全て引き継ぎました。
※父が、亡くなった時は相続を辞退し弟に全て渡すという話になってます。

マンションもありましたが、大半は田んぼや土地などで、収入があるものは少なく毎年固定資産が400万もあり、税理士や弟からは「長男だから先祖代々の土地だから、守っていかないと」と言われ、収入や借り手の少ない土地はすぐに売りたいんですがなんとか、保ってきましたがもう限界で、このご時世マンションを建てるのはありえないし、病院や施設のために貸してほしい話は来た方がありません。
養子縁組出来なかった弟に悪いと思い、新築を建てる家の土地は田んぼを分筆して譲渡したりしたんですが、ここで売るという選択肢は薄情なんですかね？

固定資産税は、年齢や収入に関係ないため持ってるだけで重荷になってしまいます。
まだ、買い手のない山ではなく畑や田んぼなので戸建て用には売れるとミサワさんや積水さんには言われますがまだ、身を切ってスーパーやドラッグストアの土地貸し出しの美味い話が来るまで我慢しないとダメでしょうか？

ちなみに、父の弟の叔父さんは田んぼをすぐに売りました。父は激怒してましたが、正直羨ましいです。 今の時代に本家や分家という父や弟が理解出来ません。
私がマンションなどの収入で贅沢してると思ってそうですが、税金も高くマンションのローンもあと12年残ってるし、このご時世に有限会社は難しく法人化には、400万近くかかります。

親戚からは、「売るなんて長男の自覚がない！なんて、薄情なんだ！どんな思いで、祖父が開拓したと思っている。」と言われますが、祖父から借りるだけ借りてそのままの祖父の兄弟に言われてもなんとも思いません。

固定資産が、厳しいなら売っても良いんでしょうか？もう、ノイローゼ気味になってきてます。みなさんの意見、世間の感想が聞きたいです。