教えて！住まいの先生

私は20代男です。半年ほど前に仕事関係で知り合った方（Aさん）と仲良くなり、話していく内に一緒に働かないかと勧誘され、私が会社を辞めAさんの元で働くことになったのですが、Aさんはかなり離れた場所に住んでいた為私がAさんの職場近くに引越しをしました。
その際にAさんが賃貸マンションを契約してくれ、家賃は毎月私からAさんに払っていました。
入居時にAさんとそのマンションのオーナーが
「大きく壊したりしない限り自分でリフォームする分には良いよ」と言われたため、自分で少しだけリフォームをしました。

ですがいざ共に働いて数ヶ月が経つと、当初話してた内容とかなり違ってきて、給与やその他諸々の話が2転3転してかなり酷い内容となってました。

Aさんは個人事業主であったため仕事上の契約書などは一切交わさなかった私にも落ち度があります

なのでさすがに不味いと思い先月の頭に辞めることを伝えると
かなりの罵詈雑言とまだ分かりもしない修繕費を含めた退去費用を請求してきました。
ですが私自身契約書なども見せられておらずハンコもサインもしていません、入居時のチェックリストなども一切見せられておらず、私がAさんの元に着いた頃にはいきなり入居でした（マンションもかなり築年数が経っており、入居段階であちこちボロボロです）提出した書類といえば免許証と車検証の写真だけです。

この際、住んでいた分の家賃は払いますが退去費用に関しては正直言うと一切払いたくありません。
完璧に退去した後内容の内訳は見せてもらおうと思っていますが
このような場合退去費用を払うのは私なのかAさんなのか、バックレも視野に入れていますが法的にどうなのでしょうか。
知識のある方、ご回答のほどよろしくお願いします。