Сдача квартиры родственнику в аренду без договора.

Несколько лет назад я сдавал свою квартиру своему родственнику, а сам жил в другом месте. Договор не оформлялся, так как мы родственники и не считали это необходимым. Деньги он платил небольшие, больших доходов у него не было. Уже год он не проживает в моей квартире. Обострились отношения с соседом и он мне, сейчас, угрожает тем, что сообщит налоговым органам, что я сдавал квартиру и подаст на меня в суд.

Скажите, пожалуйста, есть ли, в этом какая-то большая опасность для меня и, если придётся разговаривать с представителями налоговых структур или в суде, то, к каким вопросам мне нужно быть готовым?