পাল যুগের স্মৃতিচিহ্ন দিবর দীঘি, পরিচর্যার অভাবে হারাচ্ছে সৌন্দর্য