Что касается питания здорового человека, любой разумный врач скажет - можно всё, но в меру.
Я не думаю, что вы готовите торты каждый день, и тем более со сгущеным молоком, и едите их на завтрак, обед, ужин.
Раз в неделю, с чаем, кофе - почему бы и нет. На здоровье.
Следует, наверное, учесть, раз вы добавляете в этот день в рацион сладости, то следует соответственно уменьшить потребление сахара или другой сладкой кулинарии.
Что касается калорийности продукта:
В 100 граммах натуральной сгущенки 8,5% жирности из цельного молока содержится 328 ккал, в столовой ложке - ~98.
Естественно, в куске торта показатели будут другие, выше, с большим содержанием жиров, так как в его составе различные ингредиенты.
Сгущеное молоко, энергетическая ценность, таблица
Вредно - это когда безмерно. А всего по чуть-чуть - можно.