Diverses raisons peuvent conduire au retrait du label : désaccord entre les deux parties (propriétaire de l'édifice / CG38), non respect de la convention signée, ténement non labellisable dans sa totalité (refus de l'un des propriétaires)...

En 2011, deux édifices ont vu leur label retiré :

Eglise / Ponsonnas
Suite au non respect, de la part de la commune de Ponsonnas, des exigences liées à la signature de la convention avec le CGI, l'église Sainte-Marguerite s'est vue retirer son label.

Usine-pensionnat du Vernay / Nivolas-Vermelle
Le tènement est aujourd'hui divisé en deux propriétés et seules la maison de maître et la chapelle sont labellisées depuis février 2011. L'un des intérêts majeurs du site réside dans la coexistence de la partie habitat et de la partie industrielle dans un site clos et homogène. Le grand nombre de bâtiments conservés en bon état ajoute à l'intérêt de l'ensemble. Devant le refus des propriétaires de la partie usine-pensionnat de labelliser leur bien, le label a été retiré au reste du tènement.