西里的叛乱和英法战争也牵扯了他大量精力和资源。
新教皇上任伊始就谣言四起——卜尼法斯处心积虑地诱导切莱斯廷退位，他的当选也不合法，其实卜尼法斯只是提出退位建议的枢机主教之一，而且谣言发起者科隆纳家族的两位枢机主教在教皇选举会议上也投票给他。
科隆纳家族造谣主要是因为卜尼法斯的傲慢无礼和过度扩张家族势力，在这样的敏感环境下，切莱斯廷成了政治斗争的牺牲品。
起初，卜尼法斯对前教皇实行保护性的软禁，在后者试图逃跑后，干脆将其关押在罗马城南的一个城堡里，八十五岁高龄的切莱斯廷教皇最终于1296年5月死去。