1860年，詹姆斯·布鲁斯下令英军火烧圆明园。因此，他被认为是火烧圆明园的罪魁祸首之一。此后，“额尔金遭天谴”之说在民间流传开来。晚年的詹姆斯·布鲁斯饱受病痛折磨，被认为是因“劫掠中国圆明园的诅咒”。

　　詹姆斯·布鲁斯的家族也被诅咒，代代将受到“神罚”，注定活不过六十岁shadowrocket或surge。其父第七代额尔金伯爵曾从希腊帕特农神庙掠夺大理石雕塑而臭名昭著，53岁时病逝。詹姆斯·布鲁斯的儿子也没有活过六十岁，死时58岁。

　　1862年，詹姆斯·布鲁斯被任命为印度总督。这一年，他51岁。一年后，詹姆斯·布鲁斯在印度喜马偕尔邦的达兰萨拉视察时，因突发心脏病，从楼梯上跌落活活摔死，终年52岁。