Сухарева башня оставалась куском сухаря в горле у властей. Храм Христа Спасителя уже взорвали, Кремль проредили, уничтожив несколько древних соборов. Наконец, добрались и до башни.
В 1934 году Сухаревка, а с ней и вся Москва, опустели. Несмотря на письма академиков архитектуры Иосифу Сталину, башня была приговорена. Она не вписывалась в новую концепцию советской столицы.