В июле 1933 года А.А. Милютин писал в Череповецкую избирательную комиссию, лишившую его избирательных прав, что он получил отказ, очевидно, по громкой своей фамилии «Милютин». По-видимому, его сочли за известного фабриканта. Андрей Андреевич заявил, что не собирается мириться с мыслью о беспристрастности к его делу. «Позорное пятно «лишенца» не дает мне покоя».