"Широкая известность Вавилова как учёного в значительной мере создана англо-американскими кругами… Его научное "имя" весьма сомнительной ценности… Вавилов характеризуется как авантюрист, ставящий свои личные интересы выше государственных, создающий себе славу за счёт трудов других… Основным двигающим мотивом деятельности и поступков Вавилова лежат не интересы дела, ведение которого ему доверено, а сознательный авантюризм, авантюризм как принцип работы".
Сталин и в политическом отношении не доверял Вавилову ― сделавшему стремительную карьеру в начале 1920-х гг., когда троцкисты массово внедряли своих людей во все сферы общественной жизни ― от культуры и науки до армии. Тем более, что в сводках НКВД для Сталина о Вавилове сообщалось следующее:
..."Группировкой (Вавилова) совершенно усвоена марксистская фразеология,… слабые и сильные стороны советского аппарата и партийного руководства, способ и методы определения политических убеждений и настроений отдельных лиц… В узком кругу… обычными являются беседы… о "кучке негодяев", об "изменении политического курса". По адресу т. Сталина Вавилов иначе как в контрреволюционном клеветническом тоне не говорит…"
Начиная с 1933 года Сталин и Молотов неоднократно демонстрировали отчуждённо-холодное, а иногда и прямо пренебрежительное отношение к Вавилову. Зарубежные экспедиции ВИРа прекратились. Ходатайства Вавилова об откомандировании его на очередные международные конгрессы отклонялись или оставались без ответа. Во второй половине 1934 года было отменено санкционированное ранее Я. Яковлевым празднование 10-летия ВИРа (ИПБиНК) и 25-летия научной деятельности Вавилова. В феврале 1935 года, на VII Съезде Советов, Вавилов не был переизбран членом ЦИК. В июне 1935 года он был снят с поста президента ВАСХНИЛ и переведён в вице-президенты. В декабре 1935 года на встрече В. М. Молотова с учёными, когда Вавилов докладывал о планах научно-исследовательских работ биологического отделения Академии наук, среди которых была и такая экзотическая тема, как "Исследование одомашнивания лисицы", председатель правительства прервал его возгласом: "Что за фантазия одомашнивать лису? И когда Вы, академик Вавилов, перестанете заниматься пустяками??" Осенью 1936 года согласие правительства СССР на проведение в Москве очередного международного генетического конгресса, о котором долго хлопотал Вавилов, было фактически отозвано. В 1937-39 гг. на страницах центральной печати неоднократно появлялись критические статьи о деятельности Вавилова и ВИРа.
Во второй половине 1930-х гг. публичная критика Н. Вавилова как директора ВИРа усилилась. Вновь и вновь отмечалось отставание института от решения срочных сельскохозяйственных проблем; чрезмерная академичность работ многих его ведущих сотрудников. А. К. Коль в 1936 году, в статье "Реконструкция растениеводства СССР", повторил свои утверждения, что в ВИРе "был допущен крен на прикладную ботанику, т. е. на академическую морфологическую систематику сельскохозяйственных культур, не давшую, в конце концов, нашему строительству ничего реального. Всем известное отставание Всесоюзного института растениеводства от задач социалистического строительства в сельском хозяйстве своими корнями уходит именно в этот неправильно допущенный крен". Коль отмечал, что источниками форм сельскохозяйственных растений для их дальнейшего улучшения должны были бы быть не дикие дебри и горы, а центры цивилизации. Эти свои тезисы он повторял и в более поздних публикациях.
Сменивший А. К. Коля в должности зав. отделом интродукции института Г. Н. Шлыков тоже неоднократно выступал с критическими оценками деятельности Вавилова и его руководства ВИРом. "За истекшее десятилетие Институт Растениеводства не мог выделить ни одного сорта из растений хлебных злаков, который, пройдя конкурсное государственное сортоиспытание, оказался бы действительным шедевром и тем самым доказал бы непосредственное практическое значение для нашего земледелия вавиловских "центров"".
Критика Вавилова звучала на страницах газет, в стенах Академии наук, ВАСХНИЛ. 4 октября 1937 года в "Правде" появилась статья "На старых позициях", в которой отмечалось, что громадные средства на экспедиции не оправдали себя; что институт, вместо сортов, дал сотни монографий и ботанических описаний. В 1937 году было урезано финансирование ВИРа. В Учёный совет института был введён, независимо от Вавилова и вопреки его желанию, ряд новых членов. В мае 1939 года президиум ВАСХНИЛ, после обсуждения отчёта ВИРа, признал его работу неудовлетворительной.
В те же годы к публичной критике Вавилова начали добавляться письма в парторганы и НКВД с требованиями расследования его деятельности. Так, 27 марта 1935 года, в письме на имя Сталина вицепрезидент ВАСХНИЛ Бондаренко и парторг академии Климов, утверждали, что "в качестве Президента он (Вавилов) фактически представляет в настоящее время отрицательную величину, фигурируя, как таковой, лишь в торжественных случаях… борьба за решительный поворот и перестройку науки в сторону практических запросов социалистического сельскохозяйственного производства, на что указывал т. Сталин на XVII съезде партии, вызывает глухое сопротивление части старых научных работников". 7 марта 1939 г. Г. Шлыков, тогдашний заведующий отделом интродукции ВИРа, направил письмо в НКВД с предложением расследовать связи Вавилова с уже осуждёнными за троцкизм бывшими наркомземами Яковлевым и Черновым.