Виктора Агеева можно назвать культовой фигурой советского, да и мирового любительского бокса. При этом, как ни парадоксально, значимых побед в его карьере было не так и много. Меньше, чем у его основного конкурента, также выдающегося спортсмена, двукратного олимпийского чемпиона Бориса Лагутина.
«Агеев — отнюдь не самый титулованный из отечественных боксёров. Но произведённое им впечатление оказалось от титулов совершенно независимым. Недосказанное им на ринге способствовало мифу о нём гораздо больше, чем перечень громких побед. Не раз я сталкивался с людьми, совершенно уверенными, что Виктор выигрывал Олимпиады», — писал в своей книге «Герой своего времени. Книга о Викторе Агееве» его близкий друг и известный прозаик Александр Нилин.