Буденный родился в семье батрака на хуторе Козюрин станицы Платовской Донской области. Предки его происходили из Воронежской губернии. В детстве и юности Буденный работал мальчиком у купца, помощником кузнеца, молотобойцем, кочегаром, машинистом на молотилке. Что касается военного образования, то первоначально Буденный его фактически не имел. В его активе окончание курсов наездников для нижних чинов при Офицерской кавалерийской школе. Но после Гражданской войны он частным образом занимался с выдающимся военным ученым, генштабистом старой армии, бывшим генералом А.Е. Снесаревым, а в 1932 г. окончил Военную академию им. М.В. Фрунзе.

Осенью 1903 г. будущий маршал был призван в армию, в Приморский драгунский полк. Участвовал в русско-японской войне, в основном, в стычках с хунхузами. После войны Буденный был произведен в унтер-офицеры, остался на сверхсрочную службу. В годы Первой мировой Буденный снискал славу отважного кавалериста, за храбрость стал полным георгиевским кавалером, получил четыре георгиевских креста и четыре георгиевских медали, войну закончил старшим унтер-офицером. Среди его подвигов - захват германского обоза под Бжезинами в 1914 г., захват турецкой батареи под Ваном. Буденный неоднократно участвовал в рискованных разведывательных поисках на вражеской территории.