Был научным сотрудником Иркутского НИИ редких и цветных металлов, в 1980 году поступил на службу в экспериментально-промышленное объединение «Луч». В 1983—1988 гг. руководил представительством объединения «Луч» в ГДР, где состоялось его знакомство с Владимиром Путиным. По сообщениям СМИ, Чемезов и Путин были сослуживцами в дрезденской резидентуре КГБ.

С 1988 по 1996 год занимал пост замгендиректора внешнеторгового объединения «Совинтерспорт». С 1996 год по протекции Путина Чемезов был назначен начальником отдела внешних экономических связей Управления делами Президента РФ (впоследствии — Администрации Президента России). В 1999 году получил должность генерального директора ФГУП «Промэкспорт», в 2000 году вошел в состав Комиссии при Президенте РФ по вопросам военно-технического сотрудничества с иностранными государствами.

В 2000—2007 гг. был первым заместителем, а впоследствии — генеральным директором ФГУП «Рособоронэкспорт». 26 ноября 2007 года Сергей Чемезов был назначен гендиректором государственной корпорации «Ростехнологии» (с 2012 года — «Ростех»). В 2006 году был избран в Бюро Высшего совета партии «Единая Россия». С 2010 года является координатором проекта «IT-прорыв» партии.

В 2014 году был включен в санкционные списки США и ЕС.

По данным Forbes, суммарный доход семьи Чемезова в 2017 году составил 1061 млн рублей, в свою очередь, личный доход госслужащего оценивается в 212 млн рублей.