Ta abiellus 1134. aastal Berthaga Lotringist (suri pärast 1162. aastat), kes oli Lotringi hertsogi Simon I ja tolle naise Adelheidi Leuvenist tütar. Nad said järgmised lapsed:

• Hermann IV (suri 13. septembril 1190)
• Gertrud (suri enne 1225. aastat), kes abiellus 1180. aastal krahv Albrecht von Dagsburgiga (suri 1211. aastal)

Pärast 1141. aastat abiellus ta Mariaga Böömimaalt, kes oli Böömi hertsogi Soběslav I tütar.

Hermann III on maetud augustiinide kloostrisse Backnangis.