Karl-Heinz Muddemann a connu le plus grand succès de sa carrière à l'âge de 20 ans. Il a remporté le classement général du Tour de Rhénanie-Palatinat en 1970, sans avoir remporté aucune des dix étapes. À la fin de la saison, il est devenu cycliste professionnel. Sa première équipe était l'équipe belge Flandria-Mars, dont Roger de Vlaeminck était le capitaine. Un an plus tard, il a rejoint l'équipe allemande Ha-Ro, qui a été intégrée à l'équipe Rokado en 1973. En 1972, il est devenu vice-champion de course sur route derrière Wilfried Peffgen et a participé au Tour de France. Il termine le Tour à Paris à la 52e place du classement général. Avec sa deuxième place au Grand Prix de Gippingen, il réussit à obtenir une autre place parmi les meilleurs. En 1971, il participe à la Tour d'Espagne, qu'il termine à la 55e place. En 1972, il se classe 13e aux Championnats du monde sur route UCI, devenant ainsi le meilleur coureur allemand.
Il a participé quatre fois au Tour de Suisse, son meilleur résultat étant une 34e place en 1972.
