Speer exigea qu’on lui envoyât des travailleurs en provenance de pays étrangers déterminés. Ainsi, à la conférence tenue du 10 au 12 août 1942, Sauckel reçut l’ordre de fournir à Speer encore « un million de travailleurs russes pour l’industrie allemande d’armement, d’ici la fin octobre 1942 ». Au cours d’une réunion qui eut lieu au Comité central du Plan, le 22 avril 1943, Speer examina les plans qui devaient permettre de fournir des travailleurs russes pour les mines de charbon et rejeta catégoriquement la proposition tendant à combler le déficit de main-d’œuvre par des travailleurs allemands.
Speer a prétendu qu’il avait préconisé une réorganisation de la main-d’œuvre dans le but d’augmenter l’utilisation des travailleurs allemands dans la production de guerre en Allemagne et d’utiliser la main-d’œuvre des territoires occupés pour la production locale de denrées de consommation fabriquées auparavant en Allemagne. Speer prit des mesures dans ce sens en instituant dans les territoires occupés ce qu’on appela les « industries bloquées » qui produisaient des marchandises destinées à être ensuite expédiées en Allemagne. Le personnel de ces industries était exempté de la déportation pour le travail forcé, et tous les travailleurs qui avaient reçu l’ordre de partir pour le Reich pouvaient éviter la déportation en travaillant dans les « industries bloquées ». Ce système, qui était un peu moins inhumain que la déportation en Allemagne, était cependant illégal. D’ailleurs, les industries bloquées ne jouèrent qu’un rôle de peu d’importance dans le programme général de travail forcé ; néanmoins Speer voulut coordonner leur utilisation avec l’exécution de ce programme dont il connaissait parfaitement les modalités d’application. Officiellement, il en était le principal bénéficiaire et en demandait constamment l’extension.
En sa qualité de chef de l’Organisation Todt, Speer intervenait également de façon directe dans l’utilisation des travailleurs forcés. L’Organisation Todt fonctionnait surtout dans les territoires occupés, pour des travaux tels que la construction du « Mur de l’Atlantique » et de routes stratégiques ; Speer a reconnu qu’il comptait sur le service obligatoire pour maintenir des effectifs suffisants dans cette organisation. Il recourut aussi à la main-d’œuvre de camps de concentration pour l’utiliser dans les industries placés sous son contrôle. Au début, il ne fit appel à cette source de main-d’œuvre que pour de petites usines isolées et, plus tard, craignant de voir Himmler s’immiscer dans son domaine, il s’efforça d’employer un nombre aussi réduit que possible de travailleurs des camps de concentration.
Speer fut impliqué aussi dans l’emploi de prisonniers de guerre dans les industries d’armements, mais il prétend qu’il a seulement employé des prisonniers de guerre soviétiques dans les industries couvertes par la Convention de Genève.
