Generale nazista durante la II guerra mondiale, gli viene assegnato il comando delle Armate Straniere Est.
Il 22/5/1945 si consegna agli americani che lo spediscono in USA. Qui fu preso in consegna da Allen Dulles, dei servizi segreti USA. Gehlen si era portato dietro 52 casse piene di dossier e documenti che aveva accumulato nei molti anni in cui aveva fatto parte dello spionaggio nazista contro l'Unione Sovietica e contro i comunisti italiani e francesi. Tale documentazione, ovviamente, fu usata dai servizi segreti USA per perseguire la loro politica anticomunista.
Nel Luglio 1946 torna in Europa e fonda l'"Organizzazione Gehlen" alle dirette dipendenze dei servizi segreti USA.
L'Organizzazione Gehlen si trasforma, nell'Aprile '56, nel BND, il servizio informativo federale della Germania Occidentale. Gehlen stesso ne sarà il direttore con il grado di generale di corpo d'armata.
Nel 1966 chiede la collaborazione del SID di Eugenio Henke per ostacolare l'opera di mediazione che il PCI svolge fra la socialdemocrazia tedesca e i governi dell'Europa orientale.