Massone di rito scozzese. Negli USA svolge attività di banchiere, finanziere e di avvocato. In veste di legale ha difeso due dei più importanti boss mafiosi americani tra le due guerre: Lucky Luciano e Meyer Lansky. Nei servizi segreti americani fu l'inventore delle "covert operations" americane all'estero, il principio fondamentale che le ispirava è che qualunque azione è lecita, al di fuori del territorio americano, se commessa per difendere i superiori interessi nazionali.
E' Dulles che prende in consegna Gehlen dopo la seconda guerra mondiale
Gehlen si era portato dalla Germania 52 casse piene di dossier e documenti che aveva accumulato nei molti anni in cui aveva fatto parte dello spionaggio nazista contro l'Unione Sovietica e contro i comunisti italiani e francesi. Tale documentazione, ovviamente, fu usata dai servizi segreti USA per perseguire la loro politica anticomunista.