Construite de 1813 à 1817, la Direction des douanes a succédé à cinq édifices précédents (dont l'un édifié par Wren) qui tous furent dévastés par les flammes. La travée centrale de la façade fut ajoutée en 1825 par Robert Smirke.