L'origine d'un dépôt de poste aux lettres à Gaillac semble remonter à l'année 1665, au moment de la création de la route des messageries royales allant de Toulouse au Puy par Rabastens, Gaillac, Albi, Rodez et Mende.
Jusqu'à cette date un piéton payé par la municipalité était chargé d'aller chercher à Toulouse le courrier officiel de la ville ainsi que celui des principaux commerçants.

A partir du début du XVIIIe siècle, le dépôt de la poste aux lettres de Gaillac était desservi par un service plus ou moins régulier de chevaucheurs et par la poste aux chevaux à partir de Toulouse. Il se tenait à l'auberge du Cheval Blanc tenue par un certain Raffis.

En 1786, un bureau de la poste aux lettres est officiellement créé au numéro 47 de l'actuelle rue des frères Delga, à l'époque dans le faubourg sur la route menant à Albi.

En 1833, ce bureau jugé trop excentré est transféré dans de nouveaux locaux construits au numéro 82 de l'actuelle place de la Mairie à l'emplacement de l'ancien couvent des Capucins contraints de vider les lieux à la Révolution.
On peut encore de nos jours voir la bouche en pierre de la boite aux lettres pour imprimés.

En 1835, le bureau classé comme Direction desservait une population de 34 000 personnes.
Mais avec la création de nouveaux bureaux, sa circonscription postale devait peu à peu se réduire.

Au début des années 1920, le bureau était transféré sur l'actuelle place de la Libération dans un immeuble face au monument aux morts.

Devenu lui aussi vétuste et peu adapté aux nombreuses opérations nécessitées par un service moderne,
le bureau sera transféré en 1983 dans ses locaux actuels situés sur l'avenue Jean Calvet, locaux entièrement rénovés par La Poste en 2009.