La edificación construida en el año 1809 estuvo destinada a la elaboración y almacenaje del tacaco el cual era enviado a través del río Magdalena hasta el puerto marítimo y enviado a Europa. La Casa de la Factoría era el reflejo la pujanza de esta población tolimense caracterizada por sus viviendas de color blanco y verde construidas en bahareque, teja de barro y sus tradicionales columnas en la fachada.