西港城的前身是旧街市及海事处旧址北座大楼的扩充部分，当年海事处因地方狭窄，不足应付日益增多的船政管理，因而搬往中环新填海区，旧建筑物拆卸，改建成上环街市北座。大楼建于1906年，采用英国爱德华式建筑风格，以红砖砌成，花岗石作地基，底层入口有大型圆拱，具有历史价值。大楼最初是海事处总部旧址，后来才改建为街市。1983年上半年，街市南座因兴建地铁港岛线第2期建筑工程而拆卸，原址兴建上环市政大厦。自从上环市政大厦在1989年启用后，街市便停止使用，街市北座于1989年1月起空置。

在1990年，大楼被香港政府的古物古迹办事处列为香港法定古迹。1991年，由土地发展公司（今市区重建局）把大楼进行全面修葺，并容许当年10多个于中环永安街（即花布街）商户迁入西港城2楼，部分搬迁的商铺原为附近一带的老字号，当中包括古玩、特色手工艺品店及数间食肆。2楼的布匹专卖店。