Chợ được xây dựng ở khu phố nhượng địa từ cuối thế kỷ 19 dưới thời Pháp thuộc, khi đó gọi là chợ Lớn (Grande Marché). Chợ được xây dựng bằng vật liệu chủ yếu là sắt thép nên có tên gọi là chợ Sắt.
Nhờ địa thế thuận lợi bên tuyến đường thủy từ Hải Phòng đi các tỉnh nên dưới thời Pháp thuộc chợ Sắt từng là một chợ rất sầm uất, là đầu mối buôn bán chính từ Nam Định lên hoặc Quảng Yên xuống, tiếng tăm có thể sánh với chợ Đồng Xuân (Hà Nội), chợ Rồng (Nam Định), chợ Đông Ba (Huế), chợ Bến Thành (Sài Gòn).
Đến thời bao cấp, đây vẫn còn là một trong những trung tâm buôn bán lớn nhất tại miền Bắc. Vào thời kỳ đó, những người buôn bán trong chợ Sắt được coi là lớp người giàu có và thành đạt về kinh tế của Hải Phòng. Chợ Sắt Hải Phòng là nơi buôn bán hưng vượng, là đầu mối bán sỉ để từ đây, nhiều mặt hàng tỏa đi khắp cả nước. Bất cứ ai đặt chân đến Hải Phòng cũng tranh thủ làm một vòng dạo qua chợ Sắt, không mua gì thì cũng đi ngắm cho mãn nhãn. Chợ Sắt trở thành niềm tự hào, kiêu hãnh của đất Cảng.