尤其在开埠之后，十六铺码头是南洋、北洋和长江航线的枢纽，又位于法租界与华界交界处，更是五方杂处、藏污纳垢之地。
在旧上海，宁波、南京、福建、广东等地，以及松江府各县的商人纷纷涌入上海。这些商人除各有专营外，还有其他“营生”。如，潮州人卖鸦片，福州人引进花会赌博，苏州人搬来妓院。
公开的烟、赌、娼外，还有地下青、洪帮会。
所以当时的“十六铺码头”，号称“难治”。
大、小八股党和三十六股党在黄浦江沿岸横行霸道，这里更是他们的势力范围。南来北往的旅客和码头苦力、小贩无不提心吊胆，唯恐惹是生非。一些流氓大亨借助这里复杂的社会背景，左右逢源、呼风唤雨。
比方讲，上海大亨杜月笙14岁的时候初到上海，就是在十六铺鸿元盛水果行当学徒，凭一手精妙的削苹果皮的“刀法”逐渐的发迹。
还有一个上海大亨黄金荣，进了巡捕房后做了包打听，也经常在十六铺一带活动。那时候，他一身便装，一天到晚泡在茶馆店里，喝喝茶、吹吹牛，从中收集情报，联络眼线，也算是他的工作。
“上海是一座移民的城市。过去，十六铺与北火车站，如是上海的两扇大门，迎送着南来北往的人。”