只要有利润存在的地方，就必然会有商人。马克思说过，300%的利润，已足以让商人们铤而走险，更何况是“利可十倍”。与日本人的长期交往，让许多沿海地区的富商大贾们都见识到了彼此贸易所能带来的丰厚利润。不少沿海豪户，都建造有巨型的船舶，进行着大规模的走私贸易，“法不能止”。这些走私贸易存在的本身，其实是对明朝严厉的海禁政策与抑商政策的一种拨乱反正。大明朝的这种由朱元璋制定的国策，本身是违反了人性，违反了社会的常态的。与富户们的大规模走私相伴的，是明代中叶的政治腐败，遍地贪官。土地的兼并程度尤其严重。沿海许多苦于生计的贫民，因此也纷纷入海求生。其中还包括一些宦途失意的士绅，以及穷困潦倒的秀才。
最后，这些势力在非官方的潜规则的整合下，逐渐形成了规模庞大的武装走私集团。他们得前哨是沿海的富商大姓，富商大姓们替他们囤积、销售货物。当市舶司还存在的时候，民间的私市可谓相当繁荣，走私的货物也能够很顺利地运销出去。这些走私集团不会与那些“入贡”的日本人在销售渠道上发生冲突。
可是，在市舶司被全部撤销之后，“入贡”贸易的正常渠道完全被关闭，那些携货而来的日本人，只好将自己所带的货物，赊卖给本地的商人。走私集团的销售渠道与日本“入贡”这的销售渠道出现了严重的撞车。货物无法顺利销售出去，许多日本人开始转向更便捷的生财之道：烧杀抢掠。与日本人相似，中国的民间走私集团也日益陷人困境。《明实录》当中有一段记载，可以充分说明这和问题。当时的沿海民间走私集团中，最著名的首领是王直与徐海。他们货物交易的中转站是余姚的富户谢氏。明朝撤销市舶司之后，谢氏手里的那些“倭货”难于出手，只好大量降价抛售，自然就欠下了王直等人许多货款。
王直、徐海等人不断逼索，而谢氏又根本无力偿还。万般无奈，谢氏竟恫吓王直等人：“如再相逼，我将向官府告发你们。”王直等人不甘心财货两空，于是伺机报复。他们纠集一群同伙，包括与其熟识的日本倭人，趁深夜冲人谢宅，烧杀抢掠人，将其家财一扫而空。荒诞的是，地方官员闻讯之后，竟玩忽职守，懒得做任何调查，想当然地向上司报告说这是一起倭寇入侵。先例一开，王直、徐海等人此后所到之处，也无不打着倭寇的旗号。其实其集团内部，真正的倭寇寥寥无几。这些“中国倭寇”的出现，让沿海的海防形势更加严峻和复杂，但政府却仍然一律简单地将他们全部当作日本的真倭寇处理。