当时，这支葡萄牙船队有八艘船，到屯门岛修整一日后，就准备再北上。因为此时葡萄牙人在广东已经是劣迹斑斑，这支船队便遭到了明军水师阻拦。
葡萄牙人却仗着船坚炮利，逼开明军水师，强行闯入珠江（内河），到达怀远驿（今十八甫一带）。
他们也知道被大明官民皆憎恶，于是假扮成穆斯林，宣称是来向大明进贡的。
因为彼时南洋多穆斯林国家，且小国众多，旋起忽灭的也有不少，广东官员拿不准，就先让他们在怀远驿住下。
后来接触下，发现他们并非穆斯林，也没有使节文书，弗朗机也不在非朝贡国家之列，于是安排他们到光孝寺学习礼仪，同时向朝廷上奏此事。
大明朝廷答复，把葡萄牙人带来的特产折算成银两交还，使者进京，其余船只则返回（离开广东）。
葡萄牙人的使者留在广州学习礼仪，剩余船只却并没有按要求离开，而是退出广州，企图霸占南山半岛，因大明在此有驻军，其未能得逞。
于是退至屯门岛，又霸占附近的葵涌海澳（今香港青衣岛、葵涌一带），探查四方，意图扩大据点。
至1521年（正德十六年），葡萄牙使者皮莱资及其翻译火者亚三（实为汉人）终于在北京见到了正德皇帝。
之后，火者亚三通过教授正德皇帝学习葡萄牙语颇受宠幸，再加上皮莱资与江彬等佞臣交好，火者亚三自觉一步登天，不将大明官员放在眼中，常有无礼之事发生。
广东这边葡萄牙人，得此消息，自然是更加的猖狂了。
然而“好景不长”，1621年四月，正德皇帝便病逝了。
之后张皇后根据群臣意见，处死江彬及火者亚三，并下诏弗朗机不许再来进贡。
七月，广东官员便依朝廷之意，不再准许葡萄牙人上岸进行贸易。
及至嘉靖继位，朝廷才正式下令驱逐葡萄牙人，不许其入境。
葡萄牙人不甘心，于是“屯门岛之战”爆发了。
表面上是大明以绝对的兵力优势获得此战胜利，成功驱逐葡萄牙人。实际却是葡萄牙人依仗船坚炮利，在兵力处于绝对劣势的情况下没有被明军全歼，少数人逃了出去。
此战后，大明才真正认识到弗朗机炮及火绳枪等武器的厉害，由是走上购买仿造之路···
从屯门岛被驱逐后，葡萄牙人并不甘心，之后数十年间又不断侵扰福建、浙江沿海，与倭寇（海盗）相勾结，不断尝试在大明沿海建立新的据点。
但因为此时大明因倭寇之乱开始重视海防，葡萄牙人建立的据点都被大明官军拔除，无一能存。
徒劳数十年，依旧不能在福建、浙江沿海建立稳定据点，葡萄牙人便在1553年（嘉靖三十二年），再次将目光投向了广东。
这一年，葡萄牙船队谎称遇到风暴，船只损伤，货物浸润，向广东官府请求借用壕镜之地晾晒货物。
最初此请求并不被广东官府允许，但葡萄牙人向时任海运副使汪柏承诺每年给予其500两白银后，这事便成了。
从此壕镜实际成为葡萄牙人的租地。
不久，葡萄牙人便私自扩充营地、居住地，乃至修建围墙、炮台等军备设施，并设置官员进行管理。
至1572年，葡萄牙人不知是有意还是无意，如往年一般给予海运副使500两银子，却挑在了有多位其他官员在场的时候。
为了逃避受贿罪责，当时的海运副使便称这五百两是葡萄牙人租用壕镜的租金，将其上交国库。
因为经过葡萄牙人近二十年的半公开贸易及经营，其在壕镜租地已犹如小城，颇为繁华。
再加上大明内部其他一些因素影响，大明朝廷便顺势正式准许葡萄牙人在澳门开展贸易。由此，葡萄牙人才正式获得了在壕镜的租借居住权。
但壕镜领土主权仍属于大明。