对于美色的追逐，可说人类本能，就连圣人也说“食色，性也”。但无论是1946年还是1973年，打出“香港小姐”这张牌，美色愉悦及背后的消费都不能诠释一切。
在中国历史上，从古代宫廷后妃的选拔、民间娼妓的评比，到民国时期名噪一时的“花国选举”和“海上名媛大竞赛”，选美主角可以是社会金字塔尖端的贵妇也可以是最低下的青楼女。这些选美活动目的各不相同，但无一例外都成为某个社会形态下的政治筹码或利益图解符号。“香港小姐”的选举亦然。与港姐诞生史相关的两个年份——1946年与1973年，都在香港社会经济文化的发展史上有着极其关键的地位。
战后复元期的奢靡代码
“香港小姐”这一称号的首次出现，是在1946年6月23日，这也是香港有史以来的第一次选美活动，地点在著名的香港丽池花园夜总会。二战刚刚结束，被日军实行金融掠夺和贸易垄断长达3年多的香港，经济萧条、民不聊生。此时出现的“香港小姐”选美，为沉闷的香港社会带来一道不太合时宜的风景，虽然普通民众兴趣不大，却是社会名流们追逐纸醉金迷的一个奢靡符号。因此选美程序简单，只要求参赛者身着泳装展示一下仪态，由几位所谓的“评委”决定名次。
来自广州贫困小户人家的香港酒店女招待李兰，最终从11位佳丽中脱颖而出摘得香港历史上第一个港姐桂冠。这个23岁的少女一夜成名，从此踏入演艺圈并出演了多部电影，曾是著名的黄飞鸿系列电影中的第一位女主角。
值得一提的是，当年这一选美活动的背景涉黑。明面上的主办单位是香港中华业余泳团和英国空军俱乐部，实际幕后主办者是香港商界大亨李裁法。此人乃青帮中人，当年香港黑白两道赫赫有名的人物，有“香港杜月笙”、“夜总会皇帝”之称。抗战期间他曾秘密服务于戴笠手下，杜月笙到香港后，也是杜在港势力的重要一支。
多元化时期的社会文化符号
由于社会政治及经济原因，“香港小姐选美”不定期地由不固定单位举办。1973年，香港东方选美会主办了第11届，这届冠军就是曾经红极一时的娱乐明星狄波拉。同年香港首次派人参加于菲律宾举行的“亚洲小姐”评选，狄波拉成为第一位参选“亚洲小姐”的港姐。
1973年的香港正处于工业化向经济多元化的社会转型期，电影公司与电视台的崛起，使香港娱乐业突飞猛进。于是这一年香港出现了2位“香港小姐”，除狄波拉外还有一个孙泳恩。她是由香港电视广播有限公司(无线电视台)选出的第一位香港小姐，开创了“无线港姐”时代——此后每年固定由无线电视台主办“香港小姐”评选。
“无线港姐”较之以前的选美有更为系统的评选标准与规则。以世界最具规模的美国“环球小姐竞选”和英国“世界小姐竞选”为蓝本，必须经过报名、资格审查和筛选3个步骤，由社会名流和艺术界名人担任各级评审，最后根据总分确定名次。并且根据无线与上述两大选美机构的签约，将在其中选出香港代表，前往参加这两项著名的国际性选美盛事。无线港姐因此肩负“前往海外，宣扬香港”的责任，深获香港民众的支持。
1976年港姐竞选的宣传词写道：“‘香港小姐竞选’，目的在于选出一位才貌双全、能真正代表香港美丽与文化的少女，提升海外人士对香港的印象。”因此，初期的港姐评选刻意避免过度美貌，冠军的姿色往往不是最出众，“高贵端庄，堪称女性楷模”，成为当选首要条件。