1924年1月20至30日，孙中山在广州召开中国国民党第一次全国代表大会。他深感创建革命军队的重要，决定创办军校。军校定名为陆军军官学校因设在黄埔岛，又名黄埔军校。蒋介石被委以重任，负责筹备工作。
蒋介石觉得在国民党第一次全国代表大会中倍受冷落，不但不是中央执行委员，连候补中央委员也不是，只是在中央执行委员会下属的军事委员会中担任一个委员，远离权力中心。权力欲望膨张的蒋介石闷闷不乐，甚至迁怒于孙中山。另外，国民党内比蒋资格老、功劳大的人毕竟还有不少，这校长之职并非蒋的囊中之物，就连那个赴苏考察团长，也是廖仲恺要随时协助孙中山处理政务，难以脱身率团，才落到蒋头上的。
蒋介石看到孙中山只是委任他为军校筹备委员长，并没有明确宣布他即为军校校长，同时参与筹建的人中，有好几位功高资深的，最后是谁当校长还很难说。蒋介石知道黄埔军校校长在当时的国民党内并非是特别显赫的职位，但对自己来说，却是一个掌控军队，获取政治资本的一个契机。
当得知孙中山有意任命程潜为校长，自己和李济深为副校长时，决定以退为进。他以环境恶劣、办事多遭掣肘弃职离去。好在廖仲恺等人积极投入，筹备工作才得以顺利进行。孙中山视蒋介石为难得的革命人才，多次摧其返回广州。蒋介石的离去，是一种不满的表露，也是一种示威。蒋介石辞职是是一出讨价还价的闹剧，以为军校因此办不起来。 孙中山意属程潜出任军校校长，是以资历、才能等综合条件考虑的。
在蒋负气出走后，孙中山即命廖仲恺继续筹办军校事宜。同时，于2月29日亲自电陈蒋介石复筹委会之职。蒋介石不知从哪听说到中常委打算让孙先生兼任校长，而孙先生属意程潜或许崇智，自己只是个副校长，就向张静江发起牢骚。张静江对蒋说，做不成为校长，就不要出山！
张静江给孙中山写信，说了蒋不少好话。蒋介石也给孙中山写了一封长信，特地提到陈其美和永丰舰救难之事。一番表功之后，以退为进的蒋介石向孙中山表露要被赋予更大权力的要求。蒋介石答应孙中山于日内起程，实际上他还在等待火候。戴季陶、张静江等人也在帮蒋出谋划策，不能丢掉孙中山的信任和军校的重要职务。
蒋介石看出军校不会因他辞职而停办，又婉转地给廖仲恺复电：函电敬悉，弟必来粤勿念。蒋介石因尚未获悉校长人选的准确消息，仍未动身。孙中山生气了，命粤军总司令许崇智去奉化传蒋回粤。
蒋介石知道许崇智是不会丢下军中实权去当军校校长的，但他想知道的是还有什么人在跟他争这个宝座。许崇智看出蒋的心思，便说：先生本来就有意让你办校治军，再加上你那个盟兄张静江，又是写信又是拍电报，这么一鼓动，先生也就决定由你为军校校长了！蒋介石心中石头终于落下，于4月21日抵达广州，26日到黄埔军校办公。孙中山对军校极为重视，亲自出任军校总理。不久，又正式任命蒋介石为军校校长兼粤军参谋长，廖仲恺为驻军校中国国民党党代表。军校下设教授、教练、政治、军需、管理等部，充分显示出国共合作的格局。苏联派出几十名干部、拔出现款、运来军械支持军校创办。孙中山特地将军校的开学典礼日期定在陈炯明叛变的6月16日，并作了演说。
37岁的蒋介石完成人生定位，从此开始了政治前途的起飞。蒋介石依靠黄埔武装，初试身手，四次平叛，两次东征，统一了广东，为北伐打下了基础。