牧与刺史这两个官职由于在相当长的一段时间内两者职能基本相同，有时候容易引起混淆。
牧之一职，起源极早。传说舜时置天下为十二州，设立州牧，一称州伯，牧在这里是管理的意思，也就是各个州的行政长官。夏代天下为九州，也有州牧，职能同舜时。到了商周两代，牧也还是地方长官，季就曾担任牧师。应该说明的是，这时的牧，并不任职于地方，《礼记。曲礼下》记载：九州之长，入天子之国，曰牧。也就是通常所说的八命之类的人物，出于地方，入朝辅佐天子。负责监察、监督诸侯。同时，在夏代到周朝还有牧人、牧正等官掌畜牧，和牧或者牧师不是一回事。
秦朝分天下为三十六郡，设立监察御史，监督各郡。
汉朝一开始的时候没有设立这一职务，到了汉惠帝三年，开始派遣御史监察三辅，监督词讼，后来各州又都设立了监察御史。汉文帝十三年，因为有些御史不能奉公守法，为了制约他们，于是派出丞相史出刺同时监督监察御史。
到汉武帝元封元年，召回了各州监察御史并不再设置，元封五年，设置部刺史一职，巡查各州郡守，“部”也就是州，“刺”是检举不法的意思，“史”是皇帝所使的意思。当时的刺史并不处理地方政务，主要是负责督察郡守，汉代制度，刺史掌管六件事：1、地方各豪族大户是否触犯礼制并田造宅、以强欺弱、以众欺寡；2、郡守是否奉行诏书、遵守典制，有没有背公向私、曲解诏书以自谋利、侵扰百姓、聚敛为奸；3、郡守是否任意断案、不秉公执法以及治内自然灾害和妖异祥瑞、流言蜚语；4、郡守是否为国家公正选拔人才；5、郡守子弟是否横行不法；6、郡守是否勾结豪强、收受贿赂、损改正令。
到汉成帝绥和元年，丞相翟方进、大司空何武上奏，认为古代的时候选用诸侯中贤能的人担任州伯也就是牧，当时的部刺史担任的是牧伯的职责，考评大吏，按照《春秋》之法，以贵任，不以卑临尊，刺史本身官秩仅六百石，却考察官秩二千石的郡守，身份和职责不相吻合，要求停派刺史，改用州牧，汉成帝批准了他们的意见。这次实际上只是把刺史的名称改称州牧，官秩提高到真二千石，实际职能并没有变化。汉哀帝建平二年，丞相朱博认为过去刺史官据下职，秩卑赏厚，又有向上升迁的动力，所以工作积极，而州牧由于本身官高禄厚，只是自守其位而已，起不到应有的作用，又奏请汉哀帝将州牧复改为刺史。汉哀帝元寿二年，哀帝身死，汉平帝即位，王太后临朝称制，任用王莽主持朝政，事事好古的王莽自然就又把刺史改成了州牧。在西汉时期，州牧和刺史虽然主管考察地方官员，但都是中央官员，在地方上没有治所，每年乘坐传车（驿车）周游所察州郡，东汉时才有自己的治所。
在西汉时，州牧或者刺史每年秋分出巡，年初返回京都汇报，到了东汉光武建武十一年，州牧开始常年驻守地方，自行考评官吏。这是州牧权力开始增大的起点。到建武十八年天下为十三部，（降司隶校尉部为十三部之一，裁去朔方刺史部，改十三州为十二州。）外十二州置刺史，司隶校尉司一部。这次改动延续了一百四十六年，到汉灵帝中平五年，由于黄巾起义等动齤乱的打击，迫切需要加强地方统治，于是选朝廷重臣出任州牧，像刘焉、刘虞等都是在此时由朝廷九卿之位出任州牧，位在郡守之上，掌管一州军政大权，州也是在此时变成了行政区。东汉末年，各州或置牧，或置刺史，以任职者资望轻重来定。
魏晋时刺史、州牧者一般都由将军兼任，并有都督之职，权力大的为使持节都督，权力小的为持节都督，刺史多带将军“开府”，则州与府各置僚属，州官理民，府官理戎；做刺史而没有将军之职的，叫做单车刺史，一般都由庶族担任，《通典。职官一五》说：晋郡守皆加“将军”，无者为耻。有职无权，当时的官员都不愿担任此职。
三国时起，由于实力割据，有一些遥领的州牧、刺史，就只是虚衔了。东晋时，由于偏寓江南，侨置了一些州郡，这时有些刺史管辖的地域要小很多，南朝沿用晋制，每州设立刺史一人，分为领兵刺史（第四品）和不领兵刺史（第五品）；北魏地方官分州、郡、县三级。州长官分为州牧（从二品）、上州刺史（第三品）、中州刺史（从三品）、下州刺史（第四品）。天赐二年（公元405年），又诏诸州置三刺史（用六品者），宗室1人，异姓2人，此时刺史和县令亲治其民，郡守反倒成了虚衔。北齐分州为九等，也由不同官秩分守州牧或刺史之位。北周亦行州、郡、县三级地方制。但均以户之多少确定州、郡、县命官的高下，雍州置州牧，其他置刺史，这时已经由部刺史改称总管刺史，均加使持节诸军事，成为常例，刺史的职责还是六条，但和汉朝已经大不相同：1、先治心，加强个人品德修养；2、敦教化，维护社会风气；3、尽地利，发展地方经济；4、选拔人才；5、掌管刑讼；6、均赋役。此时州牧、刺史已经完全变成了地方行政官员。
隋朝承接北周体制，雍州置州牧，其他置刺史，同北齐一样也把各州分为九等，总管刺史加使持节。到开皇三年，取消了名存实亡的郡这个行政级别，以州直接统领各县，这时的刺史实际上就是太守了。各州有驻兵的，就又刺史带军职统领，隋炀帝后来设立都尉，掌管各州兵马，刺史就不再带兵了。隋炀帝大业初年，曾经罢州置郡，设立司隶台，司隶大夫一人负责巡查京几，司隶刺史十四人巡察几外诸郡。
唐朝武德元年又罢郡置州，置刺史，雍州置牧，自来雍州所辖为三辅之地，高门大姓甚众，所以才会被特殊对待。到了神龙二年，分天下为十道，每道设巡察使二人，这时刺史只是作为太守的另一个称呼，其原有的监察职能已经被巡察使代替了。此后又有按察使、采访处置使（有戍卒之处称为节度使），至德年间，又改采访使为观察使，并兼领都团练使，分天下为四十余道，大者十余州，小者二三州，后来诸道名称又有所变化，但是观察使行使的都是以前刺史和州牧的职责，刺史的地位又进一步降低，成为纯粹的地方行政官员。
宋代各州设立知州，由朝臣充任，虽然还有刺史的称呼，但已仅是虚衔。
元代和明朝刺史官名已废，到清朝，刺史就仅是州官的别称了。