初平元年（190年），孫堅舉義兵，黃蓋跟隨了他。孫堅南向擊敗山中草寇，北往擊敗董卓，于是任命黃蓋為別部司馬。

初平二年（191年），孫堅戰(zhàn)死，黃蓋先后追隨孫策、孫權(quán)，披甲轉(zhuǎn)戰(zhàn)南北，冒死攻城略地。

二、安撫山越

山越諸部族不愿歸服孫吳，或者有賊寇作亂的縣份，總是用黃蓋為那里的地方行政長官。

石城縣的官吏，特別難以約束管理，黃蓋便任命兩個掾史，分別主管各部門。

他教導(dǎo)這兩個人說：“我這位縣令無什么才能，只是憑武功得官，不是做文官而出名。如今賊寇未被平定，我常有軍旅任務(wù)，把一應(yīng)公文處理事務(wù)全托付你們兩位，你們應(yīng)當監(jiān)督檢查各個部門，糾正揭發(fā)他們的錯誤。你們在本職范圍內(nèi)，辦理或應(yīng)承事情，若有蒙騙奸欺行為，我不管怎樣也不加以鞭抽杖擊的處罰，你們只是各自盡力盡心，不要給他們帶壞了頭。”

開始兩個掾史畏懼黃蓋威嚴，日日盡恭職守，久而久之，這些吏員以為黃蓋不看文書，漸漸荒疏了公務(wù)。黃蓋也不滿他們的松懈懶散，不時有所省察，掌握到他們各有不守法的幾個事例，于是把縣內(nèi)所有官吏請來，設(shè)宴酒肉招待，拿出違法亂紀的事例責(zé)問。

兩名掾史無話可說，都叩頭請罪。黃蓋說：“以前已告誡過你們，最終不會以鞭、杖來懲罰你們，絕不是騙你們的。”于是殺死這兩個人。全縣官吏震驚恐悼栗。