汉桓帝延熹二年（公元159年），李膺被任命为河南尹，他就联合耿直的官吏如廷尉冯绲、大司农刘佑等人一起打击宦官势力。羊元群在北海任上罢官回家，带走了许多财宝，甚至连厕所里的东西也带了回去，他上表请桓帝惩处羊元群，谁知羊元群用贪得的赃物贿通了宦官，反把李膺、冯绲、刘佑及地方郡右守刘瓆、成瑨一起逮捕，刘瓆、成瑨冤死狱中，经大臣陈蕃及司隶校尉应奉求情，李膺三人才被罚做苦工抵罪，后解免回家。
后来，李膺因名声太大又被起用为司隶校尉。司隶校尉是主管京城军事和治安的官员，在任上，他更加不畏权威，惩处宦官。野王县令张朔，是掌管宫门的权监张让的弟弟，他依仗哥哥，横行残暴，竟至杀孕妇取乐。李膺当了司隶校尉后，张朔十分恐惧，逃到张让的家里以躲避惩罚。李膺闻讯，立即派兵搜捕，张让也知李膺不好惹，吓得连忙让张朔藏在特制的空心柱子里。李膺搜查时发现了这个柱子，让人劈开，捕获了张朔。稍经审讯，就将他处死了。
张让跑到桓帝那里去哭冤，桓帝把李膺叫来，说他杀人太快，未经请示就擅自处决。李膺满腹经纶，当时又时兴经义决狱，他就引用孔子《春秋》中肯定晋文公处置卫成公为例，证明自己做得并不过分。李膺还说：“孔子当了鲁国司寇才七天就杀了少正卯，我上任已十多天了，才干了一件事，我以为皇上会因为我没有尽快地惩治坏人来责备我，没想到因为把该杀的人及早地杀了受到责难。我自知有失职守，还当更加勤勉，请陛下再宽限我五天，让我把大坏蛋都杀光，那时再来听从陛下的处分，就是死也甘心了。”