但随着嬴政、凯撒、杨坚、朱元璋、上杉谦信这些做过皇帝或者做过王的大人物被陆续关了进来，大家忽然发现这分明就是一座专门囚禁君主的牢狱，称呼“帝牢”似乎比“地牢”更合适。被关在里面的除了皇帝、国王就是割据自立的诸侯，最次的也是部落领袖的儿子，譬如阔阔台、皇太极、多尔衮等等。
此外，帝牢并没有建在地下，因此也不应该称作地牢。不仅没有建在地下，而且还建造的清雅幽静，廊亭轩榭，假山流水，青松翠竹，应有尽有。与其说是一座牢狱，倒不如说是一座失去自由的别墅。
帝牢里的居所各不相同，最华丽的当属李渊的“唐苑”，拥有房屋数十间，凉亭花园一应俱全。而且作为最早入住的贵宾，李渊还享受着妻妾成群的待遇，被从唐都俘虏来的嫔妃，除了十几个年轻的不堪忍受囚禁之苦，主动要求离开之外，其他与李渊有点感情的七八个嫔妃都被允许留下来伺候李渊，由朝廷按时供给衣食及日用物资。
李渊的待遇让许多“狱友”很是眼红，其中最忿忿不平的当属赵光义，看到李渊每日红光满面，左拥右抱，在牢狱里面还不耽误生孩子，恨不能把李渊乱拳打死。只是每座名字不同的牢狱都被单独隔开，平日里有锦衣卫来回巡逻，赵光义也就是意淫一番罢了。
除了李渊之外，待遇较好的还有朱元璋、杨坚、嬴政等三人，除了居所宽敞明亮之外，每人还被赠送了两个婢女，负责伺候他们的饮食起居，以及解决生理需求。