被红衣主教等人视作潜在竞争对手。在中、下级教士眼中，裁判庭通常是黑色的威严形象，副审判长受人尊敬，能指挥圣教军，拥有军事实权。
三年时间过去了，约瑟夫培植起隶属于自己的庞大教士系统。他拉拢了多达数千名下级教士，尤其是神学院当年毕业的学生。他很清楚，想要拉拢那些在职者难度极大，需要付出更多的代价。刚刚步入社会的年轻人则不同，在他们看来自己已经是身份极高得大人物，一句话，甚至一个赞许的眼神，都会让他们备受鼓舞，甚至直接成为自己最强有力的拥护者和支持者。
保罗二十一世、施瓦本、黑色朗顿、红鼻子卡尔森、善良的都铎……约瑟夫侍奉过多任教皇。他从一开始就目的明确：辅导者、暗中引导、控制大部分，但绝不能成为出现在公开场合的主要人物。