他的老师虽是儒家名师，但事实上跟孙家的关系颇为密切，孙家族中多名子弟，都自小跟着他读书，因此杜祺的同窗中，倒有多一半是孙家族人，剩下一小半也多是孙家姻亲党羽的后代。来自西北边军这种与孙家立场敌对势力的学子，就只有他杜祺一人。
杜祺内心不安，也曾写信回家向父亲请求，换一个学塾求学。反正他在这位大儒门下，并不是十分受重视，同学也不怎么友好，已经影响到了他的功课，他宁可换个更清静的地方求学。可杜伯钦坚决拒绝了独子的请求，只命他安心在京中读书，没事不许出门乱跑。
杜祺虽是庶子，但因为是杜家独子，又遇上了温柔和善的嫡母和外祖父母，从小也算是受尽宠爱，多少有点小脾气。父亲的命令他不敢违逆，但私底下却会搞些小动作，比如想办法去联系京中的承恩侯府，又或是颍川侯府二房的当家太太周淑仪。
在他看来，这两家都是自己外家的亲族，是自己可以求助的对象。哪怕他们干涉不了他父亲对儿子的安排，只要能给长安的外祖父母捎个信，有外祖父母发话，他的处境就能大有改善。
谁知送去承恩侯府的信被截下了，送去颍川侯府的信虽然到了周淑仪手中，后者却没有反应，倒是孙家这边，对杜祺的看管更严格了。
因为老师的要求，他没有带小厮长随入学，独自一人身处不友好的环境中，一旦孙家发话，他连起居饮食都无法保证，私下还常常被孙家子弟欺负。
他很快就学乖了，装出一副对孙家人十分顺从的模样，对老师也毕恭毕敬的，还依附在孙永柏的一个儿子身边。老师对他的态度很满意，也觉得他功课不错，将来会有出息，便出言庇护了他。他所依附的孙永柏之子有了他帮忙应付功课，也同样感到很满意，他的日子才终于好过了些。