正大街是睦城最主要的商业街，在正大街边上，有一条潘家弄，解放前，这条弄堂，都属于一户姓潘的大户人家。
潘默存和他的哥哥潘默然，就是从这条弄堂走出来的。他哥哥十几岁就离开睦城，去上海读大学，读大学的时候，就和左联的人在一起，他也喜欢动动笔杆子。
上海解放的前一年，他还加入了地下党。上海解放的时候，他加入了上海军管会新闻出版处，负责接收和管理上海的报社、通讯社、出版社和广播电台。后来他调去bj，成为了郭沫若的秘书，自己本人，也成为国内颇有造诣的文艺评论家。
睦城人家，大都有一个习惯，就像许昉他们家一样，家里要是有两个儿子或几个儿子，大的那个或几个，家里会让他们出去闯荡世界，毕竟在这个闭塞的山沟沟里，大家都知道不会有什么出息。
从睦城出去很方便，搭上一条船，顺着新安江富春江钱塘江走，一天的时间，就到杭州南星桥码头，更大的世界就展现在眼前。
而家里最小的儿子，总是会留在睦城，准备承继家产。外面的世界很大，但也有各种不测，睦城虽小，却也足够安身立命。包括大儿子们要是在外面，遇到什么迈不过去的槛，也还有退路，可以回到睦城休养生息，舔舔伤口，这就像是一个大家庭的双保险。
潘默存因此和许昉一样，也留在了睦城，一直没有出去，等到睦城解放，他们家算不上是罪大恶极的资本家，但也定了个城镇小业主。家产是没有多少可以承继的了，成份却给他定了终身，这对潘默存的前途还是有影响。
他没有和老莫许昉一样，出去读大学，而是被分配到了江对面，离睦城坐船，需要两个多小时的一个公社，成为了一名公社供销社的营业员，还在当地成了家。
潘默存在三阳不合群，不喜欢和其他人一起打牌喝酒，而是喜欢画画，写书法，拿着石头和刀刻印章，还喜欢看一些别人都看不懂的书。加上他又戴着一副瓶底厚的眼镜，让他在那个乡村，显得有些特立独行，大家都叫他书呆子。
既然都已经是呆子了，其他的人能欺负的时候，就要欺负欺负他。别以为广大的乡民会很淳朴，更现实的是，当他们发现一个人可以欺负的时候，从来都是欺负你没有商量。老实人只是被看不起，不会赢得别人的尊重。
加上这个书呆子，要是还有点傲气，对别人的欺负没有逆来顺受，甘之如饴，那欺负他的人，更会觉得是对自己的不尊重和侮辱，只会加倍地欺负你。