※※注意：以下内容均为原创，希望楼主看清回答日期时间，不要选错最佳答案。另外本人通原只学得个皮毛，如有错误，欢迎指出，但复制答案骗分和捣乱的用户，本人坚决投诉。※※
当年教我的就是续大我老师（北邮版通原四个作者之一），我就斗胆在这里给您回答一下吧，但愿别给“‘我’爷”丢脸……
1、sinc(x)=sin(πx)/πx ——注：π在网页上显示不太像了，是“派(PI)”。印象中sinc好像不如Sa(t)函数常用
2、说erfc之前有必要说一下erf（误差函数）函数：erf(α)=(2/根号下派)*(exp(-z方)对z积分，积分下限是0，上限是α)，误差函数从形式上很像正态分布的分布函数Φ(x)，是对一个形如正态分布的概率密度函数做变上限积分的结果；
erfc（互补误差函数）：erfc(α)=(2/根号下π)*(exp(-z方)对z积分，从α积到正无穷大)；
可以看出erf(α)+erfc(α)=1，这也是“互补”二字的由来。
Q函数：我一直认为这个Q函数很无聊（可能实际工程上有简化的需要吧），题里面求平均误比特率Pb的时候，有时候让用erfc函数表示，有时候让用Q函数表示，两者本质上的意义是一样的，可以简单转化：(1/2)*erfc(α)=Q(根号二*α)，解题时经常把两个都写上，以示牛*。
3、一个函数头上顶个尖儿“^”表示这个函数的希尔伯特变换：f^(t)=H[f(t)]=f(t)卷积(1/πt)，（那个f头上顶个^实在没法打，打个f^代替），这个希尔伯特变换是为后面求一个信号f(t)的解析信号z(t)做准备的，z(t)=f(t)+jf^(t)，(那个j也就是i，复数单位，不同的书叫法不同)扯远了……具体求一个函数的希尔伯特变换不要求，只要求记住常用的几个变换对即可：cos<->sin;sin<->-sin，嗯，就这两个就够了。
4、字母上顶个圈儿在哪一章？没见过或者忘了。巴克码组也没学过或者忘了。
具体到怎么看这本书嘛……我们大家刚开始学的时候都比较崩溃，首先要清楚傅立叶变换（定义、求法、性质、常用变换对），否则整本书都看不懂，其次最好看看概率，就是要明白正态分布那块，否则误比特率（就是上面的问题2）那块儿都看不懂，当然了，高数得会，否则做那些题积分积不出。有个捷径是买那本封面上白下蓝的通原习题集，配套的，也是北邮出版社的，但作者是另外的人，那里面把通原书的习题都详细解了一遍，配合着解题过程，就好理解了。
参考资料：我亲身上的续大我老师的通原课 + 北邮版通信原理——上下册那种，北邮出版社，作者周炯磐(磐爷) 庞沁华(庞奶奶) 续大我(我爷) 吴伟陵(伟哥)，2002年8月第一版，2004年6月第4次印刷，北京皇家印刷厂，油墨臭臭的那种。
希望我的回答对您有点用，也祝您学习有成。
参考资料：原创！