这里要特别强调一下用线上的其它业务指标如点击率、营收、利润、eCPC等等是不能给出CTR预估效果评价的。这些业务指标，受到整个广告系统其它模块如bid optimization,budget pacing等和外部竞价环境的综合影响，它的变化或者AB test中观察到的不同，不是简单地由于CTR预估变化带来的。换句话说，如果上了一个新的CTR预估模型的实验，发现业务指标变好了，这不等于说CTR预估更准了。一个简单的例子：如果一个CTR预估模型给出的预估总是比上帝视角的完美预估在低CTR区域低估，在高CTR区域高估，那么假设bid是base_bid*pCTR的话，相比完美预估。
培养学生综合运用、巩固与扩展所学的基础理论和专业知识，培养学生独立分析、解决实际问题能力、培养学生处理数据和信息的能力；培养学生正确的理论联系实际的工作作风，严肃认真的科学态度；培养学生进行社会调查研究；文献资料收集、阅读和整理、使用；提出论点、综合论证、总结写作等基本技能。毕业论文是毕业生总结性的独立作业，是学生运用在校学习的基本知识和基础理论，去分析、解决一两个实际问题的实践锻炼过程，也是学生在校学习期间学习成果的综合性总结，是整个教学活动中不可缺少的重要环节。撰写毕业论文对于培养学生初步的科学研究能力，提高其综合运用所学知识分析问题、解决问题能力有着重要意义。毕业论文在进行编写的过程中，需要经过开题报告、论文编写、论文上交评定、论文答辩以及论文评分五个过程，其中开题报告是论文进行的最重要的一个过程，也是论文能否进行的一个重要指标。论文的写作格式、流程与写作技巧 广义来说，凡属论述科学技术内容的作品，都称作科学著述，如原始论著（论文）、简报、综合报告、进展报告、文献综述、述评、专著、汇编、教科书和科普读物等。可以拣一个细小的切入点，比如论平面广告，影视广告，中国的广告的发展，总是够细小就行。
CTR预估，难在几个点上：1.观察到的是点击或没点击的二元数据，但是要预估的是一个[0,1]上的点击概率，换句话说就是没有绝对的ground truth；2.各种机器学习模型训练完以后出来的分数，即使是LR，也不见得就是一个好的可以直接拿来当预估结果的概率；3.观察数据往往是有偏的，比如在RTB里面，观察到的广告展现和点击数据都是赢得竞价的那些。评价CTR预估效果来说，假设给了你一个CTR预估模型，logloss和AUC是两个比较常用。
