文学中文网 > 其他类型 > 重生87:开局截胡港岛女神 > 第1765章 遇到问题,分析问题,解决问

第1765章 遇到问题,分析问题,解决问

推荐阅读: 光阴之外 小殿下的娇夫马甲掉了 全民领主:从小骷髅开始爆兵 打工仔成神医 开局满灵石:天道亲闺女败家日常 原神:盘点泪目场面,从芙芙开始 满门忠烈遭霸凌?我抬匾问哭军区 无双十公子 魔神造就 三国之截胡赢天下 柯南之胜者即是正义

贾瀞雯回到北京时是周一早上。 她没回家,直接拖着行李箱去了办公室。 团队五个人都在,正围在白板前争论什么。 看到她进来,所有人都转过头。 “贾总回来了!” “陈总有什么指示吗?” 贾瀞雯放下行李箱,脱掉外套:“先说说你们这边的进展。” 李明赶紧汇报:“索引结构优化做了第一版,测试结果显示查询速度能提升百分之二十左右。 但有个问题,内存占用增加了。” “分词算法呢?” 张涛接过话:“常见歧义解决了一部分,但遇到新的问题。 比如"南京市长江大桥",可以分成"南京市长-江大桥",也可以分成"南京市-长江大桥"。 这种结构歧义,靠词典解决不了。” 贾瀞雯点点头,走到白板前。 她拿起笔,在空白处写下几个字:超链分析。 “陈总提出了一个新概念。”她转身看着团队,“叫超链分析。 简单说,就是通过分析网页之间的链接关系,来判断网页的重要性。” 五个人都愣了。 “链接关系?”王磊问,“什么意思?” “一个网页如果被很多其他网页链接,说明它可能比较重要,比较权威。”贾瀞雯解释,“反过来,如果一个网页链接了很多重要网页,那它自己可能也是个枢纽。 通过分析整个网络的链接结构,我们可以给每个网页打分,这个分数可以用于搜索结果排序。” 会议室里安静了几秒。 李明眼睛慢慢亮起来:“这思路……太牛了。 等于是把整个互联网当成一个投票系统,每个链接就是一票。” 张涛也反应过来:“对!这样就能解决垃圾页面堆关键词的问题了。 那些垃圾页面不会被其他页面链接,分数自然低。” “但实现起来很难。”王磊皱起眉,“我们需要分析整个网络的链接结构,这计算量太大了。” 贾瀞雯放下笔:“所以陈总说了,先做简化版。 不分析整个网络,只分析我们已收录的十万网页。 先验证这个思路是否可行。” 她看着团队:“陈总给了两周时间。 两周内,我们要做出超链分析的第一版,集成到排名算法里。” 任务定下来了,但怎么开始,谁都没底。 第一天,团队在查阅资料。 超链分析这个概念,国外有论文提到过,但没见到实际应用。 他们需要自己从头设计算法。 第二天,李明在白板上画出了第一版架构图:“我们需要建两个矩阵。 一个记录每个网页的出链,一个记录入链。 然后迭代计算,直到收敛。” “收敛条件呢?” “每个网页的分数变化小于某个阈值。” “计算量还是大。”张涛摇头,“十万网页,矩阵就是一百亿个元素。 现在的服务器算不动。” 第三天,陈浩打电话来了。 “遇到困难了?”他问。 贾瀞雯实话实说:“算力不够。 团队说矩阵太大,迭代计算需要的时间太长。” 电话那头沉默了一会儿。 “可以简化。”陈浩说,“第一,不需要算所有网页。 只计算有入链的网页,那些孤立页面直接给最低分。 第1765章遇到问题,分析问题,解决问题(第2/2页) 第二,迭代可以分批进行,不需要一次性算完。 第三,分数不需要精确到小数点后很多位,整数就行。” 贾瀞雯把这些记下来,转告给团队。 李明听了,一拍大腿:“对啊!我们可以分块计算!先把网页按链接关系分组,组内迭代,组间再迭代。 这样内存占用能降下来。” 思路打开了,进展就快了。 第一周结束时,他们做出了简化版的超链分析算法。 测试数据很小,只有一千个网页,但结果令人鼓舞——重要网页的分数确实高,垃圾网页的分数确实低。 第二周,开始集成到真实数据里。 问题又来了:十万网页的链接关系太复杂,计算一次要八个小时。 “太慢了。”张涛盯着屏幕,“如果每天都要重新计算,根本跟不上网页更新的速度。” 贾瀞雯给陈浩打电话。 这次陈浩的建议很直接:“增量更新。 每天只计算新增网页和发生变化的部分,其他的用缓存。” 又是新的挑战。 但团队已经适应了这种节奏——遇到问题,分析问题,解决问题。 第二周周四晚上,李明从座位上跳起来。 “出来了!第一次完整计算完成!” 所有人围过去。 屏幕上显示着计算结果:十万网页,每个都有一个分数。 排在前面的,确实是那些权威网站,新闻门户,高校主页。 排在后面的,大多是个人主页或者广告页面。 “集成到排名算法里测试一下。”贾瀞雯说。 李明敲了几行代码,启动测试程序。 输入几个关键词,搜索结果按新算法排序。 效果明显。 之前搜“电脑价格”,前排结果里总有几个堆关键词的垃圾页面。 现在那些页面不见了,取而代之的是真正的电脑报价网站。 “准确率!”张涛喊,“测试集准确率升到百分之六十二了!” 办公室响起掌声。 连续两周的加班,值了。 周五,贾瀞雯让大家休息一天。 她自己没休息,去了中关村的一栋写字楼。 公司该换个地方了。 现在那个八十平米的办公室,六个人已经挤得不行。 随着超链分析的实现,团队还要招人,需要更大空间。 她看中了一间两百平的办公室,在五楼,视野不错。 租金不便宜,但还能承受。 签完租约,她开始联系装修。 简单装修,隔出办公区、会议室、休息区,还要有个小厨房。 同时,招聘启事也发出去了。 这次她要招十五个人:算法工程师、前端开发、系统架构师、还有产品和运营。 简历像雪片一样飞来。 某度公测后的知名度,加上中关村的地理位置,吸引了很多求职者。 贾瀞雯亲自面试了每一个技术岗位。 她问的问题很实际:你怎么理解搜索?如果让你优化排名算法,你会怎么做?中文分词最大的难点是什么? 有的候选人答得好,有的答得一般。 她最终录用了十五个人,加上原来的五个,团队扩充到二十人。 【跪求礼物,免费的为爱发电也行!】

本文网址:https://www.yanpc.com/58285/37552068.html,手机用户请浏览:https://m.yanpc.com/58285/37552068.html享受更优质的阅读体验。

温馨提示:按 回车[Enter]键 返回书目,按 ←键 返回上一页, 按 →键 进入下一页,加入书签方便您下次继续阅读。章节错误?点此报错!