花好月圆

火车头使用Post方法采集Ajax页面教程_我的网站

兰戈

A |     

     阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法,今天在添加一个POST方法来采集Ajax刷新页面的教程。    之前的文章请看:火车头采集动态加载Ajax数据(无分页瀑布流网站)    如果遇到POST方法来架子Ajax数据,这和我之前写的是两个类型,瀑布流是直接刷新出数据的页面。

B |     采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。    列表页分析    这个网站的列表页,前面并不是通过Ajax加载的。

C | CTRL+U可以直接看到列表内容,通过浏览器也看不到相关请求地址。      2025年8月28日,追觅正式官宣,要造世界上最快的车。创始人俞浩在公开信中写道:“造车,是工业的王冠、技术的终极战场,也是一场‘九死一生’的远征。”  但这场声势浩大的“造车远征”,在不到一年时间便迎来急转向。    

    因为习惯原因,我直接看了下尾页列表页。

D | 然后顺手CTRL+U看看网站代码结构有没有大的变化。

E | 过去四个月,第一财经记者通过多方信息交叉求证,结合工商资料、项目现场走访、办公场所实地观察以及多位内部知情人士信源了解到,追觅汽车高管已密集开启外部求职,项目员工出现批量离职与被裁,办公区域大量工位闲置……多重迹象显示,追觅轰轰烈烈的造车计划正遭遇不小的挫折。防止后期采集出错。  办公地点大片工位闲置  8月下旬一个工作日的9-10时,第一财经记者来到苏州,星空计划所在的办公地点,位于苏州市吴中区某产业园的6号楼里。结果就发现无法看到列表内容。浏览器可以看到一个通过post请求的地址。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。  6号楼一楼大厅的楼层显示,星空计划在这幢楼的办公地点共有5层。

F | 内部员工李达(化名)告诉记者,星空计划主要的办公区域集中在9~11楼。

G |     通过笨方法,手动访问页面看看Ajax加载大概是哪些。

H | 最后找到大概从2200页左右开始Ajax加载。    那我们采集的时候,前面的列表页就可以使用普通方式去采集(速度更快)。    2200页开始到尾页就通过post请求Ajax页面数据。

I |     抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。  记者实地探访当天,在9楼的办公区域中,至少有三分之二以上的工位处于闲置状态,桌上没有任何办公用品和办公迹象。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址:OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。李达说,高峰期,公司人数达到七八百人,9楼大约有四分之三的工位有同事在办公。重新访问一下采集页面,Fiddler会抓到很多请求地址。    查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    
火车头使用Post方法采集Ajax页面教程
    Fiddler会以黄色将搜索到的结果显示出来,我们点击一下他。  在巅峰时期,追觅对外官宣的造车团队有近千人。这和李达的说法接近。    
火车头使用Post方法采集Ajax页面教程
    在Fiddler右侧会显示这个请求地址的相关详细信息。    
    信息顶部可以看到是post请求方法。  记者走到10楼和11楼,发现也有大片的工位闲置,不少地方堆着杂物箱。

J | 在一处标记直播的地点,闲置的办公椅被层层叠叠摞起来堆在墙角。  李达告诉记者,星空计划现在正在按照8月份的裁员名单进行裁员,而这样的裁员动作两个多月前就开始了,“陆陆续续一直有,每一波基本都是25%左右”。    可以看到有我们请求的页码相关内容。  按照李达的说法,此轮裁员完后,星空计划预计将只剩下部分高管。    

    访问不同页码的页面,经过研究发现规律。

K |     

    currentPageIndex的值和页码相关,值等于页码减一。我们访问6139页时,currentPageIndex值是6138。“公司对汽车供应商的欠款也不少,应该是留下来善后的。”  李达回忆,去年巅峰时期,办公室所在的园区地上和地下两层车库的停车位全部停满,园区的停车只能临停不能办理包月。    这就找到了规律,我们打开火车头采集器。

L | 第一财经记者看到,现在的地下车库,大量的车位处于空闲状态。  这个产业园商圈的多位知情人士也向记者确认,入驻这栋楼里的公司近期一直在裁员,外卖单子近两月都一直在减少。  几十个总监集中在外求职  李达告诉记者,虽然当时想着去一家新势力公司,也许不过是三五年的命运,没想到裁员来得这么快。  追觅的市场口碑急转直下发生在今年5月。

M |   5月,自媒体文章“崩老头”刷屏全网。    火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。

N |     

    点“分页设置”,http请求方式“post”。李达说,其实早在这之前,已经有地方政府开始在摸排与追觅的关系,这篇文章只不过说出了一个在公司内部心照不宣的事实。    
    把我们Fiddler抓包获取的内容填进去。    
    将currentPageIndex值的内容替换成火车头采集器的“分页”标签。

o | 这一轮舆情,给追觅这种以小博大的发展模式踩下了刹车。    

    下面填入页码。  由于对局面的急转直下有了一定的心理准备,李达说大部分同事在HR开启离职谈话的时候反而有一种靴子落地的轻松感。  猎头们对此也早有察觉。    页面地址是从2200到6140,上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.    
    网址获取选项设置    为了筛选出我们需要的内容,我们设置一下网址获取选项。    打开浏览器F12开发工具,预览一下Ajax获取的内容。    
    可以看到链接的形式是    自考成考报名条件有哪些?    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。

p | 早在今年6月,苏州兆睿人才管理咨询有限公司总经理盛金龙告诉第一财经记者,从今年5月开始,他就看到大量追觅的人在网上挂出简历,光总监级别都有20多人。    

    我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。    
    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。    
    注意事项    采集过程注意运行线程和请求间隔时间。  盛金龙说,据他所知,星空计划的大量裁员是从6月开始。也就是从那个时期,大量有着星空计划的工作经验的人才简历出现在招聘网站上。教程在测试时因为开的线程较多,频率过高导致对方网站开启了防CC设置。

q | 拉黑了我一个服务器IP,此教程写完用了两台服务器。    我们实际采集可以只开1个线程,并设置合适的间隔时间,比如1000ms到1500ms左右。光在某网站上搜“星空计划总监”关键词,就有四十多位候选人的简历展示出来,职能遍及产品、财务、政府关系、供应链、采购、销售和研发等部门。    本文来自2号站长网,转载请注明出处:https://www.zz2zz.com/331414.html

        
    

申请创业报道,分享创业好点子。这些人的年龄多数40岁上下,最大的一位有45岁。从工作时长来看,他们在追觅工作的时间从半年多到一年多的都有。  “这还仅仅是总监级别,这些人员都是公司的核心骨干。点击此处,共同探讨创业新机遇!。如果范围扩大到经理,人数会更多。”盛金龙说,从线上招聘平台上可以看到他们每天的活跃度很高。这些人当中有些目前还是在职的,有些是离职状态。一个近千人的创业公司,几十总监级别同时在找工作,这是一个非常强烈的信号。  今年4月,车展期间,星空计划还在不断进人,陈梦(化名)就是这个时候从另一家汽车公司进入的星空计划。她说,目前公司在职人员大概仅剩100人左右。  “一开始真的想造车”  在星空计划的9楼,有一面宣传墙,记录着星空计划在各种公开场合的亮相,包括在北上广深的机场广告投放。  按照墙上的图示,2023年2月追觅将造车项目命名为星空计划。最后一件大事,停留在今年3月亮相AWE大会,此后就是“5月柏林全球千人大会 coming soon”。李达说:“然后一切戛然而止。

r | ”  和这面墙一样,星空计划汽车的公众号信息在5月28日断更。最后一条公众号的宣传内容,是5月27日,追觅星空计划在四大枢纽机场户外广告的剪辑。再往前一条,就是星空计划关于近期股权冻结事宜的声明。  不过在公众记忆中,追觅要造车这件事的广泛传播,是从去年8月28日的高调官宣开始。此后追觅汽车高调宣传动作频频,称首款车型直接对标布加迪威龙,规划于2027年实现量产。  今年1月的CES期间,俞浩发布了一段关于追觅新车Nebula NEXT 01亮相的视频。这段高光时刻,也被记录在了公司的宣传墙上。  此后,星空计划发布了Nebula NEXT 01系列共3辆车。记者在当天的地下车库发现了其中红色的一辆。在6号楼的地下车库,这辆车周身被车衣遮住,四周竖起了围挡。  李达告诉第一财经,这其实是一辆模型车,根本不能开。

s | 公司一共定制了10辆不同颜色的模型车,每辆成本大约在300万左右。  “一开始我们是真的想造车,我们还花了大笔钱去做了大量的用户调研,收集潜在消费者的反馈。”李达说,追觅给的薪资高,要求也高,尤其青睐头部新势力的人才。但是他和同事慢慢发现,如果按照公司官宣的2027年量产的计划,那所有的进度都太慢了。  李达说,追觅的风格是赛马机制,自己造车的资质、别人代工的工厂、去海外建厂,这三件事其实是同步推进的,对于公司来说,哪个成了就上哪个,但这三个都没有实质性落地。“大事的节点是需要拍板的,俞浩不拍板,我们就推进不下去。”  国内建厂是追觅造车的选项之一。

t |   2025年3月20日,华东某地发布了一份公示。这项公示中,名为“星空项目—公示图盖章版.pdf”文件显示,星空项目用地规模合计41.44万平方米。第一财经记者于5月中下旬实地探访发现,这块地的草比人长得还要高,部分地块甚至仍保留着基本农田保护标识。  与此同时,公开信息也显示,追觅宣称的海外建厂、首轮融资及代工合作,均未见实质性落地。  追觅孵化的3个造车BU均遇挫  在追觅系统,光造跑车的就有3个BU,除了星空计划,还有星辰未来和星际穿越。  去年12月底,坊间一度传出关于追觅要和奇瑞合作的消息,一张奇瑞汽车(09973.HK)董事长尹同跃和追觅陈龙冬的合影在网络上流传。

u | 随后,奇瑞方面两次向第一财经否认了与追觅合作的传闻。  当时,陈龙冬的身份为星辰未来(苏州)汽车科技有限公司的法定代表人,该公司注册成立于2025年6月,注册资本为5000万人民币,正是“追觅汽车”公众号的运营主体,账号介绍为“追觅汽车官方账号”。  现在,“追觅汽车”这个账号已经搜不到。与追觅汽车相关的只有“星空计划汽车”和“星辰未来汽车”。关于追觅汽车的主要宣传内容集中在“星空计划汽车”这个账号。“星辰未来汽车”账号里只有一篇文章,称陈龙冬于2025年6月加入追觅科技原星辰未来BU,担任BU负责人,并于2026年5月离职。  这篇文章还称,“自今年6月起,星辰未来、星空计划、星际穿越等业务将统一纳入产业研究院管理体系,通过从项目型向平台型组织的升级,以更高效的协同机制,推动追觅汽车业务迈入全新发展阶段。”  “‘研究院’这个说法,我和我的同事们还是从新闻里看到的。此前同期官宣纳入‘研究院’的手机BU,目前也都不剩什么人了。”李达告诉第一财经记者,事实上,所谓纳入研究院就是一个对外的说辞,公司内部并不存在这样的机构。  在此次实地走访中,第一财经记者发现,5号楼的1楼标识注明:5楼正是星辰未来所在地,但记者工作日探访的时候空无一人。走廊两侧的办公室与会议室静得只剩回响,崭新的办公桌椅还未及留下明显的使用痕迹。  6楼的一间直播间里,满地垃圾散落,墙上代表追觅高端家电子品牌的MOVA的“M”已摇摇欲坠。另一个MOVA的直播间同样满地狼藉。  某层办公楼的展示区,墙上彩色的横幅写着“DREAM IT, DO IT! 敢于追梦,敢于行动!”能容纳一百多人的办公位上,办公桌崭新而空荡,一个没有被带走的“追觅S级百万销售顾问”奖杯显示出这里曾经有过热闹的办公场景。  布局造车期间,追觅系同时孵化两家电池主体:面向消费多场景的光年引擎,以及专注车用全固态电池的晶核能源。光年引擎一位已离职人员告诉记者,他离职的时候公司也正批量裁员,“和平分手,给了赔偿”。  回看这一段在星空计划的经历,李达说,自己当时加入星空计划的其中一个原因,是公司给的薪水超出行业平均水平的涨幅,但他更看重的,是在新能源汽车发展高速时代,追觅带来的“弯道超车”的想象空间。但他同时也表示,在追觅的这段经历,近乎一年抵得上过往数年的历练,让他收获了过去不曾拥有的工作体验。不管是团队搭建、工作自主性,还是可调动的工作资源,都是他在过往公司很难接触到的。李达说,今后如果再选择初创公司,他会格外看重企业对所在行业是否抱有敬畏之心。

v | “只有对行业怀有敬畏之心,才会真正尊重技术人才,一家企业才具备长期生存的基础。”  盛龙则认为,从人才的急剧扩张,到人才的急剧收缩,以追觅造汽车为代表的上百个BU的野蛮生长过程所展现出来的,是这家公司对市场上人才的消耗和对科技公司良性竞争和发展规则的漠视。“不管它最终是成功或者失败,希望能给国内科技圈保留一份体面。”盛金龙说道。(文章来源:第一财经)。

Current article:http://her8w.nuanfanggushuazenxiachuan.buzz/news/20260826_2494.html

Published on:03:02:17


肖申克的救赎

80s_Active users

千王之王重出江湖_Hottest this week