您现在所在的位置:>首页 > 新闻 > 正文
新浪财经官方网站(如何利用程序(如python) 从新浪财经或者雅虎财经获取到所有A股数据(历史日线数据,实时股票数据))
发布时间:2022-09-19 06:58   浏览量:2

可以用ForeSpider数据采集系统试一下,系统已将框架都搭建好,直接根据网页结构进行相应配置即可,还有大量实战教程可以参考。这是采集新浪财经上市公司高管信息的教程,可供您参考。

采集网站

【场景描述】采集新浪财经所有行业板块中上市公司的高管信息。

【源网站介绍】

新浪财经,提供7X24小时财经资讯及全球金融市场报价,覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

【使用工具】前嗅ForeSpider数据采集系统

【入口网址】

http//p1.toutiaoimg.com/large/3988c0002d821cf627646" web_uri="3988c0002d821cf627646" img_width="1024" img_height="906" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988c0002d81e42158aad" web_uri="3988c0002d81e42158aad" img_width="971" img_height="350" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988b000190734ebe44b9" web_uri="3988b000190734ebe44b9" img_width="1080" img_height="482" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988b0001906d67b43a4e" web_uri="3988b0001906d67b43a4e" img_width="622" img_height="37" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988c0002d817e82707cb" web_uri="3988c0002d817e82707cb" img_width="1080" img_height="525" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988c0002d81584977bb0" web_uri="3988c0002d81584977bb0" img_width="590" img_height="249" fold="0" onerror="javascript//vip.stock.finance.sina.com.cn/mkt/#new_+行业名称首字母

比如:

http//vip.stock.finance.sina.com.cn/mkt/#new_tchy (陶瓷行业)

②所以获取行业链接的方法为:将各行业关键词的首字母设置为关键词,用脚本拼接行业链接。

③设置关键词,具体步骤如下所示:



关键词文本如下:

new_blhy;new_cbzz;new_cmyl;new_dlhy;new_dqhy;new_dzqj;new_dzxx;new_fdc;new_fdsb;new_fjzz;new_fzhy;new_fzjx;new_fzxl;new_glql;new_gsgq;new_gthy;new_hbhy;new_hghy;new_hqhy;new_jdhy;new_jdly;new_jjhy;new_jrhy;new_jtys;new_jxhy;new_jzjc;new_kfq;new_ljhy;new_mtc;new_mthy;new_nlmy;new_nyhf;new_qczz;new_qtxy;new_slzp;new_snhy;new_sphy;new_stock;new_swzz;new_sybh;new_syhy;new_tchy;new_wzwm;new_ylqx;new_yqyb;new_ysbz;new_ysjs;new_zhhy;new_zzhy

④高级设置,设置一个关键词参数,具体操作如下图所示:



⑤编写关键词拼写链接的脚本:



具体脚本文本如下:

var sear=EXTRACT.GetSearch(this); //关键词获取

var k=sear.Search();//查找关键词

while(k){ //遍历关键词

url u;//定义一个url

u.urlname="http//p1.toutiaoimg.com/large/3988b000190769a8dfad8" web_uri="3988b000190769a8dfad8" img_width="1080" img_height="521" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988b00019074ab8ea9d3" web_uri="3988b00019074ab8ea9d3" img_width="1080" img_height="515" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988c0002d8182dec8979" web_uri="3988c0002d8182dec8979" img_width="1044" img_height="719" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988b00019070ae802142" web_uri="3988b00019070ae802142" img_width="672" img_height="553" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988c0002d82372d1ccd3" web_uri="3988c0002d82372d1ccd3" img_width="1080" img_height="461" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988b0001906e307c9147" web_uri="3988b0001906e307c9147" img_width="1080" img_height="60" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988b000190814e9f3495" web_uri="3988b000190814e9f3495" img_width="1080" img_height="480" fold="0" onerror="javascript//vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page="+i+"&num=80&sort=symbol&asc=1&node="+hangye;//根据翻页链接规律,拼翻页

u.title = hangye; //返回链接名称为行业

u.tmplid = 2;//关联模板2

RESULT.AddLink(u);

}

⑥采集预览,如下图所示,表示翻页链接已生成。



4. 采集公司链接

①在浏览器中打开几个公司链接,可发现规律为:



②而公司id则在模板01获取到的翻页链接请求中,采集预览,在浏览器中打开任意一个翻页请求,经观察发现,这是一个json,公司id为每个对象的symbol值。



③新建模板02,并在其下新建一个链接抽取





④脚本如下所示:




脚本文本:

var ur=URL.urlname;//定义ur变量为当前请求链接,即翻页请求链接

var doc = EXTRACT.OpenDoc(CHANN, ur, "");//打开请求

var tstr = doc.GetDom().GetSource();//打开请求中的dom树,并获取源码,定义源码为tstr

jScript js;//定义一个js

var obj = js.RunJson(tstr);//执行tstr代码并返回一个对象

for(var i=0;i<=79;i++){

var obj_a=obj[i];//定义obj_a为第i个对象

var goodsname=obj_a.symbol;

EXTRACT.CloseDoc(doc);//关闭请求

url u;

u.urlname="https//p1.toutiaoimg.com/large/3988b000190793b169d5b" web_uri="3988b000190793b169d5b" img_width="1080" img_height="750" fold="0" onerror="javascript//p1.toutiaoimg.com/large/3988c0002d8205cc6d2cf" web_uri="3988c0002d8205cc6d2cf" img_width="302" img_height="187" fold="0" onerror="javascript//vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/+公司id+.phtml

③填写脚本如下:



④采集预览,如下所示:



6.抽取高管链接

①新建模板04,在其下新建一个数据抽取,具体操作如下所示:



②填写示例地址,复制任意一个企业高管链接,在下图所示位置:





点击右上角保存后,双击模拟浏览器空白处,模拟浏览器加载出该页面。




③点击模板预览



④经观察发现,高管链接规律为,都包含:http//p1.toutiaoimg.com/large/3988c0002d827c326cbae" web_uri="3988c0002d827c326cbae" img_width="928" img_height="529" fold="0" onerror="javascript//vip.stock.finance.sina.com.cn/corp/view/vCI_CorpManagerInfo.php?stockid=的链接都过滤出来。



7.抽取高管数据

①新建模板05,在其下新建一个数据抽取。



②关联模板,将模板04关联至模板05。



填写示例地址,将任意一个高管链接填写至如下位置:



③新建一个数据表单,具体步骤和字段属性如下所示:



④关联数据表单,如下图所示:



⑤数据取值

A. uname:打开浏览器,F12,查看高管名称,发现其在源码中,如下图所示。



使用脚本取值,具体如下图所示:



B. usex:使用定位取值的方法,进行取值。



C. ubirth:定位取值(同上)

D. Uedu:定位取值(同上)

E. Country:定位取值(同上)

F. Intro:定位取值(同上)

G. Company:定位取值(同上)


⑥采集预览



l 采集步骤

模板配置完成,采集预览没有问题后,可以进行数据采集。

①首先要建立采集数据表:

选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【qiyegaoguan】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。



②选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。



③采集中:



④采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。



⑤导出的文件打开如下图所示:



标签: 如何 / 官方网站 / 利用 / 程序 / python / 新浪 / 财经 / 
道指期货实时行情(伊朗称“随时”对袭击作出回应,道指创下一 第四套人民币2元(已退出流通的三版,四版钱币值得大量投资吗 拜托了冰箱第四季(揭秘:拜托了冰箱的冰箱真是明星家里的吗) 淘宝退货退款流程(淘宝买错了怎么退款) au750回收多少钱一克(我朋友在周大生给我一条项链是Au750的,能 139邮箱手机登录(139邮箱登陆页面) 银联商务网上服务系统2 0(网联来了,银联会消失吗) 保安招聘启事(应聘保安需要什么条件) 油耗低的家用车排行(想十万块买辆家用车,不考虑油耗,只考虑 一鸣真鲜奶吧(一鸣真鲜奶吧加盟要多少钱)