您的位置:首页 > 资讯 >

数据采集技术包括哪几方面 优缺点分别是什么

2022-12-22 09:06:12 来源: 互联网

数据采集技术包括哪几方面优缺点分别是什么

关于数据采集技术包括哪几方面 优缺点分别是什么的知识大家了解吗?以下就是小编整理的关于数据采集技术包括哪几方面 优缺点分别是什么的介绍,希望可以给到大家一些参考,一起来了解下吧!

1、通过各软件厂商开放数据接口,实现不同软件数据的互联互通。这是目前最为常见的一种数据对接方式。


【资料图】

2、优势:接口对接方式的数据可靠性与价值较高,一般不存在数据重复的情况;数据可通过接口实时传输,满足数据实时应用要求。

3、缺点:①接口开发费用高;②需协调多个软件厂商,工作量大且容易烂尾;③可扩展性不高,如:由于新业务需要各软件系统开发出新的业务模块,其和大数据平台之间的数据接口也需做相应修改和变动,甚至要推翻以前的所有数据接口编码,工作量大、耗时长。

4、软件机器人是目前比较前沿的软件数据对接技术,即能采集客户端软件数据,也能采集网站网站中的软件数据。

5、常见的是博为小帮软件机器人,产品设计原则为“所见即所得”,即不需要软件厂商配合的情况下,采集软件界面上的数据,输出的结果是结构化的数据库或者excel表。

6、如果只需要界面上的业务数据,或者遇到软件厂商不配合/倒闭、数据库分析困难的情况下, 利用软件机器人采集数据更可取,尤其是详情页数据的采集功能比较有特色。

7、技术特点如下:①无需原软件厂商配合;②兼容性强,可采集汇聚Windows平台各种软件系统数据;③输出结构化数据;④即配即用,实施周期短、简单高效;⑤配置简单,不用编程,每个人都可以DIY一个软件机器人;⑥价格相对人工和接口,降低不少。

8、缺点:采集软件数据的实时性有一定限制。

9、网络爬虫是模拟客户端发生网络请求,接收请求响应,一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

10、爬虫采集数据的缺点:①输出数据多为非结构化数据;②只能采集网站数据,容易受网站反爬机制影响;③使用人群狭窄,需要有专业编程知识才能玩转。

11、数据的采集融合,开放数据库是最直接的一种方式。

12、优势:开放数据库方式可以直接从目标数据库中获取需要的数据,准确性高,实时性也有保证,是最直接、便捷的一种方式。

13、缺点:开放数据库方式也需要协调各软件厂商开放数据库,这需要看对方的意愿,一般出于安全考虑,不会开放;一个平台如果同时连接多个软件厂商的数据库,并实时获取数据,这对平台性能也是巨大挑战。

关键词: 数据采集技术包括哪几方面 优缺点分别是什么

精选 导读

募资55亿港元万物云启动招股 预计9月29日登陆港交所主板

万科9月19日早间公告,万物云当日启动招股,预计发行价介乎每股47 1港元至52 7港元,预计9月29日登陆港交所主板。按发行1 167亿股计算,万

发布时间: 2022-09-20 10:39
管理   2022-09-20

公募基金二季度持股情况曝光 隐形重仓股多为高端制造业

随着半年报披露收官,公募基金二季度持股情况曝光。截至今年二季度末,公募基金全市场基金总数为9794只,资产净值为269454 75亿元,同比上

发布时间: 2022-09-02 10:45
资讯   2022-09-02

又有上市公司宣布变卖房产 上市公司粉饰财报动作不断

再有上市公司宣布变卖房产。四川长虹25日称,拟以1 66亿元的转让底价挂牌出售31套房产。今年以来,A股公司出售房产不断。根据记者不完全统

发布时间: 2022-08-26 09:44
资讯   2022-08-26

16天12连板大港股份回复深交所关注函 股份继续冲高

回复交易所关注函后,大港股份继续冲高。8月11日大港股份高开,随后震荡走高,接近收盘时触及涨停,报20 2元 股。值得一提的是,在7月21日

发布时间: 2022-08-12 09:56
资讯   2022-08-12

万家基金再添第二大股东 中泰证券拟受让11%基金股权

7月13日,中泰证券发布公告,拟受让齐河众鑫投资有限公司(以下简称齐河众鑫)所持有的万家基金11%的股权,交易双方共同确定本次交易的标的资

发布时间: 2022-07-14 09:39
管理   2022-07-14

央行连续7日每天30亿元逆回购 对债市影响如何?

央行12日再次开展了30亿元逆回购操作,中标利率2 10%。这已是央行连续7日每天仅进行30亿元的逆回购缩量投放,创下去年1月以来的最低操作规

发布时间: 2022-07-13 09:38
资讯   2022-07-13

美元指数创近20年新高 黄金期货创出逾9个月新低

由于对美联储激进加息的担忧,美元指数11日大涨近1%创出近20年新高。受此影响,欧美股市、大宗商品均走弱,而黄金期货创出逾9个月新低。美

发布时间: 2022-07-13 09:36
资讯   2022-07-13

美股三大股指全线下跌 纳斯达克跌幅创下记录以来最大跌幅

今年上半年,美股持续回落。数据显示,道琼斯指数上半年下跌15 3%,纳斯达克综合指数下跌29 5%,标普500指数下跌20 6%。其中,纳斯达克连续

发布时间: 2022-07-04 09:51
推荐   2022-07-04

融资客热情回升 两市融资余额月内增加超344亿元

近期A股走强,沪指6月以来上涨4%,融资客热情明显回升。数据显示,截至6月16日,两市融资余额1 479万亿元,月内增加344 67亿元,最近一个半

发布时间: 2022-06-20 09:41
资讯   2022-06-20

4个交易日净买入超百亿元 北向资金持续流入A股市场

北向资金净流入态势延续。继6月15日净买入133 59亿元后,北向资金6月16日净买入44 52亿元。自5月27日至今,除6月13日以外,北向资金累计净

发布时间: 2022-06-17 09:37
推荐   2022-06-17

热门TAG

more
女子随手捐10元4个月后收到还款道谢 看到回复破防 国内猪肉价格开启新一轮周期?专家:国家调控政策正在起作用 彩电市场价格持续走低:50英寸千元轻松购还会降价吗? 鹤岗中介谈1.5万全款买房:别冲动 详情曝光系40年房龄的老房子价格自然便 稳外贸 福建拓“新”途 福建也积极开辟国际物流新通道 这条名为BarMar的能源运输路线以帮助缓解欧洲所面临的能源危机 宁波银行:聚焦主责主业,更好服务实体经济 重磅利好!涉房企业A股融资审核放宽,“白名单”浮出水面 能源是经济发展的动力源泉 美国经济萧条对汽车和电力市场的冲击力有多 多头酝酿更大爆发!美元有望再大涨近百点 广西北部湾畔崛起国际大港 商企耕耘十年等来春暖花开时 中国A股半导体板块周四大涨 十年时间增长超1200亿元 2021年创造天津市进出口历史最高纪录 天津口岸完成进出口贸易值2381亿美元 较2012年增长16.6% 深圳机场口岸通过发挥东南亚航线优势 不断丰富进口水果品类 国际航线(含港澳台)日均执行客运航班量达143班次 创今年新高 待中吉乌铁路建成后 将高效联通中欧班列的中通道与南通道线路 中国与RCEP成员国经过陆海新通道进出口总量52068标箱 国航已率先在空客、波音机型上开展可持续航空燃料应用 中国制造业屡创奇迹 牢牢站稳世界“C位” 今年新疆不断加大能源增产增供力度 新疆煤炭产量增长31.1%、排全国第2位 陶悦群计划围绕大健康等产业进行增资扩产 光伏电站位于Kharsaa地区 是卡塔尔首个太阳能发电厂 过去十年,重庆工业增加值总额由2012年的4291.4亿元提高至2021年的7888.7亿元 2021年盐湖化工产业实现产值331.8亿元 增长46.2% 切入储能赛道的消费电池头部玩家德赛电池近两日连续打板涨停 6个二线城市首套房贷款利率跌破4% 低至3.8% 倡议项目将由德国联邦经济和气候保护部的能源研究预算提供资金 2022年东亚峰会新能源论坛20日在昆明举办 上海超级工厂还达成第100万辆整车下线的里程碑