大数据时代,和学生一起get到这些数据获取小技巧!

 

来源: 四川大学 四川大学教师教学发展中心

博文>>>http://url.cn/5WeLOFx


大媛说:今天为大家推荐一些能够用上的数据获取方式和实用小工具,提高工作效率,多渠道信息获取打开方式~


大数据900x500

在大数据时代,教师无论是进行学术研究,还是备课、引导学生在课堂上进行深度探究,都需要在茫茫的互联网上寻找大量的信息、数据;同时,在互联网高度发达的今天,培养学生高效地获取数据的能力也是十分重要的。今天为大家推荐一些能够用上的数据获取方式和实用小工具

 

1、公开的数据库

 

国家数据

http://data.stats.gov.cn/index.htm

1

数据来源于中国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面和权威,对于社会科学的研究很有帮助。最关键的是,网站简洁美观,还有专门的可视化读物。

 

CEIC

http://www.ceicdata.com/zh-hans

2

最完整的一套超过128个国家的经济数据,能够精确查找GDP, CPI, 进口,出口,外资直接投资,零售,销售,以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据,数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

 

wind(万得)

http://www.wind.com.cn/

3

万得被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。

 

搜数网

http://www.soshoo.com/

4

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据,汇集了中国资讯行自92年以来收集的所有统计和调查数据,并提供多样化的搜索功能。

 

中国统计信息网

http://www.tjcn.org/

5

国家统计局的官方网站,汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

 

亚马逊aws

http://aws.amazon.com/cn/datasets/?nc1=h_ls

6

来自亚马逊的跨科学云数据平台,包含化学、生物、经济等多个领域的数据集。

 

figshare

https://figshare.com/

7

研究成果共享平台,在这里你会发现来自世界的大牛们的研究成果分享,同时get其中的研究数据,内容很有启发性,网站颇具设计感。

 

github

https://github.com/caesar0301/awesome-public-datasets

8

如果觉得前面的数据源还不够,github上的大神已经为大家整理好了一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,简直是做研究和数据分析的利器。

 

 

2、数据交易平台

 

优易数据

http://www.youedata.com/

12

由国家信息中心发起,拥有国家级信息资源的数据平台,国内领先的数据交易平台。平台有B2B、B2C两种交易模式,包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

 

数据堂

http://www.datatang.com/

13

专注于互联网综合数据交易,提供数据交易、处理和数据API服务,包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

 

3、网络指数

 

百度指数

http://index.baidu.com/

14

15

大家都很熟悉的指数查询平台,可以根据指数的变化查看某个主题在各个时间段受关注的情况,进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外,还有需求分析、人群画像等精准分析的工具,对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品,都可以作为参考。

 

阿里指数

https://alizs.taobao.com/

16

17

国内权威的商品交易分析工具,可以按地域、按行业查看商品搜索和交易数据,基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况,对于趋势分析、行业观察意义不小。

 

艾瑞咨询

http://www.iresearch.com.cn/

18

艾瑞作为老牌的互联网研究机构,在数据的沉淀和数据分析上都有得天独厚的优势,在互联网的趋势和行业发展数据分析上面比较权威,艾瑞的互联网分析报告可以说是互联网研究的必读刊物。

 

友盟指数

http://www.umeng.com/

19

友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析,对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数,友盟的互联网报告同样是了解互联网趋势的优秀读物。

 

爱奇艺指数

http://index.iqiyi.com/

20

爱奇艺指数是专门针对视频的播放行为、趋势的分析平台,对于互联网视频的播放有着全面的统计和分析,涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数,该指数基本可以说明实际情况。

 

猫眼专业版

http://piaofang.maoyan.com/

21

电影票房统计分析平台,猫眼专业版有实时的票房统计,影片的排盘情况、上座率和影院数据,对于当前电影的分析是必不可少的。

 

4、网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容,具有很好的内容收集作用,而且不需要技术成本,被很多用户作为初级的采集工具。

 

火车采集器

http://www.locoy.com/

22

一款专业的互联网数据抓取、处理、分析,挖掘软件,可以灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据,最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全,支持的扩展比较好用,懂代码的话,可以使用PHP或C#开发任意功能的扩展。

 

八爪鱼

http://www.bazhuayu.com/

23

简单实用的采集器,功能齐全,操作简单,不用写规则。特有的云采集,关机也可以在云服务器上运行采集任务。

 

集搜客

http://www.gooseeker.com/

24

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素,提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。

 

5、小工具

 

Web Plot Digitizer

http://arohatgi.info/WebPlotDigitizer/app/

25

比如我们在查看期刊文献的时候看到一张成型的图表,但其本身数据是缺失的,你想获得这个图表的相关数据怎么办?有了这个小工具就非常easy了。直接上传我们需要获得数据的图表,如下:

26

然后我们就会获得如下的数据反馈,感觉运筹帷幄有木有,对于一些不需要十分精确的分析研究足够使用。

27

当然并不推荐用这个作为量化分析的依赖,对于定性的分析,做ppt级的数据统计分析就足够了。

 

you-get

https://you-get.org/

28

这是一个程序员基于python 3开发的项目,已经在github上面开源,支持64个网站,包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方,即使是名单上没有的网站,当你输入链接,程序也会猜测你想要下载什么,然后帮你下载。

 

6、数据导航

收集数据是一种能力,学习收集数据也是一种能力,数据的来源是没有穷尽的,转换一种思维,你就可以获得不一样的数据,下面推荐几个可以用到的大数据导航,从这里面你可能会发现一些你自己想要的东西。每个人喜欢的收集数据的渠道不尽相同,只有尽量多地去见识和实践才会发现更多的适合自己的数据获取方式。

 

199IT大数据导航

http://hao.199it.com/

29

 

数据分析网导航

http://www.afenxi.com/hao

30

 

大数据人导航

http://hao.bigdata.ren/

31

(文章来源:百度新闻实验室)

 

本文转载自公众号“四川大学教师教学发展中心”,若侵删。

酷学实验室微信二维码x0.5

扫码关注“酷学实验室”

(微信号:Cool_Lab)