大数据时代是什么意思?

近年来,信息技术迅猛发展,尤其是以互联网、物联网、信息获取、社交网络等为代表的技术日新月异,促使手机、平板电脑…

大数据的产生和作用(详细分析)

大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信…

大数据时代的10个重大变化(长篇神文)

大数据时代的到来改变了人们的生活方式、思维模式和研究范式,我们可以总结出 10 个重大变化,如图 1 所示。 …

大数据处理的基本流程:数据抽取与集成+数据分析+数据解释

大数据的数据来源广泛,应用需求和数据类型都不尽相同,但是最基本的处理流程是一致的。 整个大数据的处理流程可以定…

大数据开发涉及到的关键技术有哪些?

大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据…

大数据采集技术概述

大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。 数据包括…

通过系统日志采集大数据

许多公司的平台每天都会产生大量的日志,并且一般为流式数据,如搜索引擎的 pv 和查询等。处理这些日志需要特定的…

通过网络爬虫采集大数据

网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽…

Scrapy网络爬虫简介

Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或存储历…

大数据预处理架构和方法简介

数据预处理主要包括数据清洗(Data Cleaning)、数据集成(Data Integration)、数据转…

大数据预处理之数据清洗

现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处…

大数据预处理之数据集成

数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统…