大数据平台简介

“大数据”一词可以追溯到1990年硅谷的午餐桌上谈话和推介会议。这是一个相对的术语，取决于谁在讨论它，但有一点是不变的：21世纪见证了历史上最大的数据爆炸。这就是为什么大数据平台和大数据咨询变得不可或缺的原因。

截至2003年，记录的数据总量为5EB。仅在2011年，记录的数据量为1.8ZB，大约是1000倍。展望未来，预计到2025年，全球人类每天将产生463ZB的数据。这相当于每天212,765,957张DVD！从这个角度来看，我们可以得出结论，未来全球产生的大数据量必将大幅增长。

在这篇文章中，我们将探讨大数据平台在存储和处理海量数据集方面的作用。但首先，让我们简要介绍一下大数据。

什么是大数据？

大数据是一个术语，用来描述种类繁多、容量巨大、甚至速度更快的数据。除了庞大的数据量之外，大数据还非常复杂，传统的数据管理工具都无法有效地存储或处理它。数据可以是结构化的，也可以是非结构化的。

大数据的例子包括：

1. 手机资料

2. 社交媒体内容

3. 健康记录

4. 事务数据

5. 网络搜索

6. 财务文件

7. 天气信息

大数据可以由用户（电子邮件、图像、交易数据等）或机器（物联网、机器学习算法等）生成。根据所有者的不同，这些数据可以通过API或FTP向公众提供商业可用性。在某些情况下，您可能需要订阅才能获得访问权限。

什么是大数据平台？

各种来源的信息流越来越密集，尤其是随着技术的进步。这就是大数据平台用来存储和分析不断增长的海量信息的地方。

大数据平台是一种集成的计算解决方案，它结合了大量的软件系统、工具和硬件来管理大数据。它是一种一站式架构，可以解决业务的所有数据需求，而不考虑手头数据的数量和大小。由于大数据平台在数据管理方面的高效，企业越来越多地采用大数据平台来收集大量数据，并将其转化为结构化的、可操作的业务见解。

目前，市场上充斥着大量的开源和商业大数据平台。它们拥有不同的特性和能力，可以在大数据环境中使用。

大数据平台的特点

任何一个好的大数据平台都应该具备以下重要特征：

1. 能够根据不断发展的业务需求适应新的应用程序和工具

2. 支持多种数据格式

3. 能够容纳大量的流或静态数据

4. 是否有各种各样的转换工具将数据转换为不同的首选格式

5. 以任何速度容纳数据的能力

6. 提供在海量数据集中搜索数据的工具

7. 支持线性缩放

8. 快速部署的能力

9. 有数据分析和报告需求的工具

大数据平台vs数据湖vs数据仓库

大数据的核心是指处理传统数据库无法处理的大量复杂数据的技术。然而，它是一个非常广泛的术语，可以作为更具体的解决方案（如数据湖和数据仓库）的总称。

什么是数据湖？

数据湖是一个可扩展的存储库，它不仅以其原生格式保存大量原始数据，而且还使组织能够准备它们以供进一步使用。

这意味着进入数据湖的数据不需要从一开始就有特定的目的，它可以在以后定义。没有它，可以更快地加载数据，因为它们不需要经历初始转换过程。

在数据湖中，数据以其初始格式收集，这为探索、分析和进一步操作提供了更多的机会，因为所有数据需求都可以根据具体情况定制，然后——一旦模式开发完成——可以保留以供将来使用或丢弃。

什么是数据仓库？

与数据湖相比，可以说数据仓库代表了一种更传统、更严格的方法。

数据仓库是一种可伸缩的存储数据存储库，包含大量原始数据，但其环境比数据湖更加结构化。在数据仓库中收集的数据已经经过预处理，这意味着它不是初始格式。必须预先了解和设置数据需求，以确保模型和模式为所有用户生成可用的数据。

大数据平台如何运作？

大数据平台工作流程可分为以下几个阶段：

1. 数据收集

大数据平台从各种来源收集数据，如传感器、博客、社交媒体和其他数据库。

2. 数据存储

数据收集完成后，存储在存储库中，如HDFS、Amazon S3或Google Cloud Storage。

3. 数据处理

数据处理包括过滤、转换和聚合数据等任务。这可以使用分布式处理框架来完成，例如Apache Spark、Apache Flink或Apache Storm。

4. 数据分析

数据处理后，将使用分析工具和技术进行分析，例如机器学习算法、预测分析和数据可视化。

5. 数据治理

数据治理（数据编目、数据质量管理和数据沿袭跟踪）确保数据的准确性、完整性和安全性。

6. 数据管理

大数据平台提供管理功能，使组织能够进行备份、恢复和归档。

这些阶段旨在从多个来源（如网站分析系统、CRM、ERP、忠诚度引擎等）的原始数据中获得有意义的业务见解。存储在统一环境中的处理数据可用于准备静态报告和可视化，也可用于其他分析，例如构建机器学习模型。

复杂云大数据平台：AWS、GCP、Azure

复杂云大数据平台是指主要云提供商亚马逊网络服务（AWS）、谷歌云平台（GCP）和微软Azure提供的基于云的服务。它们是为处理和分析大型复杂数据集而设计的。

AWS

AWS为您提供了一个更广泛的工具生态系统，其中包括许多额外的工具和功能，例如，AWS Lambda微服务，用于搜索功能的Amazon OpenSearch Service，用于用户身份验证的Amazon Cognito，用于数据转换的AWS Glue，用于数据分析的Amazon Athena，用于处理和分析大数据的Amazon EMR，用于实时数据处理的Amazon Kinesis，以及用于数据仓库的Amazon Redshift等等。

亚马逊促进了在云上构建数据湖并根据您的需求进行调整的整个过程。它们自动配置核心AWS服务，使您能够标记、搜索、共享、转换、分析和管理特定的数据子集。AWS解决方案部署了一个控制台，用户可以访问该控制台来搜索和浏览可用的数据集。

GCP

谷歌云平台提供了一系列模块化的云服务，包括计算、数据存储、数据分析和机器学习。根据Google的说法，您可以在短短90秒内管理专门构建的数据和分析开源软件集群（如Apache Spark）。

GCP为大数据处理提供一系列服务，包括用于数据存储的Google Cloud Storage，用于快速、交互式数据分析的Google BigQuery，用于批量和实时数据处理的Google Cloud Dataflow，以及用于使用Apache Hadoop、Spark、BigQuery、AI Platform notebook和gpu以及其他分析加速器处理大数据的Google Cloud Dataproc。

Azure

微软的Azure包含了开发人员、数据科学家和分析师轻松存储所需的所有功能。Azure与数据仓库自由集成，安全、可扩展，并且是根据开放的HDFS标准构建的。因此，对数据的大小和运行并行分析的能力没有限制。

Azure提供了一套大数据服务，包括用于存储大数据的Azure data Lake Storage，用于使用Apache Hadoop和Spark处理大数据的Azure HDInsight，用于实时数据处理的Azure Stream Analytics，以及用于大数据仓库的Azure Synapse Analytics（以前的SQL DW）。

AWS、Azure和GCP之间的主要区别

服务：Azure和AWS都提供广泛的云计算服务，而GCP更专注于大数据和机器学习。

定价：AWS通常被认为是最昂贵的，而Azure对企业客户来说是最具性价比的，而GCP介于两者之间。

可扩展性：Azure与其他微软产品有很强的集成能力，而AWS和GCP与其他公司有合作关系。

大数据平台实例

1. Apache Hadoop

Hadoop是一个开源的编程架构和服务器软件。它被用于在集群计算环境中借助数千台商品服务器非常快速地存储和分析大型数据集。在一台服务器或硬件故障的情况下，它可以复制数据，从而不会丢失数据。

这个大数据平台为大数据管理提供了重要的工具和软件。许多应用程序也可以在Hadoop平台上运行。虽然它可以在OS X操作系统、Linux和Windows上运行，但它通常用于Ubuntu和其他Linux变体。

2. Cloudera

Cloudera是一个基于Apache的Hadoop系统的大数据平台。它可以处理大量的数据。企业通常在该平台的数据仓库中存储超过50pb的数据，该数据仓库处理文本、机器日志等数据。Cloudera的DataFlow还支持实时数据处理。

Cloudera平台基于Apache Hadoop生态系统，包含HDFS、Spark、Hive、Impala等组件。Cloudera为管理和处理大数据提供了全面的解决方案，并提供了数据仓库、机器学习和实时数据处理等功能。该平台可以部署在本地、云中或作为混合解决方案。

3. Apache Spark

Apache Spark是一个开源数据处理引擎，旨在为流数据、图形数据、机器学习和人工智能应用程序提供所需的计算速度和可扩展性。Spark处理数据并将其保存在内存中，而无需向磁盘写入或从磁盘读取数据，这就是为什么它比Apache Hadoop等替代方案快得多。

除了在Amazon Web Services、Google cloud Platform和Microsoft Azure等云平台上可用外，该解决方案还可以部署在本地。内部部署使组织能够更好地控制其数据和计算资源，并且更适合具有严格安全性和遵从性需求的组织。然而，与使用云相比，在本地部署Spark需要大量的资源。

4. Databricks

Databricks是基于Apache Spark的大数据处理和分析的云平台。它为数据科学家、工程师和业务分析师提供了一个协作工作环境，提供了诸如交互式工作空间、分布式计算、机器学习以及与流行的大数据工具集成等功能。

Databricks还为运行大数据工作负载提供托管Spark集群和基于云的基础设施，使组织更容易处理和分析大型数据集。

Databricks在云上可用，但也有一个免费的社区版本，它为个人和小型团队提供了一个学习和使用Apache Spark创建原型的环境。Community Edition包括一个具有有限计算资源的工作空间、完整Databricks平台中可用功能的子集，以及对社区内容和资源子集的访问。

5. Snowflake

Snowflake是一个基于云的数据仓库平台，提供数据存储、处理和分析功能。它支持结构化和半结构化数据，并提供用于查询和分析数据的SQL接口。

它提供了一个完全托管的服务，这意味着该平台处理所有基础设施和管理任务，包括自动扩展、备份和恢复以及安全性。它支持集成各种数据源，包括其他基于云的数据平台和本地数据库。

6. Datameer

Datameer是一个数据分析平台，提供大数据处理和分析功能，旨在支持端到端的分析项目，从数据摄取和准备到分析、可视化和协作。

Datameer为设计和执行大数据工作流提供了一个可视化界面，并包括对各种数据源和分析工具的内置支持。该平台针对Hadoop进行了优化，并提供了与Apache Spark和其他大数据技术的集成。

该服务可作为基于云的平台和内部部署。Datameer的内部部署版本提供了与基于云的平台相同的功能，但在组织自己的数据中心内进行部署和管理。

7. Apache Storm

Apache Storm是一个免费和开源的分布式处理系统，旨在实时处理大量数据流，使其适用于实时分析，在线机器学习和物联网应用等用例。

Storm通过将数据流分解成小的工作单元（称为“任务”）来处理数据流，并将这些任务分布在一组机器上。这使得Storm可以并行处理大量数据，提供高性能和可扩展性。

Apache Storm可以在AWS、GCP和微软Azure等云平台上使用，但也可以在本地部署。

总结：大数据平台将继续存在

企业正在寻找利用大数据的方法，并为更好的决策提供可操作的见解。这就是他们转向大数据平台的原因，因为大数据平台为所有数据需求提供了一站式解决方案。它们有助于捕获、管理、存储、搜索、共享、评估和报告数据见解。根据您的需求，您可以从我们上面讨论的大数据平台中进行选择。

本文转载自 大数据平台简介- 雪兽软件

更多精彩推荐请访问 雪兽软件

扎克伯格要搞“电子皮肤”实现元宇宙？这些A股公司已有技术布局

元宇宙到底是不是VR、AR旧瓶装新酒？扎克伯格用行动说明了：至少，不完全是。

11月1日，扎克伯格博客透露，刚由Facebook改名的Meta公司参与了对电子皮肤“ReSkin”的联合研发。

ReSkin是一种具备触觉传感功能的新型材料，理论上如果用其制作成智能手套等设备，就可以让用户体会到抓握、抚摸等触感。

这种新型的材料，也撩拨着国内投资者的敏感神经。

ReSkin消息一出，即有投资者关注国内上市企业汉威科技、苏试试验、弘信电子等企业在元宇宙触觉传感器方面的布局。

11月4日，汉威科技董秘在投资者互动平台上透露：“Meta的相关技术类似基于柔性磁传感器，公司主要是柔性电学传感器（电阻、电容）及其阵列，传感器检测原理不同，但能达到的效果和其展示的效果相同，未来的应用场景也非常广阔 。”汉威科技还曾在此前透露，其研发的电子皮肤传感器已与部分下游硬件厂商展开了合作。

汉威科技成立于1998年。2021年上半年业绩报告显示，汉威科技营收11亿元，其中42.49%来自于传感器业务、41.48%来自于智能仪表业务、30.39%来自于物联网综合解决方案。

根据汉威科技董秘回复信息，虽然汉威科技参股公司泰瑞数创的数字孪生技术、中盾云安的区块链技术属于元宇宙概念中的相关技术支撑种类；子公司苏州能斯达的柔性纳米仿生电子皮肤，未来有望在可穿戴设备、医疗健康以及消费电子等领域形成大量应用。但目前来看，相关技术和产品在元宇宙方面的业务推进尚属早期，有不确定性。

无独有偶，苏试试验、弘信电子等企业研发的相关产品亦在早期发展阶段。据公开资料，苏试试验研发的基于石墨烯的柔性应力振动传感器，可作为电子皮肤在机器人、可穿戴智能健康设备、智能假肢等各领域；弘信电子业务涉及柔性电子、柔性压力传感器等方面产品。

电子皮肤，能成为元宇宙风口下另一个火热起飞的赛道吗？

人们对于元宇宙的设想是：现实中能做什么，在元宇宙中也能做什么；现实中不能做的，在元宇宙也有机会实现。按照这一想象，触觉等感官体验是不可或缺的一部分，这也为AR、VR产品之外的新型智能硬件品类提供了发展机遇。

上海社科院经济学博士王滢波对市界说道：“元宇宙要构造出一个跟现实对应的宇宙，其实感知是第一方面的，因为它本质上是人的需求。”

但是，这并不意味着短期内电子皮肤、VR头显等单一品类产品，能以“一己之力”撑起元宇宙的故事逻辑。王滢波还提到：“感知只是一个方面，另一方面相关基础设施的搭建也是蛮重要的，比如带宽、数据处理性能、数据传输容量等方面的关键技术的发展。毕竟，元宇宙和现实世界的对应不可能是单点的，一定是各种技术进行了融合，才能营造出类似于实体世界的、让人难辨真假的感觉。”

相关问答

近年来,制造商一直在努力增加手机的屏占比和缩小边框,以维持手机的便携性。与此同时,厂商还需找到将传感器从“额头”挪到其它地方的方法。近年来,我们已经...

过去两年,Mozilla的伙计们似乎一直在远离基于万维网联盟(W3C)WebofThings标准的ProjectThings项目,其旨在方便人们对联网设备进行监测和控制。不过今...

互联网未来发展的前景和趋势。目前人们还把互联网当成一个工具使用,用以解决通讯问题和信息查询。试想,互联网可以大规模收集、存储人类的行为信息,这在一程...

大疆OsmoPocket是Vlog神器吗?这个问题可以不假思索的回答一个“是”。特别是在一段时间的使用后,便更能发现它设计的巧妙之处以及功能的强大。但与它的体型相...

想要深入学习数据分析,第一步是要进行Python实战,然后需要对业务进行深入的理解,建立指标体系和思路,因为脱离了业务的数据分析基本上就是瞎胡闹。这里我就...

荷兰科技博客LetsGoDigital刚刚曝光了三星申请的“BrightNightSensor”新商标,暗示明年2月的GalaxyS11系列旗舰新智能机有望迎来夜拍功能的增强。此前...

个人隐私不是大数据的来源,来源包括1、交易数据,包括POS机数据、信用卡刷卡数据等;2、人为数据,包括电子邮件、文档、图片以及通过微信、博客、推特等产生的...

这个曾引发了不小争议的项目被宣传为“未来之城”,按照原计划它将被建在多伦多码头区。该计划设想的建筑是由环境可持续的木材和灵活的可移动墙板构成,传感器可...

好消息是,一些工作在地球上就能完成,比如NASA近日就完成了对2020火星车机械臂的测试。喷气动力实验室(JPL)在一篇博客文章中解释称,在登陆红色请求之...喷...

水位传感器、电源开关、安全开关、停止开关、排水泵、驱动器、驱动板、变压器、计量阀(三连阀)、排水阀电机部件(电动一体阀)、电源板、电脑板、空气阀、滤波器...