根据 Cloud Foundry 2018 年的一项调查,目前有38% 的公司在生产中使用容器技术,并且这一比例还在不断上升。Kubernetes 是公有云中占主导地位的容器技术:它为 Google Cloud Platform 上 85% 的容器化工作负载和 Microsoft Azure 上 65% 的工作负载提供支持。
从 Hadoop 到 Kubernetes
YARN 是 Hadoop 生态系统中与 Kubernetes 最接近的类似物。自 Hadoop 2.6 版以来,YARN 已经能够处理 Docker 容器。
然而,YARN 和 Hadoop 的一个缺点是用户仅限于基于 Java 的工具。然而,自 Hadoop 发布以来的几年里,许多其他大数据和机器学习技术堆栈以 Python 等语言出现,其中有流行的框架 NumPy、pandas 和 scikit-learn。
、操作系统或云提供商,这种灵活性使其成为许多开 巴拉圭电报数据 发人员的理想选择。技术顾问 Erkan Yanar 推测 Kubernetes 有可能成为自己的基础设施,形成不同技术生态系统之间的“通用语言”。如果您仍想访问 Hadoop 特定的功能,您甚至可以将 Kubernetes 用作 Hadoop 的编排层。
Hadoop 等平台是在大数据时代创建的,并且适用于不同的时代。Hadoop 首次发布时,互联网速度较慢,大多数大数据资产都存储在本地而不是云端。
如今,大多数组织不仅在使用云,而且还采用结合多种选择的多云、混合云或私有云策略。在这个更加复杂的大数据生态系统中,企业需要保证在一个环境中运行的应用程序在部署到另一个环境中时能够表现相同。
这就是容器和 Kubernetes 等技术发挥作用的地方。通过为容器配置资源并从头到尾管理其生命周期,Kubernetes 促进了运行大数据应用程序之前需要完成的 IT 基础工作。混合云和多云环境正变得比以往任何时候都更受欢迎,这很可能只会增加 Kubernetes 等容器服务在大数据方面的采用。
联系专家 »