hadoop

如何提升Hadoop访问对象存储US3的效率?我们做了这些技术实践

在信息爆炸的大数据时代,如何以更低成本来解决海量数据的存储问题,已成为企业大数据业务中的重要一环。UCloud自研的新一代对象存储服务US3,在过去一段时间,针对大数据业务场景推出了计算存储分离和大数据备份解决方案。 这背后的主要原因包括: 1、由于网络技术的高速发展,使得网络传输性能不再是大数据场
hadoop

Hive的安装部署操作

基本原理 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十
hadoop

Hadoop - 集群安装(高可用)

首页 专栏 hadoop 文章详情 0 Hadoop - 集群安装(高可用) 大军 发布于 5 月 19 日 Hadoop - 集群安装已经介绍了如何安装一个Hadoop集群,但是这个集群的NameNode出现故障,那这个集群是不可以用的。我们需要借助zookee
hadoop

数据搬运组件:基于Sqoop管理数据导入和导出

首页 专栏 大数据 文章详情 0 数据搬运组件:基于Sqoop管理数据导入和导出 知了一笑 发布于 3 月 15 日 本文源码:GitHub || GitEE 一、Sqoop概述 Sqoop是一款开源的大数据组件,主要用来在Hadoop(Hive、HBase等
hadoop

什么是Hadoop?你真的了解吗?

首页 专栏 java 文章详情 0 什么是Hadoop?你真的了解吗? 数栈DTinsight 发布于 3 月 19 日 2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个,2015年再去百度搜索Hadoop已经有800多万个问题,而如今已然已
hadoop

龙芯3A2000移植Hadoop指南

首页 专栏 安全 文章详情 0 龙芯3A2000移植Hadoop指南 这是一个小芯芯 发布于 3 月 22 日 一、hadoop 简介 hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分
hadoop

hadoop 在 termux 安装配置的问题

首页 专栏 机器学习 文章详情 0 hadoop 在 termux 安装配置的问题 Mikele 发布于 3 月 29 日 在安卓手机安装使用 hadoop 遇到的问题 由于新的 termux 在安卓 10 安装不了 Java ,所以在 termux 里安装了
hadoop

跟我学丨如何用鲲鹏服务器搭建Hadoop全分布式集群

首页 专栏 服务器 文章详情 0 跟我学丨如何用鲲鹏服务器搭建Hadoop全分布式集群 华为云开发者社区 发布于 3 月 31 日 摘要:今天教大家如何利用鲲鹏服务器搭建Hadoop全分布式集群,动起来··· 本文分享自华为云社区《利用鲲鹏服务器快速搭建一个
hadoop

Hadoop学习笔记—HDFS

首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—HDFS 西北偏北 发布于 4 月 3 日 [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时间关系,不打算去修改其中的错别字和排版问
hadoop

hadoop3.2.2的start-yarn.sh启动失败

根据尚硅谷的hadoop3.2.2分布式教程分三台机子102开启Namenode 103开启ResoucreManager104开启SecondaryNamenodejps情况 namenode和datanode均以配置成功。hadoop102hadoop103hadoop104 在hadoop10
hadoop

Hadoop学习笔记—Yarn

首页 专栏 hadoop 文章详情 0 Hadoop学习笔记—Yarn 西北偏北 发布于 4 月 10 日 Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些H
加载更多