阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过DataWorks将HBase数据同步到Elasticsearch
步骤一:环境准备创建阿里云Elasticsearch实例,并开启实例的自动创建索引功能。
具体操作,请参见创建阿里云Elasticsearch实例和配置YML参数。本文以通用商业版实例为例。
创建DataWorks工作空间。
创建工作空间时,所选地域需要与阿里云Elasticsearch一致。具体操作,请参见创建工作空间。
创建HBase集群并准备测试数据。
创建HBase集群时,所选地域、专有网络和虚拟交换机要与阿里云Elasticsearch保持一致。本文以创建标准版HBase集群为例,具体操作,请参见购买集群。
测试数据
使用put命令向数据表中插入数据,例如:put "student", "row1", "name:a", "xiaoming"。
使用scan命令查看表中的数据,例如:scan "student"。
步骤二:购买并创建DataWorks独享资源组
区间
登录DataWorks控制台。
选择相应地域后,在左侧导航栏,单击资源组列表。
购买独享数据集成资源。
创建一个独享数据集成资源。
具体操作,请参见新增和使用独享数据集成资源组。本文使用的配置如下,其中资源组类型选择独享数据集成资源组
单击已创建的独享资源组右侧的网络设置,参见绑定专有网络,为该独享资源组绑定专有网络。
独享资源部署在DataWorks托管的专有网络中。DataWorks需要与HBase集群和Elasticsearch实例的专有网络连通才能同步数据。而HBase集群和Elasticsearch实例在同一专有网络下,因此在绑定专有网络时,选择Elasticsearch实例所在专有网络和交换机即可。
单击已创建的独享资源组右侧的修改归属工作空间,为该独享资源组绑定目标工作空间。
具体操作,请参见新增和使用独享数据集成资源组。
步骤三:配置HBase白名单
无论是公网访问,还是VPC内网访问,均需要先将访问HBase的客户端IP地址加入到白名单中,才能连接到HBase集群。本文需要使用步骤一中创建的独享资源组,通过VPC内网访问HBase集群,因此在添加数据源前,需要将独享资源组绑定的交换机网段添加至HBase的访问白名单中,具体操作请参见设置白名单和安全组。
步骤四:在DataWorks中添加HBase和Elasticsearch数据源
进入DataWorks的数据集成页面。
在DataWorks控制台的左侧导航栏,单击工作空间列表。
找到目标工作空间,单击其右侧操作列下的数据集成。
在左侧导航栏,单击数据源。
在数据源管理页面,单击新增数据源。
在新增数据源对话框的大数据存储区域中,单击HBase。
在新增HBase数据源对话框中,填写数据源名称和配置信息。
使用的HBase版本不同,您需要填写不同的配置信息:
标准版及以下的版本:使用默认的配置信息,即ZK链接地址,同时需要手动增加hbaseVersion属性。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云服务器购买,阿里云国际账号免费注册]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将以下代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
qq群解散群怎么解散_qq群咋解散 -
如何解散QQ群? 解散QQ群是一个相对简单的过程,只需几个简单的步骤即可完成。以下是解散QQ群的步骤: 第一步:进入群设置 在QQ群聊界面,点击右上角的设置图标,然后选择“群设
-
“网易布局知识短片视频:IP化运营怎么风口突围?” -
国家一级美术师 【科技在线】 进攻之年,短篇录像再次爆炸,摆在文案面前的任务确定而险峻。 短片风口突破了所有人想象的上限。 根据questmobile的数据,受疫情影响的春节、短片顾
-
在职研修班考试难么 -
印刷图文 在职研修班考试难么?回答要考试哪几种证书?想必很多人想到的在职研究生都会怀疑,同等学力申硕考试难度较高,但是毫无疑问的是一个很不错的选择,毕竟同等学力申硕是考试
-
win7旗舰版运行速度提高90win7旗舰版优化上网速度_ -
如何提高win7旗舰版的运行速度? Win7旗舰版是一款功能强大的操作系统,但是在长时间使用后可能会出现运行速度变慢的情况。为了提高其运行速度,以下是几个有效的优化方法: 清理
-
二次结构泵好用吧-来看看用户真实评价吧! -
二次结构泵 这款小型混凝土输送泵经多年革新发展,可以说 深受广大 用户 的信赖 。 那么为什么 二次结构泵 能够受到众多朋友们的认可呢?下面就跟小编来看看其使用效果吧。 二次
-
企业新号的抖音推广方案怎么制作? -
企业新号要想崭露头角,非得有一套独门的 抖音推广 方案不可。这推广方案该如何制作? 企业新号抖音推广方案一、研究规律 在抖音上,每个时间段都有它的高峰期,每个话题都有它