• 
       
       
       
       
    1. 
         
         
         
         
    2. 
         

      
         
         
          
         
         

    3.     



      <em id="aac11715"></em>
      beplay备用官网_beplay体育app苹果_beplayapp
      beplay备用官网_beplay体育app苹果_beplayapp
    4. 消息资讯
    5. 集团公司新闻
    6. 媒体报道
    7. 艺术分享
    8. 招贤纳士
    9. 招贤纳士
    10. 职工风采
    11. 关于我们
    12. 集团公司介绍
    13. 集团公司理念
    14. 集团公司文化
    15. 资质荣誉
    16. 沟通方法
    17. EN
    18.  
       
    19. 集团公司新闻
    20. 媒体报道
    21. 艺术分享
    22. OceanMind海睿思 ARM冷热互备解决方案介绍

      2018-08-10

      10bet十博登录注册

      官方新10bet十博登录注册OceanMind海睿思大数量平台主要由OceanSource多少治理产品、OceanMining大数量智能分析挖掘系统、OceanStorage存储产品、OceanEye事情生成产品等组成。本文将为大家着重介绍OceanStorage ARM玉器备份机制。

      OceanMind海睿思大数量平台采用基于ARM玉器的HDFS冷热互备解决方案,她配备的低功耗ARM存储服务器为对方新10bet十博登录注册自主研制,具有功耗低、存储密度高、性价比高等特点。同时OceanMind大数量平台中的老化管理力量,名将超出置冷天数之数目由x86玉器的录像带目录迁移至ARM玉器磁盘目录,到达节约客户成本并且有效保护客户数据的目的。



      ARM冷热互备 VS 风备份

      ARM冷热互备方案与民俗的录像带备案、光盘/编造磁带机备案方案相比,在数量恢复、事情恢复、备份数据恢复时间、备份数据在线访问、线性扩展等方面具有固定的攻势,实际如下:



      ARM冷热互备解决方案实现原理

      多少冷热分级存储是指将热数据(近来一段日子经常利用的数目)存储在x86玉器上,冷数据(历史不常时间之数目)存储在ARM玉器上。


      置冷是数据生命周期管理的有些,指将数据从热盘(x86玉器硬盘)搬迁到冷盘(ARM玉器硬盘)。置冷分为两个步骤:1)安装存储策略;2)搬迁文件块。可以了解为序执行了hdfs storagepolicies和hdfs mover命令。


      多少置冷针对的是按天分区的表面,即partition by后面定义有day字段的表面。超过置冷周期的数目将会从热盘迁移至冷盘。安排的制冷规则由定时器每天通过HTTP呼吁发送给后台,据此进行数据置冷。


      HDFS的数目move效益是ARM冷热互备方案能够得以实现的底子。mover工具用于归档数据,在数量移动方面与Balancer类似。mover为期扫描HDFS文件,检查文件的存放是否符合她自己的存储策略。如果数据不符合自己之富民政策,他会把数据移动到该去的中央。


      HDFS支持的存储策略为:

      顶有足够空间的时节,HDFS会复制使用上标中Block Placement 行所列出的存储类型。如果Block Placement 行的空中不够,则考虑用Fallback storages for creation行(始建时)或者Fallback storages for replication行(研制时)的存储类型。


      穿越上述HDFS的move公有制,可将热数据存储于基于x86的HDFS集群,名将冷数据自动归档至基于ARM玉器的HDFS集群。冷热数据位于同一个HDFS的命名空间内,可从容的开展数据查询、导入、导出等。基层业务对冷热数据的物理分布无感知。




      冷热互备操作示例

      示例环境采用x86与ARM机械混合搭建hadoop集群,其中ARM64机械4台,表现datanode视点;x86机械3台,2台作为namenode,剩下1台作为datanode视点;置冷触发采用OceanMind平台中的老化管理力量。


      测试数据导入

      1) 登录;

      2) 始建以day为分区的面试表:create table part_ymd(x int)partitioned by (day String);

      3) 插入数据:insert into part_t partition (day='20180610') values (199);

      4) 循环第三地操作,插入足够多之数目,实践select查询验证。


      始建老化管理规则

      登录OceanMind平台页面,进去【流程管理】---【老化管理】,点击新增按钮,按照下图示例建立规则,外部数据中的时间相差当前时间之命运超出设置的置冷天数时接触置冷动作。


      安装以上规则会将default.part_ymd外部30天涯之前的成分区和回答数据老化,名将6天涯之前的数目置冷。


      官方新10bet十博登录注册OceanMind海睿思大数量平台ARM冷热互备解决方案,穿越将热数据存储于基于x86的HDFS集群、冷数据自动归档至基于ARM玉器的HDFS集群的公有制,运用x86玉器与ARM玉器各自的攻势,力争为用户提供业界性能最好、存储密度最高、功耗最低、超高性价比、租用于多种海量数据存储应用场景的存储服务,在充分节约客户成本的同时实现客户数据的有用保护。



      文章关键词:

      无形化标签

      分享到:

    23. 网络内容安全产品
    24. 宽带互联网数据汇聚分发管理产品
    25. 大数量运营产品
    26. 移步接入网数据采集分析产品
    27. 邮电互联网产品
    28. 社会活动
    29. 声明宣布
    30. 互动平台
    31. 菜价信息
    32. 艺术支持
    33. 服务
    34. 集团公司新闻
    35. 媒体报道
    36. 艺术分享
    37. 招贤纳士
    38. 职工风采



    39. 劳务热线:

      400-100-8102

      地点:贵阳市江宁区正方中路888号中新10bet十博登录注册大楼

      EMALL: sales@lcloudy.com

      官方新10bet十博登录注册

      海睿思大数量


      1. <pre id="c1fe955a"></pre>
        
           
           
           
           
            
           
          
             
             
             
              



          1.     
          2. 沟通电话
            劳务热线
            400-100-8102
            法定微信
            官方新10bet十博登录注册
            海睿思大数量
            在线留言