大数据

  • vim find bash 文件系统

    一 vim vi visual interface 全屏文本编辑器 行文本编辑器sed 全屏:vi/vim  nano vim = vi improved  模式:  编辑模式,命令模式  输入模式 &…

    大数据 2021年11月16日
  • RDD编程

    1.RDD基础:   Spark中RDD是不可变的分布式对象集合。每个RDD被分为多个分区,这些分区运行在集群中的不同节点上。RDD可以包含任意类型的对象(甚至可以是自定义的)。  前面讲到,Spark包含转化操作和行…

    大数据 2021年11月16日
  • 如何使用Hive集成Solr?

    (一)Hive+Solr简介  Hive作为Hadoop生态系统里面离线的数据仓库,可以非常方便的使用SQL的方式来离线分析海量的历史数据,并根据分析的结果,来干一些其他的事情,如报表统计查询等。 Solr作为高性能的…

    大数据 2021年11月16日
  • SPL 的序号思维及定位计算

    SPL中的集合都是有序的,可以用序号来引用成员,灵活运用序号可以使运算更为简捷高效。 1 成员访问 SPL的某些函数中可以使用序号或序号数列作为参数,最简单的应用是直接用序号访问成员,这和一般编程语言中的数组…

    2021年11月16日
  • 做大数据分析时的几个技巧

      现在数据已经成为了一些企业的“天”。近年来,越来越多的公司意识到数据分析的价值,跳进了大数据旅行车。事实上,现在所有的东西都在被监控和测量,产生了大量的数据流,通常比公司处理的更快。问题是,按照定…

    大数据 2021年11月16日
  • 军规14 增量升级必不可少

        作为一个用户,测试过程中要注意APP升级时是否必须先卸载,才能安装;还有就是安装了最新版的,却发现之前的登陆信息全没了,还需要重新登陆;还有这就是最新版的安装后会不会崩溃。  14.1 测试…

    大数据 2021年11月16日
  • Hadoop常用的操作命令(2)

    Hadoop常用的操作命令 列出目录清单 [root@centos67 ~]# hdfs dfs -ls / 递归列出目录清单 [root@centos67 ~]# hdfs dfs -lsr / 创建目录 [root@centos67 …

    大数据 2021年11月16日
  • 太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)

    太平洋保险集团“家园项目”大数据平台DSG应用(oracle&kafka) 项目背景根据太平洋保险集团的IT建设规划,在2017年年底,需要完成“一个太保,共同的家园”项目(简称家园项目),旨在给客户提供更加便携、全面的…

    大数据 2021年11月16日
  • IPFS打破传统经济流通特性

    一、传统中心化企业的特点与弊端我国古代的社会体系是典型的中心化组织,以皇帝为权力中心,统治全国,一切经济、政治、文化等活动都要以此为基础,才算合法合规。“溥天之下,莫非王土;率土之滨,莫非王臣”这句话…

    大数据 2021年11月16日
  • 为什么我从 Git Flow 开发模式切换到了 Trunk Based 开发模式?

    我已经使用 Git Flow 构建我的 Git 分支有几年了。但是,我遇到了 Git Flow 的一些问题,其中大部分来自长期存在的分支。解决这些问题的方案就是 Trunk Based Development。这是一个非常简单的技术,也是有效的持续…

    大数据 2021年11月16日