Hadoop、spark、hive的原理及其在金融领域的应用

首先百度百科了各个词条的含义:

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

SPARK (Spark)  

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

大数据对风控的帮助
大数据可以提供全面的多角度的数据,降低借款人的贷款的风险。

企业指标:宏观指标,行业指标,企业指标,财务指标

个人指标:宏观,行业,个人。

指标频率:日,月,季,年
个人版风控系统查询:

A个人收入

B银行流水

C负债

D汽车折旧系数

E×××折现系数

企业版风控系统查询

绝对指标

A资产总计

B负债总计

C营业总成本/营业总收入

D销售毛利率

现金收益

E净资产收益率ROE

F经营活动净收益/利润总额(TTM)

G经营性现金净流量/营业总收入

H筹资活动产生的现金流量净额占比

I投资活动产生的现金流量净额占比

偿债能力

J资产负债率

K有形资产/总资产

L权益乘数

M流动比率

N速动比率

营运能力

O存货周转率

P应收账款周转率

Q应付账款周转率

R净资产(同比增长率)

S固定资产投资扩张率

T利润总额/息税前利润

U股东权益合计/负债总计

V. EBITDA率%

风控流程

3.1业务流程

1.借款人进行咨询;

2.填写申请表和有关资料,提交给业务员;

3.业务员添加客户至客户室;

4.业务员为客户发起授信申请,进入授信审核,审核成功后,借款人获得授信额度。

5.业务员为借款人发起借款申请,进入借款审核,审核成功后,财务放款,借款成功.

3.2授信审核流程(贷前流程)

1.业务员为自己客户发起授信申请;

2.业务主管进行初审,审核通过进入风控委员初审,驳回返回上级,拒绝的授信失败;

3.风控委员进行初审;

4.风控主管进行复审;

5.贷审会进行审核;

6.总经理进行终审,审核通过,授信成功,借款人获得授信额度。

3.3

借款审核流程(贷中流程)

1.借款人拥有一定的授信额度,业务员为借款人发起借款申请;

2.业务主管进行初审,审核通过进入风控委员初审,驳回返回上级,拒绝的授信失败;

3.风控委员进行初审;

4.风控主管进行复审;

5.总经理进行终审;

6.审核通过的,财务放款,借款人借款成功。

3.4贷后流程

贷款到期,借款人还款。其中借款人可以提前还款,若到期未能还款,则有展期申请、强制结清、押品结清、押品处置、违约金法系处理。

借款人还清贷款,即可拿回抵押物品。

四。风险管理全面解决方案

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/192119.html

(0)
上一篇 2021年11月14日
下一篇 2021年11月14日

相关推荐

发表回复

登录后才能评论