随笔记录
-
postgresql 利用fdw来实现不同数据库之间数据互通(推荐)
前言最近在工作的时候 需要用数据库A中的表a1来更新插入数据库B中的b2表 由于数据库都是postgres数据库我想到了 postgres_fdw插件 准备工作首先需要保证这两个数据库之间网 是通的 数据库A 名字 AA ip 10.10.2.100…
-
详解PostgreSQL提升批量数据导入性能的n种方法
关键字：批量数据导入，数据加载，大量插入，加快，提升速度多元化选择时代，人生里很多事物都是如此，凡事都没有一成不变的方式和方法。不管白猫黑猫，能抓老鼠的就是好猫，适合自己的就是最好的。提升批量数据导…
-
Postgre数据库Insert 、Query性能优化详解
一、前言以前的系统由于表设计比较复杂（多张表，表与表直接有主从关系），这个是业务逻辑决定的。 插入效率简直实在无法忍受，必须优化。在了解了Postgre的Copy,unlogged table 特性之后，决定一探究竟。 二、测试…
-
我国露天煤矿智能化发展、规划、研究现状 及重点问题分析
作者简介： 孙健东（1988-）博士，博士后，现任应急管理部-华北科技学院-智能化无人开采研究所副所长，中国矿业大学（北京）矿业及计算机应用研究所副主任。主要从事露天开采工艺优化设计、露天开采装备智能化等研…
-
什么是Finops（云成本优化）
Gartner研究显示：平均来说企业上云会节省14%的成本，但是到2020年，由于缺乏成本优化手段，80%企业的云资源成本将会大幅超出预算；同时，45%的企业由于缺乏优化措施，在直接迁移上云的过程中会超买55%的资源，并且…
-
使用python爬取豆瓣评分电影Top250的爬虫代码
需要注意安装： 安装 Beautiful Soup如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装: $ apt-get install Python-bs4 Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理安装,那么…
-
Python3爬虫SSL:unable to get local issuer certificate (_ssl.c:1045)
当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出如下异常： urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certific…
-
python爬虫之Beautifulsoup模块用法详解
什么是beautifulsoup: 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。（官方） beautifulsoup是一个解析器，可以特定的解析…
-
ModuleNotFoundError: No module named matplotlib 问题解决方案
用pycharm 写波士顿房价预测程序，遇到一个问题，如下： 解决方案： 打开cmd ,切换到python的安装路径下，然后输入：python -m pip install matplotlib 稍等片刻，成功！
-
Python3 venv 创建虚拟环境
简介Python3.3以上的版本通过venv模块原生支持虚拟环境，可以代替Python之前的virtualenv。 该venv模块提供了创建轻量级“虚拟环境”，提供与系统Python的隔离支持。每一个虚拟环境都有其自己的Python二进制（允许有…
