Android防重复点击 分布式服务 swift syntax lua openssl vue注册组件 pmp视频教程 jq去除空格 c语言求和 git下载项目 yml文件注释 java 大文件上传 python数据库 python环境变量配置 python编程语言 javaforeach java中的正则表达式 java时间格式 java接口规范 java查看变量类型 java中的map linux服务器登录 php整站源码 ntscan win7loader 高效能人士的七个习惯下载 考试练习系统 php购物车 3d软件下载 野德天赋 疯狂java讲义 idea导出jar包 medcalc layout下载 appdata是什么文件夹 卸载mysql 苹果手机耳机没声音 opencv是什么 ipad清理内存
当前位置: 首页 > 学习教程  > python

python 读取数据库

2021/2/6 22:30:33 文章标签: 测试文章如有侵权请发送至邮箱809451989@qq.com投诉后文章立即删除

1.连接数据库,并执行查询语句,返回查询结果,并转成dataframe形式 import numpy as np import pandas as pd from operator import itemgetter import matplotlib.pyplot as pltimport requests import pandas as pd import json from pyhive…

1.连接数据库,并执行查询语句,返回查询结果,并转成dataframe形式

import numpy as np
import pandas as pd
from operator import itemgetter
import matplotlib.pyplot as plt

import requests
import pandas as pd
import json
from pyhive import hive
import time
import re

def init_hive_connect(db= dbname):
    """
    init hive connect
    :param db: db name
    :return: hive connect object
    """
    hive_conn = hive.Connection(
        host        = db_host,
        port        = db_port,
        username    = user_name,
        password    = user_pw,
        auth        = "LDAP",
        database    = data_base
    )
    return hive_conn

def hive_query(hive_conn,sql):
    """
    query
    :param sql: exec sql
    :return: sql result
    """
    with hive_conn.cursor() as cursor:
        cursor.execute(sql)
        return cursor.fetchall()
    
def get_data(hive_sql):
    hive_conn = init_hive_connect()
    hive_res = hive_query(hive_conn,hive_sql)
    return hive_res


hive_sql = ''''''
res = get_data(hive_sql)
data = pd.DataFrame(list(res),columns=col_name)

2.使用传参方式

config内容

[data]
host=host_name
user=user_name
passwd=pw
port=port_num
db=db_name
charset=utf8

读取sql

import pymysql
from configparser import ConfigParser
cp = ConfigParser()
cp.read("db.fcg")
cp.sections()
db_para = cp['data']

db_conn = pymysql.connect(host=db_para['host'], port=int(db_para['port']), user=db_para['user'], passwd=db_para['passwd'], db=db_para['db'], charset=db_para['charset'])     #建立连接

sql = ''''''

res_info = pd.read_sql(sql, db_conn_)  #返回 dataframe格式数据

以上两种方式供大家选择(相比之下我更喜欢第二种方式)。

关于configparser模块,可以参考这里:https://blog.csdn.net/csdn_kelly/article/details/113661989


本文链接: http://www.dtmao.cc/news_show_2000132.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?