pymysql连接池多线程（pymysql数据库连接池）



一.背景：

         当数据量过大时，一个程序的执行时间就会主要花费在等待单次查询返回结果，在这个过程中cpu无疑是处于等待io的空闲状态的，这样既浪费了cpu资源，又花费了大量时间（当然这里主要说多线程，批量查询不在考虑范围，总会存在不能批量查询的情况），在这种非密集型运算（及大量占用cpu资源）的情况下在python中无疑运用多线程是一个非常棒的选择。

二.知识点：

        数据库连接池的运用及优势，python中多线程的运用，队列的运用

        数据库连接池：限制了数据库的连接最大个数，每次连接都是可以重复使用的，当然也可以限制每个连接的重复使用次数（这个在这里是没必要的），需要注意的是设置的数据库的最大连接个数最好要大于我们自己开的最大线程个数，一般逻辑是每个线程占用一个数据库连接可以使程序达到最大速度，如果小于则可能存在同时连接个数大于数据库允许的最大连接个数的风险。使用数据库连接池的优势在于，python多线程并发操作数据库，会存在链接数据库超时、数据库连接丢失、数据库操作超时等问题，而数据库连接池提供线程间可共享的数据库连接，并自动管理连接。

       python多线程：在程序等待io的时间里调用多线程去数据库执行查询操作。

       队列：这个就是数据结构里面的知识了，一般队列的常用模式先进先出队列。（这里主要用的是队列取一个数就少一个数的原理，其实用列表也可以实现，他的先进先出主要强调的是一个顺序关系，这一点到没用上，就当是练练手了）

三.两段代码作比较：

数据库的截图：

第一段代码：正常循环查询并打印出执行时间

执行结果：

第二段代码：限制数据库连接池最大15个连接，用队列限制最大线程个数为10个

程序备注应该还算比较清晰的哈，程序执行结果：

四.结论：

看结果说话

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/sqlbc/52667.html