业务场景需求及实现逻辑分析
在业务中，我们经常会碰到需要用http get请求数据的情况，比如http请求返回的结果如下所示：
那么，如果我们想将这些数据用mysql存储下来，那该怎么实现呢？
其实，调用python的httplib和mysqldb包将会非常容易实现，httplib负责获取url的返回，mysqldb负责对mysql数据库进行操作。下面整理了关系逻辑图：
那么，我们开始代码开发：
python依赖包准备
python需要用到的包至少有如下几个，其中mysqldb依赖包的安装可以参考python安装mysql的依赖包mysql-python
# 此为python文本编辑器界面 #!/usr/bin/python # coding=utf-8 import httplib import json import time import mysqldb
用httplib获取url请求返回
httplib包支持如下的一些方法和函数：
url = "http://www.testtesttest.com/mobile/kit?token=yyyyyyyyy&key=tttttt&size=1" #具体的url链接
conn = httplib.httpconnection("www.testtesttest.com")
conn.request(method="get", url=url) #指定get方法，以及url对象
response = conn.getresponse() #创建response对象
res = response.read() #读取url返回的内容
# 使用json.loads方法将json解码为python对象
json_repose = json.loads(res)
data = json_repose['data']
此时，http请求返回的所有信息都存在了对象res中，因为请求返回的是json字符串，上面我们采用了json.loads方法来解析。
可以留意到，最终我们将请求返回的json内容，都存到了python的对象中里，而一旦将数据转为数组或者元组等形式储存，我们就可以用python自带的函数对其进行解析或者其他操作了。
用python解析url请求返回的json
# 这里我们定义了一个函数用于解析json
def data_list_analyze(i):
data_dict = data[i]
status = data_dict['status']
devi_id = data_dict['devi_id']
update_time = time.strftime("%y-%m-%d %h:%m:%s", time.localtime(data_dict['update_time']))
actived_time = time.strftime("%y-%m-%d %h:%m:%s", time.localtime(data_dict['actived_time']))
return devi_id, imei, device_type, actived_time
python连接数据库并写入数据
接下来是数据库的连接示例：
# 打开数据库连接,指定数据库ip、用户名、密码、连接的库名
db = mysqldb.connect("192.168.xxx.xxx", "db_user", "db_password", "db_database", charset='utf8')
# 使用cursor()方法获取操作游标
cursor = db.cursor()
# 建表sql语句
sql = """create table if not exists `gergsmart_list`(
`devi_id` varchar(255) not null comment 'imei, //硬件设备 imei',
`imei` varchar(255) comment 'iccid,//硬件设备 sim卡',
`device_type` varchar(255) comment '设备类型',
`actived_time` datetime comment '⾸次激活时间',
primary key(`devi_id`)
)engine=innodb default charset=utf8;
"""
# 使用execute方法执行sql语句,建表
cursor.execute(sql)
# 插入数据sql语句
insert_sql = "insert into `gergsmart_list` \
(devi_id,imei,device_type,actived_time) \
values (%s, %s, %s, %s,)"
从上面可以留意到，我们可以将python解析得到的对象devi_id、imei、device_type、actived_time，放入了mysql的插入语句中去，这样我们就实现了“从url获取数据，存到python对象中，再将python对象插入到mysql的记录中”这样的操作了。
总结，其实我们可以将python看作为一个中转器，接收url请求返回，并写入mysql。而其中httplib负责了接收操作，mysqldb负责了写入操作。
补充：mysql请求超时！延伸拓展至get post请求的区别是什么，超详细！一篇足矣解决所有！！
将数据库的连接地址从127.0.0.1改为localhost即可！亲测有效！！
查阅了很多的资料，归纳总结了get请求和post请求的区别
做了以下总结：
众所周知的是get请求的参数是直接暴露在url上面，安全性较低。post请求的参数是存放在body里面夹带过去，安全性较高一点。接下来我们看看稍微全面一点的解释
我们先看一下前辈们的解释
一、get和post请求的区别是什么：
get是从服务器上获取数据，post是向服务器传送数据。
get是把参数数据队列加到提交表单的action属性所指的url中，值和表单内各个字段一一对应，在url中可以看到。post是通过httppost机制，将表单内各个字段与其内容放置在html header内一起传送到action属性所指的url地址。用户看不到这个过程。
对于get方式，服务器端用request.querystring获取变量的值，对于post方式，服务器端用request.form获取提交的数据。
get传送的数据量较小，不能大于2kb。post传送的数据量较大，一般被默认为不受限制。但理论上，iis4中最大量为80kb，iis5中为100kb。
get安全性非常低，post安全性较高。
get 请求可被缓存 post 请求不会被缓存
get 请求保留在浏览器历史记录中 post 请求不会保留在浏览器历史记录中
get 请求可被收藏为书签 post 不能被收藏为书签
get请求只能进行url编码（application/x-www-form-urlencoded）post支持多种编码方式（application/x-www-form-urlencoded 或 multipart/form-data。为二进制数据使用多重编码。）
最直观的区别就是get把参数包含在url中，post通过request body传递参数。
接下来参考一下官方的说法是什么：
二、在w3schools中也对二者进行了区分给出了官方的答案
get在浏览器回退时是无害的，而post会再次提交请求。
get产生的url地址可以被bookmark，而post不可以。
get请求会被浏览器主动cache，而post不会，除非手动设置。
get请求只能进行url编码，而post支持多种编码方式。
get请求参数会被完整保留在浏览器历史记录里，而post中的参数不会被保留。
get请求在url中传送的参数是有长度限制的，而post么有。
对参数的数据类型，get只接受ascii字符，而post没有限制。
get比post更不安全，因为参数直接暴露在url上，所以不能用来传递敏感信息。
get参数通过url传递，post放在request body中。
get产生一个tcp数据包；post产生两个tcp数据包。
基于上述以及查阅的资料做一个总结
http是基于tcp/ip的关于数据如何在万维网中如何通信的协议。 http的底层是tcp/ip。所以get和post的底层也是tcp/ip，也就是说，get/post都是tcp链接。get和post能做的事情是一样一样的。你要给get加上request body，给post带上url参数，技术上是完全行的通的。
post请求和get请求都是http的请求方式，本质上来说并无区别，底层实现都是基于tcp/ip协议。但是请求有各种各样的方式，于是http对请求方式进行了划分和规定，于是产生了get、post处理请求的分工和区别。
此外还有搜索到另外一个区别：get产生一个tcp数据包；post产生两个tcp数据包。对于get方式的请求，浏览器会把http header和data一并发送出去，服务器响应200（返回数据）；而对于post，浏览器先发送header，服务器响应100 continue，浏览器再发送data，服务器响应200 ok（返回数据）。
get与post都有自己的语义，不能随便混用。
据研究，在网络环境好的情况下，发一次包的时间和发两次包的时间差别基本可以无视。而在网络环境差的情况下，两次包的tcp在验证数据包完整性上，有非常大的优点。
并不是所有浏览器都会在post中发送两次包，firefox就只发送一次。
综述：
“get方式提交的数据最多只能是1024字节”，因为get是通过url提交数据，那么get可提交的数据量就跟url的长度有直接关系了。而实际上，url不存在参数上限的问题，http协议规范没有对url长度进行限制。这个限制是特定的浏览器及服务器对它的限制。ie对url长度的限制是2083字节(2k+35)。对于其他浏览器，如netscape、firefox等，理论上没有长度限制，其限制取决于操作系统的支持。注意这是限制是整个url长度，而不仅仅是你的参数值数据长度。
理论上讲，post是没有大小限制的，http协议规范也没有进行大小限制，说“post数据量存在80k/100k的大小限制”是不准确的，post数据是没有限制的，起限制作用的是服务器的处理程序的处理能力。对于asp程序，request对象处理每个表单域时存在100k的数据长度限制。但如果使用request.binaryread则没有这个限制。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持www.887551.com。如有错误或未考虑完全的地方，望不吝赐教。