数据库存取速度优化

sqlite3

使用场景

使用 pony 作为 orm读取 20w 条左右数据

慢

取得所有字段,会自动封装成对象 select(u for u in User)

优化

只取需要的字段 select(u.id for u in User)

redis

使用场景

使用 redis.py 作为  写入 20w 条左右数据

慢

m.incr('u_'+u[:7])

优化

使用连接池

pool = redis.ConnectionPool(host='127.0.0.1', port=6379, db=15)
m = redis.StrictRedis(connection_pool=pool)

使用批量提交

pipe = m.pipeline()
pipe.incr('u_'+u[:7])
pipe.set()
pipe.execute()