都行，建议你用队列来序列化整个工作，redis这种kv数据库级的或者是gevent.queue这种协程级的或者是multiprocessing.queue这种跨进程的队列都行……
目测这个工作主要瓶颈在检查url是否正常（http code 2xx？），次瓶颈在从数据库读这10M条记录。
对于检查url的工作，可以通过gevent/twisted/多线程/多进程来并发，就像你说的pool设置到100。
对于从数据库读出记录，并行不见得比串行访问更快……
所以，开一个到两个reader从数据库读，开100个以上的checker去检查url就可以了。中间放一个queue用来通信。
是这样的结构： reader ---(写入)--> 队列 ---(读出)--> checker
至于队列用什么实现，不是很重要……因为瓶颈不在这儿……
从数据库读就很容易了，如果只有一个reader，就select * from table得到一个完整的数据集，遍历写入队列即可
