Python中的yield迭代器使用

遇到复杂数据处理逻辑，想到可以使用Python的yield迭代器可以优雅地实现，切实体验到了迭代器的好处，多数情况下，代码不够优雅，也别是多层循环嵌套的，都可以常使用迭代器重构。

1，减少内存的占用，正如yield的经典用途，不必把所需的数据一次性生成到内存中，可以分批生成
2，明确函数职责，代码更优雅，可以遍历“迭代器函数”后进行逻辑处理，而不是原函数内部做逻辑处理

# 迭代器返回部分结果
def get_data_from_mysql(batch_size):
target_conn = {'host': '***.***.***.***', 'database': 'db01', 'port': 8000, 'user': 'root', 'password': '***'}
var_list = []
with pymysql.connect(**target_conn) as conn:
with conn.cursor() as cursor:
cursor.execute("SELECT * FROM test_table LIMIT 100;")
for row in cursor:
var_list.append(row)
if len(var_list) == batch_size:
yield var_list
var_list.clear()
# 遍历迭代器进行逻辑处理
def do_business_process():
var_batch_size = 10
for var_list in get_data_from_mysql(var_batch_size):
print(var_list)
print('do something complicated business for var list')
if __name__ == "__main__":
do_business_process()
'''
1，减少内存的占用，正如yield的经典用途，不必把所需的数据一次性生成到内存中，可以分批生成
2，明确函数代码职责，代码更优雅，可以遍历“迭代器函数”后进行逻辑处理，而不是遍历函数的同时做逻辑处理
'''