Крайняя степень эффективности.
Теперь скрипт не парсит данные, их парсит сам ВК и возвращает мне лишь списки: айди, комменты, репосты и т.п. Для каждого набора свой список – длина списков всегда одинакова.
Дело в том, что ВК не позволяет производить более 24-х итераций за раз в vk execute, поэтому, прежде чем отправить списки постов, я дроблю их на группы по 20.
Мало того, благодаря вот этому вкраплению: https://toster.ru/q/234399 я теперь могу производить сбор постов по 100 штук по 20 раз за итерацию в Python, то есть на стороне ВК происходит 20 итераций по 100 постов за одну итерацию в python
Далее списки zipаются в один большой список списков по 2000 элементов в каждом.
Based on: http://www.trianglesis.org.ua/python-i-vk-execute-40-tysyach-postov-za-3-minuty
Время выполнения сократилось почти в два раза! 40 тысяч элементов за полторы минуты! Уже даже не знаю, можно ли быстрее или потолок в высшей степени проходимости сети.
Bot has started it's work Get posts from wall from VK execute.wall_getPosts_all Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 2000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 4000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 6000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 8000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 10000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 12000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 14000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 16000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 18000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 20000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 22000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 24000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 26000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 28000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 30000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 32000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 34000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 36000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 38000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 40000 Zip lists Insert table Script has finished his work. Exec time: 85.511549949646 Process finished with exit code 0