Python и vk execute = 40 тысяч постов за 3 минуты!

Да, сучка, это Python и vk execute!

Собрать 39000 постов за 3 минуты!

Закончил очередную партию парсеров, теперь этот парсер умеет делать сбор постов несколько быстрее, чем раньше.

В прошлый раз, одними только силами Python while – мне удалось спарсить стену с 39 тысячами постов минимум за 15-20 минут, при этом с вероятностью в 50% поймать timeout error и запускать все заново или дробить сбор постов по дате или кол-ву.

Вуаля, упорство и немного логики:

Get posts from wall from VK wall.get
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 2000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 4000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 6000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 8000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 10000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 12000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 14000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 16000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 18000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 20000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 22000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 24000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 26000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 28000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 30000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 32000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 34000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 36000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 38000
Posts present: 39143| Runs: 20| Iters: 20| Offset of posts is: 40000
All posts parsed: 39143
189.69196796417236

Я хз кто меня вообще читает, вижу только кучу репостов в линкедин и некоторые в фейсбук.

Кароч, если кто читает – дайте о себе знать, если вам нужен будет мой сценарий по сбору этих постов через vk execute.

For my english speaker folks – if you’re really reading my blog – just give me a shout if you need an eng. translation of my posts – will do.