Just my blog
Blog about everything, mostly about tech stuff I made. Here is the list of stuff I'm using at my blog. Feel free to ask me about implementations.
- Mobaxterm SSH RDP FTP...
- Thunderbird Email client
- Filezilla FTP client/server
- Nirsoft Win utils
- Sysinternals Win utils
- Pi-Hole AD block by DNS
- NUT UPS manager
- Rpi MON Raspberry monitoring
- Free CAD 3D modelling
- Free Commander Far-like filemanager
- Bitwarden Password manager
- Django web framework
- celery multi-tasking
- celery-beat Celery + Django
- celery-results Celery + Django
- Pillow Python image lib
- wsgi mod Apache + Python
- requests best in WEB requests
- openpyxl make Excell docs
- p4python Perforce + Python
- paramiko SSH + Python
- pyvmomi ESXi Vcenter + Python
I'm using these libraries so you can ask me about them.
Better, then best vk execute and python part. 2
Крайняя степень эффективности.
Теперь скрипт не парсит данные, их парсит сам ВК и возвращает мне лишь списки: айди, комменты, репосты и т.п. Для каждого набора свой список - длина списков всегда одинакова. Дело в том, что ВК не позволяет производить более 24-х итераций за раз в vk execute, поэтому, прежде чем отправить списки постов, я дроблю их на группы по 20. Мало того, благодаря вот этому вкраплению: https://toster.ru/q/234399 я теперь могу производить сбор постов по 100 штук по 20 раз за итерацию в Python, то есть на стороне ВК происходит 20 итераций по 100 постов за одну итерацию в python Далее списки zipаются в один большой список списков по 2000 элементов в каждом. Based on: http://www.trianglesis.org.ua/python-i-vk-execute-40-tysyach-postov-za-3-minuty Время выполнения сократилось почти в два раза! 40 тысяч элементов за полторы минуты! Уже даже не знаю, можно ли быстрее или потолок в высшей степени проходимости сети.
Bot has started it's work Get posts from wall from VK execute.wall_getPosts_all Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 2000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 4000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 6000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 8000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 10000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 12000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 14000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 16000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 18000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 20000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 22000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 24000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 26000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 28000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 30000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 32000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 34000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 36000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 38000 Posts present: 39220| Runs: 20| Iters: 20| Offset of posts is: 40000 Zip lists Insert table Script has finished his work. Exec time: 85.511549949646 Process finished with exit code 0