Парсинг сайтов на Python: как использовать прокси и менять User-Agent

Парсинг сайтов на Python: как использовать прокси и менять User-Agent

Oleg Molchanov

7 лет назад

47,424 Просмотров

Ссылки и html тэги не поддерживаются


Комментарии:

Nashir LUTIAN
Nashir LUTIAN - 24.06.2023 19:21

Avotaiya

Ответить
Nashir LUTIAN
Nashir LUTIAN - 24.06.2023 19:18

Avotaiya

Ответить
Be_-Positive
Be_-Positive - 12.06.2023 16:26

Спасибо! Помогло! 🔥

Ответить
Людмила Юдина
Людмила Юдина - 24.05.2023 09:20

!!!!!!!!!!!!!!!!!!!!!!!!!

Ответить
Denis Safonov
Denis Safonov - 21.07.2022 01:05

Большое спасибо за удаление комментария с чисто техническим вопросом, дизлайк, отписка.

Ответить
Toxic_Not
Toxic_Not - 09.08.2021 17:08

Не помогло , все также выдает : infoblock action-description invisible . Your browser cannot be verified automatically, please confirm you are not a robot.

Ответить
andrey creewlees
andrey creewlees - 09.07.2021 21:00

спасибо как раз для новачков

Ответить
Serhii Nesterov
Serhii Nesterov - 14.05.2021 19:14

спасибо

Ответить
Tails Prower i hate this life
Tails Prower i hate this life - 29.04.2021 23:31

Спасибо. А то ноль в питон только немного C++ знаю. Есть идея написать ютуб парсер через прокси. Мм вкусно же будет топ теги + накрутка.

Ответить
Игнат Мирзализадэ
Игнат Мирзализадэ - 01.03.2021 09:35

А дааальше? ) Просто подменяю адрес и юзерагент на новые в гет запросе что ли?

Ответить
Alexander Padalka
Alexander Padalka - 24.02.2021 00:15

Ответить
NONE
NONE - 27.08.2020 19:19

Если будет Парсинг раз в 5 секунд не будут банить?(Алиэкспресс)

Ответить
Rezo Закаидзе
Rezo Закаидзе - 27.03.2020 17:57

у меня не получается зайти на сайт, скиньте пожалуйста код

Ответить
evans experience
evans experience - 09.02.2020 01:03

Не подставляет юзер-агента. print списка useragents работает, так же как и вызов по индексу из списка, но в хедерс почему-то не передается. Уже три раза проверил код - ничего не вижу - все как у вас... Прям вот интересно в чем проблема-то)
UPD:

4 часа ушло на то, что бы понять, что в main() сначала объявляется useragents, а за ним сразу proxies, но никак не наоборот 😑.

Ответить
HiStO rIaN
HiStO rIaN - 24.01.2020 19:57

Спасибо большое. Пока реально крутые уроки.

Ответить
Валентин Комаров
Валентин Комаров - 14.01.2020 16:59

Подскажите пожалуйста, делаю по вашему уроку все, но возвращает все равно мой ip перепробовал много прокси, помогите

Ответить