Я пытаюсь собрать информацию с некоторых URL-адресов, используя Requests и BeautifulSoup в Python. Но некоторые сайты возвращают только частичный HTML-ответ, в котором отсутствует содержимое страницы.
Это код, который не работает:
import requests
from bs4 import BeautifulSoup
url = "http://www.exampleurl.com"
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')
Вот неполный ответ: Изображение
Вместо этого я попытался использовать Selenium с Chrome Webdriver, но столкнулся с той же проблемой.
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless')
browser = webdriver.Chrome(options=options)
browser.get(url)
html = browser.page_source
Любые идеи?
