Как я могу найти элементы, которых нет в исходном коде страницы, используя селен (питон)

В настоящее время я пытаюсь что-то очистить с веб-сайта. Для этого мне нужен контент электронной почты, поэтому я использую для этого yopmail (https://yopmail.com). В yopmail у вас есть письма в левой части экрана с темой письма под ним. Этот текст — та часть, которая мне нужна. [представление почты][1] [код инструмента разработки][2]

Проблема сейчас в том, что этот код недоступен в исходном коде страницы. Для того, что я заметил в Интернете, это может быть вызвано генерацией javascript, хотя я не уверен, что это именно проблема.

Я пробовал несколько решений:

попытка 1: используя BeautifulSoup и найдите элемент (не удалось, потому что он не находится в исходном коде страницы)

попытка 2: попытался найти элемент с помощью xpath с драйвером селена (также не удалось найти)

попытка 3: получить внутренний html тела (по-прежнему недоступен в этом html)

driver.find_element_by_tag_name('body').get_attribute('innerHTML')

Такое ощущение, что ничего не работает, а также другие связанные сообщения здесь не дают мне ответа, который помогает. Есть ли кто-нибудь, кто может помочь мне с этим? [1]: https://i.stack.imgur.com/vTi0s.png [2]: https://i.stack.imgur.com/nmBZ8.png


67
1

Ответ:

Решено

Похоже, что элемент, который вы пытаетесь получить, находится внутри iframe, поэтому вы не можете его найти. Итак, сначала вам нужно переключиться на iframe, используя:

WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.ID ,'ifinbox')))

element = driver.find_element(By.XPATH, "//div[@class='lms']")
print(element.text)

Когда вы закончите, вы можете вернуться к содержимому по умолчанию, используя

driver.switch_to.default_content()

ПРИМЕЧАНИЕ. Вам необходимо импортировать следующие

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC