Why is BeautifulSoup's find not finding the tag?

Question

Python

I can't figure out why it can't find review tags. everything works for other tags.

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

ua = UserAgent()

response = requests.get(
    url='https://play.google.com/store/apps/details?id=ru.mail.mailapp&hl=ru&gl=US&showAllReviews=true',
    headers={'user-agent': f'{ua.random}'}).text
soup = BeautifulSoup(response, 'lxml')
feedback = soup.find('span', jsname='bN97Pc').text
print(feedback)

Answer 1

Everything is as simple as in quantum physics. With our script, we save the request response to disk. Next, open the file in notepad and see if there is a given tag with the desired class. In 99.9% - no. In this case, let's go to google to smoke selenium mana. Or you can do without selenium. There are many ways, the main thing is to have enough imagination.
Here is one of the options (it may not work for you, or it may work, and tomorrow it will break - I don’t know.)

import requests
from bs4 import BeautifulSoup
import json

response = requests.get(
    url='https://play.google.com/store/apps/details?id=ru.mail.mailapp&hl=ru&gl=US&showAllReviews=true',
    headers={'user-agent':'Hacked by HottabXP!'})

soup = BeautifulSoup(response.text,"lxml")
dirty_comments = soup.find_all('script')[34].string # Методом тыка определяем, что json с коментами хранится
# в 35 теге <script> и преобразовываем данные внутри тега в строку
valid_json = dirty_comments[dirty_comments.find(' data:')+6:dirty_comments.find(', sideChannel')] # Вырезаем всё, что
# находится между data: (плюс 6 символов) и sideChannel
 
comments_json = json.loads(valid_json) # Тут уже работаем с обычным json

for comment in comments_json[0]:
  user_comment = comment[4] # Комментарий пользователя
  try:
    author_answer = comment[7][1] # Ответ на комментарий пользователя (может быть None)
  except:
    author_answer = '' # Если None, тогда в author_answer помещаем пустую строку

  print(user_comment)

Result

После обновления до Android 12 (Samsung One UI) почта перестала открывать письма в приложении. Виден только список, прочитать письма невозможно.
После обновления, стало ужасным, пароль вводишь по 150 раз, постоянно теряет связь с интернетом, из за этого не возможно отправить вложения, если ничего не поменяться придётся сносить.
В приложение просто не входит с правильным поролем. Его же копирую в вэб и всё заходит. Старое заходило, нафиг обновил((
В принципе приложение хорошее, но после обновления рекламный блок стал выводиться на месте первого письма. Это очень неудобно - существенно уменьшает место для списка писем, плюс зачастую по привычке тычешь в рекламу вместо первого письма (возможно, в этом и есть задумка). Ищу альтернативу
Вы, конечно, пока подумайте. А мы пока удалим ваше приложение и начнем пользоваться другим. Вот вы деревянные! Я ору с вас! Вам конечный пользователь говорит: ребята, я не смотрю и не читаю эту вашу рекламу. Она мне мешает смотреть почту. А в ответ чушь какая-то. Раздражающая почта. Теперь даже рекламу удалить нельзя из входящих писем. Слайд работает, а корзинка нет. Перехожу на оутлук. Удобнее и никакой рекламы. Это майл может себе оставить. Как и колонку с новостями на своей странице.
Samsung Galaxy S21 - после обновления на Android 12 приложение перестало работать. Моргает и не открывается, либо открывается, но письма прочитать невозможно. Ссылается на то, что не обновлено приложение Android WebView, однако, все обновлено до последнего релиза.
После того,как почта майл соединилась с сервисом ВК стало хуже. Я уже неделю бьюсь с восстановлением доступа к своей почте, так как забыла пароль. Но мне настойчиво отправляют зайти через ВК.И все попытки безуспешны. Уже нет желания просто работать с данным сервисом. Уважаемые разработчики, прошу вас вернуть возможности восстановления доступа, до соединения с ВК!
После обновления не открываются письма в приложении. Что интересно после проверки приложения на телефоне, телефон пишет что есть проблема приложения, сбой в работе приложения и отправляет к разработчику. РАЗРАБОТЧИК СКОЛЬКО НУЖНО ЛЮДЕЙ, НАПИСАВШИМ ВАМ О ПРОБЛЕМЕ, ЧТОБЫ ВЫ УСТРАНИЛИ ПРОБЛЕМУ???
Тут уже много кто писал, что после обновления до андроид 12 и one UI 4.0 на Самсунг приложение перестало открывать письма. Выдаёт ошибку "Ошибка в просмотре webview". Вы пишите ответьте, что надо написать в поддержку, но из приложения этого сделать не возможно. Кода нажимаешь кнопку "написать разработчику" выходит такая же ошибка.
Здравствуйте, за последний месяц дважды устанавливаю Ваше приложение и оба раза удаляю. Невозможно совершить вход, постоянно пишет соединение. Разработчика нужно выгнать на мороз, и там оставить.
Приложение не работает после обновления на Андроид 12, более месяца проблема не решается, притензии и замечания разработчикам не рассматриваются и не решаются, похоже майл почта утратила свою актуальность. Всем один ответ, напишите письмо разработчику, а толку...... ответов и решения проблем нет.... . Грядёт развал "майла"........ . Рейтинг приложения не актуален, большинство отзывов 1-2 звезды..... а у них.........!!!
После обновления стали приходить уведомления "Новости". Мне нужна почта и не более того, мне не нужен браузер внутри почты. Ставлю одну звезду, так как убрать это навязанное новшество невозможно!
Добрый день. После последнего обновления Samsung S21 перестали открываться письма. При попытке открыть появляется надпись "Ошибка в просмотре webview". Не могу даже войти в разел "Написать разработчику", поэтому пишу здесь.
Не открывает письма после обновления Android. Пишет ошибка webview. Написать разработчику, как отвечает всем ПОТДЕРЖКА MAIR. RU, невозможно, т. к. вылезает та же ошибка. Хватит уже отвечать подобным образом, думаю, что вы уже и так поняли, что за проблема. Решите её уже.
некоторые письма автоматически сортируются в папку "рассылки". удалить эту папку невозможно. это неудобно, мне нужно видеть все письма в одном месте, а не лазать по папкам. отвратительное приложение
Не могу пользоваться приложением, не может зайти в мою почту, вылетает на первой-второй секунде загрузки содержимого входящих писем. Пробовала удалить приложение и переустановить заново.
До этого была оценка 5 Mail×VK - это начало конца Еще больше рекламы. Уведомления от пульса, которые невозможно закрыть. Писать в службу поддержки не буду) компания загибается, и это хорошо)
Я бы и минус один поставила, Я помню свой пароль и не могу уже долгое время войти на почту которой активно пользуюсь более 11 лет, из-за того что номер телефона который запрашивает мэил давно уже не!!!! существует, Этого номера украинского аператора у меня нет уже как 5 лет! Что за обсурт! На почте я храню свои документы, важные фото, переписки, кто это все вернет? Я не помню что бы хоть раз приложение запрашивало у меня номер телефона, что за тупые обновления
Надоедливая реклама, которую убрать не возможно. До последнего обновления было лучше. Ещё несколько раз случайно ткань в эту рекламу и придётся отказываться от этого приложения, а может и от всё продуктов майл, так как владельцев похоже интересует только прибыль, а на пользователей наплевать.
Уважаемые разработчики, Вы предлагаете написать в поддержку, но когда пытаешься это сделать выскакивает ошибка просмотра webview. Это что за издевательство такое? Решите уже наконец проблему, сколько уже было Вам писем, и никакого решения!
Уже долгое время приложение не работает. Оно либо выдает окно с предложением обновить Android Webview, либо выдает стробоскопический эффект (экран начинает быстро мигать белым цветом). Android Webview уже обновился. Прошивка на S21 так же обновилась. А приложение по прежнему не работает. Отправить сообщение разработчику из приложения так же не возможно из-за этих ошибок. Письма соответственно так же не возможно поставить. В общем, добавили кучу функций которые не работают.
Ув. Разработчики! Samsung S21Ultra 5G не работает. 12 Андроид. До последего обновления все работало хорошо, а сейчас "ошибка просмотра webview". Исправьте побыстрее, конкурентов много:). Написать напрямую разработчику нет возможности, приложение не работает. Пожалуйста не пишите про связь с разработчиком, а лучше подумайте, как помочь пользователям приложения и исправить ошибки.
Приложение отправляет рекламу в уведомлениях телефона, и при этом это уведомление отсутствует в самой программе , или почте. Раньше этого не было. Удаляйте это приложение, а почту лучше проверить через встроенное приложение.
Ну что же. Поздравляю товарищи. 2 недели ожидания решения проблем, а проблема даже не думает решаться. Писать никуда не буду, задрали уже, всю жизнь что ли разработчику писать? Итог: можете уже ничего не решать, вы очень хорошо поработали, чтоб я удалил ваше приложение и перешел на Яндекс.почту. всем советую, незачем это го....но держать и лишнюю память захламлять. Яндекс наше все)).
Написали в службу поддержки о проблеме не открывания писем после обновления, пошла 2 неделя нет никакой реакции. Какую работу необходимо оценить, если ничего не сделано, почта так и не работает?
Ну вы что, не понимаете, что все пользователи Samsung s 21, и возможно других девайсов на 12м андрюше не могу пользоваться приложением. Логи и пр ошибки не получается отправить тк приложение в процессе запуска тупо мерцает на изображении заставки
Ждал обновления. Думал приложение всё таки заработает на 12 Андроиде и оболочке One UI 4.0, но не тут то было! По-прежнему вылетает. Даже зайти не могу. Тупо мерцание экрана с начальной заставкой.
...

This stray of mine works every other time, I did not look at the reason. Most likely you need to check the status of the request response code.
On the jsonviewer.stack.hu website, you can conveniently view the json structure: