Постраничная проверка с использованием API Google PSI. В предложенном коде проверка осуществляется без использования ключа. Если проверка будет выполняться с выполнением нескольких запросов в секунду, ключ нужно будет получить.
Полная инструкция по настройке API здесь.
Необходимые пакеты
Прежде чем мы сможем использовать скрипт, потребуется несколько пакетов Python.
- urllib — для работы с URL, открытия, чтения и анализа
- json — позволяет конвертировать файл JSON в Python или файл Python в JSON.
- requests — HTTP-библиотека для отправки всех видов HTTP-запросов
- pandas — в основном используется для анализа и обработки данных, мы используем его для создания фреймов данных
- time — модуль для работы со временем, мы используем его, чтобы обеспечить перерыв между запросами
- files — в Google Colab это позволит вам загружать и скачивать файлы
- io — интерфейс по умолчанию, используемый для доступа к файлам