Как проверить доступность страниц?

SEO/Chan

Как проверить доступность страниц? 10 Августа 2018, 17:42, #177000 (39 просмотров)
Есть список из 20к+ страниц, товарные. Периодически часть товаров снимается с производства и страница с этим товаром становится недоступной.
Есть ли способ чтобы загнать весь список, а на выходе увидеть те страницы, которые больше не доступны? (все урлы уникальные)
10 Августа 2018, 18:53, #177002
любой пхп кодер за 10-20 баксов сваяет такой скрипт чекер на коленке

или поюзай онлайн чекеры ответов сервера какие найдешь типа этих

http://converseo.ru/tools/response/
http://backlinks-checker.dimax.biz/tools/proverka_otveta_servera.php
http://4seo.biz/tools/31/
10 Августа 2018, 19:31, #177004
#177002
Если товарная позиция снята, то оно перебрасывает на главную.
Указанные сервисы, соответственно, выдают 200 ОК.
Так что не подошло.

Но все равно спасибо.
11 Августа 2018, 07:40, #177007
#177004
https://pastebin.com/BhQLDDat
Накидал тебе по быстрому чекер на питоне. На вход файл со списком урлов для проверки. Если нет редиректов пишет в новый файл валидный урл.
11 Августа 2018, 20:19, #177015
#177007
Спасибо, мил человек.
Но я не знаю как этим пользоваться(
11 Августа 2018, 20:45, #177016
#177004 значит ебанутый какой-то сайт, если он перебрасывая выдает 200 OK, а не 301/302 как надо

на кворк зайди, задача реально тривиальная, за 500 руб наверняка наговнокодят тебе пхп скрипт для этого