Старый 07.09.2014, 21:19   #1
Bahamut
Banned
 
Регистрация: 28.02.2012
Сообщений: 17
Репутация: -2
По умолчанию Чем чекнуть урлы на pr

Помогите, чем можно чекнуть 2 миллиона урлов на pr ?
Bahamut вне форума   Ответить с цитированием
Старый 07.09.2014, 23:27   #2
Seven
 
Регистрация: 05.09.2014
Сообщений: 0
Репутация: 0
По умолчанию

Нужно скрипт заказать как я понимаю, если дело того стоит, в сети как я знаю до 500-1к линков почекаешь,или нет вопрос..
Seven вне форума   Ответить с цитированием
Старый 08.09.2014, 11:48   #3
follower
 
Регистрация: 01.01.2011
Сообщений: 2
Репутация: 0
По умолчанию

исходи из того, что за один подход без бана с одного ай-пи можна 1400 штук чекнуть в один поток подряд, потом пауза на сутки и снова такая порция с того-же ай-пи. Но это очень мало. Если миллионы можна попробовтаь rds api - загуглите, поймете
follower вне форума   Ответить с цитированием
Старый 08.09.2014, 12:12   #4
Panic
 
Регистрация: 24.09.2010
Сообщений: 26
Репутация: 1
По умолчанию

http://netpeak.ru/soft/netpeak-checker/
Не уверен, что потянет такое кол-во, но попробовать стоит.
Panic вне форума   Ответить с цитированием
Старый 08.09.2014, 16:06   #5
Лаврушкин
 
Регистрация: 05.07.2010
Сообщений: 27
Репутация: 15
По умолчанию

Цитата:
Сообщение от follower Посмотреть сообщение
исходи из того, что за один подход без бана с одного ай-пи можна 1400 штук чекнуть в один поток подряд, потом пауза на сутки и снова такая порция с того-же ай-пи. Но это очень мало. Если миллионы можна попробовтаь rds api - загуглите, поймете
Не уверен насчёт 1400 за сутки на ип. подряд - может быть. а если использовать таймайут небольшой между запросами и миксить пару ип? миллион конечно не прочекаешь за час. но бана я думаю можно будет избежать.
Лаврушкин вне форума   Ответить с цитированием
Старый 08.09.2014, 17:27   #6
Enigma
 
Аватар для Enigma
 
Регистрация: 17.06.2013
Сообщений: 37
Репутация: 12
По умолчанию

Цитата:
Сообщение от Лаврушкин Посмотреть сообщение
Не уверен насчёт 1400 за сутки на ип. подряд - может быть. а если использовать таймайут небольшой между запросами и миксить пару ип? миллион конечно не прочекаешь за час. но бана я думаю можно будет избежать.
По моему опыту можно чекать сколько угодно. Я чекал 20-30к за несколько часов, макс 50к в сутки с одного ип(ну больше мне не нужно было). Перерыв между запросами должен быть 0.5 секунд, иначе бан навсегда.

Если просто разбить базу и запустить чек на нескольких шеллах то 2кк вполне реально чекнуть за пару дней. Ну совсём легких способов чтоб загрузить список и он по быстрому чекнулся я не знаю.

Чек шёл через "http://toolbarqueries.google.com/tbr?client=navclient-auto&features=Rank&q=info:", вон даже код нашёл(не мой по большей части):
PHP код:
<?php
define
("GPR_SERVER""http://toolbarqueries.google.com/tbr?client=navclient-auto&features=Rank&q=info:");

function 
fch($csm)
{
    if(
$csm 0)
        
$csm += 4294967296.0;

    
$a = (int)fmod($csm10);
    
$t 1;
    
$b = (int)($csm 10);
    while(
$b) {
        
$c $b 10;
        if(
$t)
            
$c = (int)($c 5) + ($c 2) % 10;
        
$b = (int)($b 10);
        
$a += $c;
        
$t ^= 1;
    }

    
$a 10 $a 10;
    if(
$a == 10)
        return 
ord('0');

    if(
$t)
        return 
ord('0') + (int)(($a $a $a) / 2);

    return 
ord('0') + $a;
}

function 
checksum($str)
{
    if(
strlen($str) == 0)
        return 
0x1000;

    
$a 5381.0;
    for(
$i 0$i strlen($str); $i++)
        
$a fmod($a + ($a 32) + ord($str[$i]), 4294967296.0);
    if(
$a 2147483647.0)
        
$a -= 4294967296.0;
    
$a = (int)$a;

    
$b 0.0;
    for(
$i 0$i strlen($str); $i++)
        
$b fmod(($b 64) + ($b 65536) - $b ord($str[$i]), 4294967296.0);
    if(
$b 2147483647.0)
        
$b -= 4294967296.0;
    
$b = (int)$b;

    
$a = (($a >> 6) & 0x3ffffc0) | (($a >> 2) & 0x3f);
    
$c = (($a >> 4) & 0x3ffc00) | ($a 0x3ff);
    
$d = (($c >> 4) & 0x3c000) | ($c 0x3fff);
    
$c = ((($d 0x3c0) << 4) | ($d 0x3c)) << 2;
    
$a $b 0x0f0f;
    
$e $b 0x0f0f0000;
    
$b = (($d 0xffffc000) << 4) | ($d 0x3c00);

    return (
$b << 10) | $c $a $e;
}

function 
get_pagerank($page) {
    if (!isset(
$context)) {
        
$options = array('http'=>array('method'=>"GET",
                                       
'header'=>"Accept-language: en\r\n" "User-Agent: Mozilla 5.0\r\n"));

        
$context stream_context_create($options);
    }


    
$csm checksum($page);
    
$response = @file_get_contents(sprintf(GPR_SERVER "%s&ch=7%c%u"urlencode($page), fch($csm), $csm),
                                  
false$context);
    
sleep(0.5);    //to prevent ban

    
$array split(':'$response);
    return isset(
$array[2]) ? trim($array[2]) : "0";
}
?>

Последний раз редактировалось Enigma; 08.09.2014 в 17:35..
Enigma вне форума   Ответить с цитированием
Старый 09.09.2014, 15:31   #7
Bahamut
Banned
 
Регистрация: 28.02.2012
Сообщений: 17
Репутация: -2
По умолчанию

Вообщем заказл у кодера за 40 баксов, кому надо очень, стукните, дам бесплатно
Bahamut вне форума   Ответить с цитированием
Ответ

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd. Перевод: zCarot