КрасДайджест.ру: Обновление новостных лент

Механизм обновления данных прошел уже четыре ревизии. Три из них было связано с растущим объемом данных.

Самый первый вариант — однопоточный, с использованием только стандартных полей rss/atom. Никаких тебе ‘yandex:full-text’. Но работало с разными кодировками и «из коробки». Когда начали попадаться сайты-слоупоки с медленной отдачей, не успевало отработать за 10 минут. Начал думать. Читать далее «КрасДайджест.ру: Обновление новостных лент»