DimaseoСделал пайп, который парсит выдачу по заданному кею и ищет в результатах ссылки на "знакомые" сайты. Материалы по полученным ссылкам обрабатываются пайпами-заготовками и, в конечном итоге, на выходе имеем RSS, содержащий заголовок, дату публикации и полный материал статьи. Что с полученным RSS я делаю дальше догадаться не сложно.
После наполнения сплога необходимым контентом при помощи Yahoo Pipes у нас возникает необходимость обновлять его автоматически.
Так, используя автоматическое обновление сплога при помощи FeedWordPress, движку приходится проверять соответствие постов в пайпе и уже опубликованных записей в блоге, для исключения дублей. При большом количестве постов в исходной трубе, во время обновления мы создаем приличную нагрузку на сервер.
Я использую следующую надстройку для пайпа, дабы облегчить исходный фид. Так и пайп генерируется быстрее и нагрузка на сервер при обновлении меньше.
Давайте подробнее разберем что происходит с трубой при использовании такого модуля.
При создании труб, работающих с большим количеством item' ов, неминуемо возникают следующие ошибки при отладке:
Данное сообщение означает что пайп не ожет обработать такое количество записей (item'ов). По моим ощущениям, для работоспособности yahoo pipes необходимо, чтобы пайп содержал не больше 140-160 записей (зависит от количества и качества Regex'ов).
Итак, как ограничить число записей в трубе? Правильно, мы будем использовать операторы Tail и Truncate.
При работе с пайпами столкнулся с такой неприятностью при импорте фида в блог при помощи FeedWordPress:
1 new posts were syndicated and ( N ) existing posts were updated
Данная проблема возникала в следствии отсутствия даты пубикации для каждой записи в импортируемом фиде.