Сделал пайп, который парсит выдачу по заданному кею и ищет в результатах ссылки на "знакомые" сайты. Материалы по полученным ссылкам обрабатываются пайпами-заготовками и, в конечном итоге, на выходе имеем RSS, содержащий заголовок, дату публикации и полный материал статьи. Что с полученным RSS я делаю дальше догадаться не сложно.

После наполнения сплога необходимым контентом при  помощи Yahoo Pipes у нас возникает необходимость обновлять его автоматически.

Так, используя автоматическое обновление сплога при помощи FeedWordPress, движку приходится проверять соответствие постов в пайпе и уже опубликованных записей в блоге, для исключения дублей. При большом количестве постов в исходной трубе, во время обновления мы создаем приличную нагрузку на сервер.

Я использую следующую надстройку для пайпа, дабы облегчить исходный фид. Так и пайп генерируется быстрее и нагрузка на сервер при обновлении меньше.

Давайте подробнее разберем что происходит с трубой при использовании такого модуля.

При работе с пайпами столкнулся с такой неприятностью при импорте фида в блог при помощи FeedWordPress:

1 new posts were syndicated and ( N ) existing posts were updated

Данная проблема возникала в следствии отсутствия даты пубикации для каждой записи в импортируемом фиде.