Создаем RSS-канал с помощью Dapper
RSS-каналы давно обосновались в числе основных технологий современного Интернета. Сейчас это не просто один из способов почитать новости своего любимого сайта, а важное средство сбора и распространения контента, на базе которого работает масса веб-сервисов. Однако, несмотря на повсеместное распространение RSS, далеко не все сайты предлагают подписку на такие каналы. Если учесть, что среди таких сайтов, как правило, немало небольших частных проектов, владельцам которых может быть просто недосуг заниматься прикручиванием RSS к своему ресурсу, приходится по- старинке периодически ходить по веб-страницам в поисках обновлений.
В такой ситуации есть смысл не ждать у моря погоды, а взять дело в свои руки и самостоятельно создать RSS-ленту для сайта, ею не
располагающего. Сейчас можно найти различные сервисы, предлагающие такие функции. По комплексу характеристик одним из лучших, пожалуй, является сервис Dapper (www.dapper.net).
Конечно, задачу отслеживания изменений на страницах определенного сайта можно решить и с помощью обычного "настольного" приложения, благо найти примеры таких программ несложно. Вот только у онлайнового сервиса, генерирующего RSS-ленту, есть ряд очевидных преимуществ. В первую очередь, это возможности экспорта данных. Если в случае локального приложения мы можем просмотреть свою подборку только на том компьютере, где установлена такая программа, то к онлайновому RSS-каналу можно обратиться с любого устройства. Кроме того, такой канал можно сделать открытым и для других пользователей. На основе стандартного, доступного в онлайне RSS-канала также можно развернуть различные вспомогательные сервисы, представляющие собранные данные в нужном вам виде.
Dapper – это сервис для самостоятельного создания, управления и публикации RSS-лент и созданных на их основе виджетов. Он позволяет создавать ленты, получающие информацию как с обычных статичных HTML-страничек, так и из других RSS-лент. Собранная информация может быть обработана с помощью инструментов Dapper и представлена в стиле и с возможностями Web 2.0. Какими бы ни были исходные данные, на выходе мы получим стандартный XML-код, который можно использовать для трансляции новой RSS-ленты или же создания симпатичного виджета, размещенного на своем сайте или блоге. Генерируемый Dapper XML-код можно направить в программу анализа или использовать для любых других ваших проектов.
Работа с Dapper начинается регистрацией бесплатного аккаунта в разделе Dapp Factory. Многие другие онлайновые сервисы генерации RSS также предлагают бесплатные аккаунты, однако их возможности обычно серьезно ограничены. Предлагается либо ограниченный набор инструментов, либо, что гораздо неудобнее, возможность создания ограниченного количества RSS-лент. В отличие от конкурентов Dapper во free-планах не урезает функционал своего сервиса. Премиум-версии отличаются
Заметим, что разработчики Dapper делают ставку не только на самостоятельное создание RSS-лент пользователями-частниками, но и на прямое сотрудничество с самими владельцами сайтов и контента. Привлекать авторов контента предполагается новыми путями привлечения посетителей на сайты. Это может быть распространение сведений о сайте и его обновлениях контента в различных форматах, поддерживаемых Dapper. RSS-ленты и виджеты, созданные на основе таких данных, способны стать дополнительной рекламной площадкой для интернет-ресурса. Поскольку дап регистрируется в каталоге Dapper, и доступны различные варианты экспорта готовой ленты, это действительно может стать привлекательным предложением. В перспективе Dapper предполагает реализовать модель прямых выплат за контент. Довольно интересна лицензия, по условиям которой владельцам интернет-ресурсов предлагается распространять свой контент. Не менее интересны лицензии, под которыми предлагается распространять контент. Например, лицензия Traffic Back не только позволяет использовать Dapper как рекламный сервис, но и направляет трафик на определенный сайт. Внешние сайты могут быть не только источниками, но и потребителями сгенерированного Dapper контента, поскольку данные, собранные с помощью дапов или приобретенные у стороннего поставщика, можно встраивать в собственные проекты. Кстати говоря, если владельцу того или иного сайта не понравится, что его контент распространяется с помощью Dapper, у него есть возможность пожаловаться и потребовать удаления дапа. Соответствующая кнопка предусмотрена на странице каждого приложения в каталоге Dapper.
Насколько привлекательными окажутся коммерческие предложения Dapper – покажет время. Мы же подробнее остановимся непосредственно на процессе создания приложения в редакторе Dapper.
Создание нового приложения для сбора данных, или, как здесь его называют, "дапа", происходит в несколько этапов. Весь процесс логично выстроен, несложен в освоении и решен в виде мастера, состоящего из четырех шагов.
На первом этапе понадобится указать источник исходных данных. Как уже было сказано выше, это может быть веб-страница или уже существующая RSS-лента. Далее мы будем работать с первым из названных вариантов.
На втором этапе интерфейс приложения разделяется на несколько зон. В боковой панели перечислены этапы работы мастера и расположены кнопки навигации по отдельным шагам. Основная рабочая зона содержит инструменты обработки страниц. Кроме того, здесь работает своеобразный "виртуальный браузер", в котором отображается анализируемая средствами Dapper веб-страница. Если предполагается обработка нескольких страниц одного сайта, система попросит уточнить их параметры. Для этого страницы сайта, с которых предполагается собирать контент будущей ленты, необходимо добавить в корзину (Basket). Выбирать страницы можно просто переходя по ссылкам в виртуальном браузере. Для уверенной работы алгоритма анализа Dapper рекомендуется указать минимум 2-3 страницы сайта с одинаковой структурой дизайна, отличающихся только контентом. Проанализировав эти страницы, система сможет впоследствии четко различать элементы дизайна, выделять полезный контент и отслеживать его изменения. Никто не мешает указывать только один адрес – например, стартовую страницу интересующего вас сайта с лентой новостей или же одну страницу форума, темы которого вы желаете отслеживать в формате RSS.
После формирования набора страниц-образцов система попросит указать на них тот контент, изменения которого предполагается отслеживать с помощью Dapper. В окне виртуального браузера запускается визуальный DOM-инспектор. Наша задача на этом этапе - указать, какие фрагменты контента веб-страницы будут отслеживаться Dapper. В этом нет ничего сложного – достаточно просто щелкать мышью по нужным элементам. После этого элемент выделяется оранжевой рамкой и добавляется в подборку Dapper. Двойной щелчок снимает выделение и удаляет элемент из подборки. Если вам не хватает точности в работе этого визуального инструмента, можно воспользоваться формой, в которой можно точно указать границы фрагмента кода веб- страницы, который вы хотите отслеживать с помощью Dapper.
Заметим, что Dapper пытается помочь нам в работе по разделению контента страницы на фрагменты. Как только мы выделяем на странице какой- либо фрагмент, система автоматически подсвечивает на странице другие фрагменты со сходным стилевым оформлением. Результаты анализа отображаются во вспомогательном окошке Content.
Весьма любопытно решена в Dapper работа с формами. Если на странице присутствуют требующие ввода данных формы, то Dapper выделит их зеленой подсветкой, а также выведет сообщения о них в нижней части страницы. Система дает нам возможность заполнить эти поля и сохранить значения на сервере. Обращаясь затем к обработанной странице при поиске обновленного контента, Dapper сможет использовать указанные нами значения. Эта функция чрезвычайно удобна при сборе материала с сайтов, требующих регистрации или при "подписке" на результаты определенной поисковой системы. Минус также очевиден - вы сохраняете свой логин и пароль на внешнем ресурсе, поэтому тщательно взвешивайте "за" и "против" такого решения. Справедливости ради заметим, что на некоторых сайтах автоматика, к сожалению, не срабатывает.
На обрабатываемой странице также можно выбрать текст, который будет использоваться в качестве аннотации для сообщения в будущей RSS-ленте. Рекомендуется выбирать не только заголовки разделов на веб-странице, но и первые строки публикаций, поскольку если вы, допустим, выберите только заголовки, то и в ленте сообщения об обновлениях будут содержать только текст этого заголовка, что никак нельзя назвать удобным вариантом. Несколько отобранных элементов можно объединить в группу, которой присваивается собственное имя. Это позволяет создавать в своей ленте отдельные тематические разделы или даже формировать на основе одного источника данных несколько отдельных лент. Как только вы будете удовлетворены результатом, набор полей можно сохранить. Следующие этапы позволяют просмотреть предварительные результаты обработки целевой веб-страницы, а также выбрать варианты оформления готовой ленты.
Последний этап, посвященный экспорту результата вашей работы, по праву является гордостью разработчиков. Нашему вниманию предлагаются самые различные варианты экспорта данных. Это может быть страничка дапа, которую можно просмотреть на сайте проекта. Для внешнего размещения предназначены RSS-ленты различных форматов, виджеты для сайтов и блогов, код которых можно получить на сайте Dapper, гаджеты для iGoogle и масса других вариантов.
Dapper располагает несколькими приятными программными дополнениями. Во-первых, это предназначенное для установки в браузере Firefox дополнение DapperFox. Его предназначение – быстрое создание дапов прямо в ходе серфинга. DapperFox располагается в строке поиска браузера, заменяя стандартный значок подписки на RSS-ленты. Если для просматриваемой веб-странице ранее уже был создан дап другим пользователем сервиса Dapper, то щелчком по значку DapperFox можно подписаться на предлагаемую RSS-ленту. Если же дапов для активной страницы не обнаружено, мы можем создать собственный, воспользовавшись выпадающим меню. Оно по умолчанию содержит пункты "Create a new RSS for this page" и "Create a new Dapp for this page". В первом случае редактор Dapper открывается с уже установленными настройками. Во втором – нам предлагается настроить все опции самостоятельно. Аналогичные функции предлагает и плагин Dapper для Facebook. Кроме того, доступен полноценный API для Dapper, используя который независимые разработчики способны создавать собственные приложения.
Алексей Кутовенко alteridem@tut.by
располагающего. Сейчас можно найти различные сервисы, предлагающие такие функции. По комплексу характеристик одним из лучших, пожалуй, является сервис Dapper (www.dapper.net).
Конечно, задачу отслеживания изменений на страницах определенного сайта можно решить и с помощью обычного "настольного" приложения, благо найти примеры таких программ несложно. Вот только у онлайнового сервиса, генерирующего RSS-ленту, есть ряд очевидных преимуществ. В первую очередь, это возможности экспорта данных. Если в случае локального приложения мы можем просмотреть свою подборку только на том компьютере, где установлена такая программа, то к онлайновому RSS-каналу можно обратиться с любого устройства. Кроме того, такой канал можно сделать открытым и для других пользователей. На основе стандартного, доступного в онлайне RSS-канала также можно развернуть различные вспомогательные сервисы, представляющие собранные данные в нужном вам виде.
Dapper – это сервис для самостоятельного создания, управления и публикации RSS-лент и созданных на их основе виджетов. Он позволяет создавать ленты, получающие информацию как с обычных статичных HTML-страничек, так и из других RSS-лент. Собранная информация может быть обработана с помощью инструментов Dapper и представлена в стиле и с возможностями Web 2.0. Какими бы ни были исходные данные, на выходе мы получим стандартный XML-код, который можно использовать для трансляции новой RSS-ленты или же создания симпатичного виджета, размещенного на своем сайте или блоге. Генерируемый Dapper XML-код можно направить в программу анализа или использовать для любых других ваших проектов.
Работа с Dapper начинается регистрацией бесплатного аккаунта в разделе Dapp Factory. Многие другие онлайновые сервисы генерации RSS также предлагают бесплатные аккаунты, однако их возможности обычно серьезно ограничены. Предлагается либо ограниченный набор инструментов, либо, что гораздо неудобнее, возможность создания ограниченного количества RSS-лент. В отличие от конкурентов Dapper во free-планах не урезает функционал своего сервиса. Премиум-версии отличаются
Заметим, что разработчики Dapper делают ставку не только на самостоятельное создание RSS-лент пользователями-частниками, но и на прямое сотрудничество с самими владельцами сайтов и контента. Привлекать авторов контента предполагается новыми путями привлечения посетителей на сайты. Это может быть распространение сведений о сайте и его обновлениях контента в различных форматах, поддерживаемых Dapper. RSS-ленты и виджеты, созданные на основе таких данных, способны стать дополнительной рекламной площадкой для интернет-ресурса. Поскольку дап регистрируется в каталоге Dapper, и доступны различные варианты экспорта готовой ленты, это действительно может стать привлекательным предложением. В перспективе Dapper предполагает реализовать модель прямых выплат за контент. Довольно интересна лицензия, по условиям которой владельцам интернет-ресурсов предлагается распространять свой контент. Не менее интересны лицензии, под которыми предлагается распространять контент. Например, лицензия Traffic Back не только позволяет использовать Dapper как рекламный сервис, но и направляет трафик на определенный сайт. Внешние сайты могут быть не только источниками, но и потребителями сгенерированного Dapper контента, поскольку данные, собранные с помощью дапов или приобретенные у стороннего поставщика, можно встраивать в собственные проекты. Кстати говоря, если владельцу того или иного сайта не понравится, что его контент распространяется с помощью Dapper, у него есть возможность пожаловаться и потребовать удаления дапа. Соответствующая кнопка предусмотрена на странице каждого приложения в каталоге Dapper.
Насколько привлекательными окажутся коммерческие предложения Dapper – покажет время. Мы же подробнее остановимся непосредственно на процессе создания приложения в редакторе Dapper.
Создание нового приложения для сбора данных, или, как здесь его называют, "дапа", происходит в несколько этапов. Весь процесс логично выстроен, несложен в освоении и решен в виде мастера, состоящего из четырех шагов.
На первом этапе понадобится указать источник исходных данных. Как уже было сказано выше, это может быть веб-страница или уже существующая RSS-лента. Далее мы будем работать с первым из названных вариантов.
На втором этапе интерфейс приложения разделяется на несколько зон. В боковой панели перечислены этапы работы мастера и расположены кнопки навигации по отдельным шагам. Основная рабочая зона содержит инструменты обработки страниц. Кроме того, здесь работает своеобразный "виртуальный браузер", в котором отображается анализируемая средствами Dapper веб-страница. Если предполагается обработка нескольких страниц одного сайта, система попросит уточнить их параметры. Для этого страницы сайта, с которых предполагается собирать контент будущей ленты, необходимо добавить в корзину (Basket). Выбирать страницы можно просто переходя по ссылкам в виртуальном браузере. Для уверенной работы алгоритма анализа Dapper рекомендуется указать минимум 2-3 страницы сайта с одинаковой структурой дизайна, отличающихся только контентом. Проанализировав эти страницы, система сможет впоследствии четко различать элементы дизайна, выделять полезный контент и отслеживать его изменения. Никто не мешает указывать только один адрес – например, стартовую страницу интересующего вас сайта с лентой новостей или же одну страницу форума, темы которого вы желаете отслеживать в формате RSS.
После формирования набора страниц-образцов система попросит указать на них тот контент, изменения которого предполагается отслеживать с помощью Dapper. В окне виртуального браузера запускается визуальный DOM-инспектор. Наша задача на этом этапе - указать, какие фрагменты контента веб-страницы будут отслеживаться Dapper. В этом нет ничего сложного – достаточно просто щелкать мышью по нужным элементам. После этого элемент выделяется оранжевой рамкой и добавляется в подборку Dapper. Двойной щелчок снимает выделение и удаляет элемент из подборки. Если вам не хватает точности в работе этого визуального инструмента, можно воспользоваться формой, в которой можно точно указать границы фрагмента кода веб- страницы, который вы хотите отслеживать с помощью Dapper.
Заметим, что Dapper пытается помочь нам в работе по разделению контента страницы на фрагменты. Как только мы выделяем на странице какой- либо фрагмент, система автоматически подсвечивает на странице другие фрагменты со сходным стилевым оформлением. Результаты анализа отображаются во вспомогательном окошке Content.
Весьма любопытно решена в Dapper работа с формами. Если на странице присутствуют требующие ввода данных формы, то Dapper выделит их зеленой подсветкой, а также выведет сообщения о них в нижней части страницы. Система дает нам возможность заполнить эти поля и сохранить значения на сервере. Обращаясь затем к обработанной странице при поиске обновленного контента, Dapper сможет использовать указанные нами значения. Эта функция чрезвычайно удобна при сборе материала с сайтов, требующих регистрации или при "подписке" на результаты определенной поисковой системы. Минус также очевиден - вы сохраняете свой логин и пароль на внешнем ресурсе, поэтому тщательно взвешивайте "за" и "против" такого решения. Справедливости ради заметим, что на некоторых сайтах автоматика, к сожалению, не срабатывает.
На обрабатываемой странице также можно выбрать текст, который будет использоваться в качестве аннотации для сообщения в будущей RSS-ленте. Рекомендуется выбирать не только заголовки разделов на веб-странице, но и первые строки публикаций, поскольку если вы, допустим, выберите только заголовки, то и в ленте сообщения об обновлениях будут содержать только текст этого заголовка, что никак нельзя назвать удобным вариантом. Несколько отобранных элементов можно объединить в группу, которой присваивается собственное имя. Это позволяет создавать в своей ленте отдельные тематические разделы или даже формировать на основе одного источника данных несколько отдельных лент. Как только вы будете удовлетворены результатом, набор полей можно сохранить. Следующие этапы позволяют просмотреть предварительные результаты обработки целевой веб-страницы, а также выбрать варианты оформления готовой ленты.
Последний этап, посвященный экспорту результата вашей работы, по праву является гордостью разработчиков. Нашему вниманию предлагаются самые различные варианты экспорта данных. Это может быть страничка дапа, которую можно просмотреть на сайте проекта. Для внешнего размещения предназначены RSS-ленты различных форматов, виджеты для сайтов и блогов, код которых можно получить на сайте Dapper, гаджеты для iGoogle и масса других вариантов.
Dapper располагает несколькими приятными программными дополнениями. Во-первых, это предназначенное для установки в браузере Firefox дополнение DapperFox. Его предназначение – быстрое создание дапов прямо в ходе серфинга. DapperFox располагается в строке поиска браузера, заменяя стандартный значок подписки на RSS-ленты. Если для просматриваемой веб-странице ранее уже был создан дап другим пользователем сервиса Dapper, то щелчком по значку DapperFox можно подписаться на предлагаемую RSS-ленту. Если же дапов для активной страницы не обнаружено, мы можем создать собственный, воспользовавшись выпадающим меню. Оно по умолчанию содержит пункты "Create a new RSS for this page" и "Create a new Dapp for this page". В первом случае редактор Dapper открывается с уже установленными настройками. Во втором – нам предлагается настроить все опции самостоятельно. Аналогичные функции предлагает и плагин Dapper для Facebook. Кроме того, доступен полноценный API для Dapper, используя который независимые разработчики способны создавать собственные приложения.
Алексей Кутовенко alteridem@tut.by
Компьютерная газета. Статья была опубликована в номере 19 за 2009 год в рубрике soft
