How to create a grabber for a .NET site?

Question

.NET

Всем привет!
Есть онлайн-сервис поисковой системы.
Поиск выполняется методом отправки формы с ключем для проверки.
Хочу соорудить некое API для поиска из под своей программы.
Приходит в голову только использовать встроенный веб-браузер и там орудовать функциями...
Кто-то знает варианты выполнения js для вот такой ситуации, ведь важно иметь этот ключ, который выделяется при каждой обнове страницы?

Answer 1

Нет никакой необходимости выполнять js, клиентская часть общается с сервером по HTTP, а js это мишура сверху, достаточно сделать анализ (Fiddler, Wireshark, Chrome DevTools, исходный код страницы) и подделать все необходимые запросы, и какой-то из них возвращает тот ключ в том или ином виде.
Идея с "движком" браузера не плоха, есть минусы и плюсы (избавляет от необходимости имитировать каждый запрос со всеми заголовками), но это должен быть не простой "движок", а специально заточенный для этого, например, Phantom.js

Answer 2

Используйте Selenium

Answer 3

Попробуйте посмотреть в сторону libcurl, такие задачи как отправка веб-формы ему вполне по силам.

Answer 4

Сам не пробовал, но видел возможность работы с js в AngleSharp -> AngleSharp.Scripting