большой массив данных & веб-сервис

Fake_queen

Кто-нибудь знает способ как можно автоматически загружать в некоторую форму на веб-ресурсе некие данные, чтобы потом также автоматически скачивать результат их обработки?
Дело в том, что есть около 10000 однотипных данных, которые нужно обработать имеющемся на веб-ресурсе сервисе. Результат обработки представляется в виде i) небольшого граф. файла и ii) некоторой текстовой информации, появляющийся на страничке..
К сожалению, исходники сервиса не доступны, поэтому нужно что-то придумать с on-line..

maggi14

программа - спам по форуму тебя устроит? Видоизменишь, как сочтешь нужным. На яве.

Fake_queen

она работает также как заявлено в сабже? какие-то особенности у нее есть?
язык не имеет значения; яву не знаю, но в том что мне будет нужно - разберусь

maggi14

она три тысячи раз заполняет форму некоторыми данными и отсылает ее.
Полагаю, если тебе надо еще и анализировать результат, эта прога будет не столь удобна. Удобнее работать со страничкой как с документом IE, например, и пользоваться его DOM.

alexkravchuk

Используй CURL на php. Для таких задач - самое простое и удобное, что может быть.

6yrop

не надо распространять спам технологии

Fake_queen

спасибо
можно поподробней про CURL? скинь, пожл., норм. линки на описание, какие есть ограничения и т.п.

alexkravchuk

Rambler -> "CURL PHP пример", из первых 10 ссылок как минимум штук 5 по делу, как раз вводные примеры, примеры по установке и т.п., и всё по русски.

Fake_queen

ща гляну, thns

Fake_queen

оказывается сURL можно подключать не только к php, но и к perl..

Fake_queen

К сожалению выяснилось, что сервер запрещает CURL загружать в их сервис данные Пишет "405 Method not Allowed". Вот сволочи-то..
Может у местных гуру есть еще какие-нибудь решения?

ppplva

Рано паникуешь.
Скорее всего, ты пытаешься GET вместо POST сделать или наборот.

Fake_queen

делаю POST:
 
curl -F =test.txt -F press=Submit http://genes.mit.edu/mirscan/

ответ сервака:
 
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML><HEAD>
<TITLE>405 Method Not Allowed</TITLE>
</HEAD><BODY>
<H1>Method Not Allowed</H1>
The requested method POST is not allowed for the URL /mirscan/index.html.<P>
<HR>
<ADDRESS>Apache/1.3.27 Server at genes.mit.edu Port 80</ADDRESS>
</BODY></HTML>

Fake_queen

Может что-нибудь посоветуешь по поводу cURL ?

ppplva

<form method="post" enctype="multipart/form-data" action="http://genes.mit.edu/cgi-bin/mirscan.pl">
Адрес неправильный даешь.

Fake_queen

аа, сэнкс. с другим адресом получается такое:
 
 
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
     <title>MiRScan Web Server: An online resource for identifying candidate
microRNAs Web Server</title>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=ISO-8859-1">
<META NAME="AUTHOR" CONTENT="mit.edu">
</head>
<BODY BGCOLOR="#00336677" link="#FFFF00" vlink="#77FFFF77" alink="#FFFF00" text=
"#FFFFFF">
Wed Apr 19 19:22:31 EDT 2006
<br><hr><hr>

Достаточно странный ответ: здесть просто, насколько я понимаю, описание странички, где должны появить результаты, а их самих нет..

ppplva

Все нормально, из браузера ровно так же работает.

Fake_queen

погоди, а ты в браузере как проверял? ведь у тебя нет содержимого test.txt.
или я где-то не догоняю?

Fake_queen

В браузере, в ответ на введение запроса появляется вот это:
 
 
Wed Apr 19 19:27:38 EDT 2006
name: mir-34
total score: 18.58
basepairing score: 8.545696
loop distance score: -0.1414246
bulge symmetry score: 1.316269
pentamer score: 4.3
5' conservation score: 2.233843
3' conservation score: 1.876146
extension of basepairing score: 0.453105
candidate microRNA: TGGCAGTGTCTTAGCTGGTTG
RNAfold graphic
(The MicroScan guess at miRNA location is highlighted by purple circles. The first sequence is used, with
nucleotides conserved between the first and second sequences shown in red.)
Manual experimental verification of bioinformatic output provides an estimate of a human's confidence
in computer predictions. Lee experimentally tested hairpins that scored above 13.9 in our C. elegans/
C. briggsae comparison and Soraya tested hairpins that scored above 10 in our H. sapiens/F. rubripes
comparison.

Ничего этого в ответе на запрос curl`ом нет

Fake_queen

другими словами, если сравнивать ответ на запрос curl и сорс в браузере недостает этого:
  
 
<br><hr><hr><h4>name: mir-34<br><br>total score: 18.58</h4>basepairing score: 8.545696<br>
loop distance score: -0.1414246<br>bulge symmetry score: 1.316269<br>pentamer score: 4.3<br>5'
 conservation score: 2.233843<br>3' conservation score: 1.876146<br>extension of basepairing
score: 0.453105<br>candidate microRNA: TGGCAGTGTCTTAGCTGGTTG<br><br><A HREF="http://
genes.mit.edu/mirscan/data/mir-34.pdf">RNAfold graphic</A> <br> (The MicroScan guess at miRNA
location is highlighted by purple circles. The first sequence is used, with nucleotides conserved between
the first and second sequences shown in red.)<br><br>Manual experimental verification of
bioinformatic output provides an estimate of a human's confidence in computer predictions. Lee
experimentally tested hairpins that scored above 13.9 in our C. elegans/C. briggsae comparison and
Soraya tested hairpins that scored above 10 in our H. sapiens/F. rubripes comparison.<br><hr>

Fake_queen

может файл с запросом test.txt чем-то плох?

ppplva

Собака после '=' ставится.

Fake_queen

что-то не помогло

ppplva

Хз. Перехватывай запросы (nc -l -p) и смотри в чем разница. Может им multipart не нравится ?
Оставить комментарий
Имя или ник:
Комментарий: