wget/curl скачать файл

Проблема в том, что сервер возвращает не настоящий текстовый файл, а скрипт, который генерирует его на стороне клиента. Я предполагаю, что это защитная мера от скриптов автоматического выщелачивания, подобных тому, который вы пытаетесь создать.

Но, с другой стороны, это довольно хромая мера, потому что они загружают текст, который хотят защитить, с другого URL, в вашем случае это:

http://www.ncbi.nlm.nih.gov/sviewer/viewer.fcgi?val=498907917&db=nuccore&dopt=fasta&extrafeat=0&fmt_mask=0&maxplex=1&sendto=t&withmarkup=on&log$=seqview&maxdownloadsize=1000000

Итак, вот что вы должны сделать:

wget "whatever" -O temp.html
id=`cat temp.html | grep ncbi_uidlist | sed -e 's/^.*ncbi_uidlist\" content=\"//' | sed -e 's/".*//'`
wget "http://www.ncbi.nlm.nih.gov/sviewer/viewer.fcgi?val=$id&db=nuccore&dopt=fasta&extrafeat=0&fmt_mask=0&maxplex=1&sendto=t&withmarkup=on&log$=seqview&maxdownloadsize=1000000"

Используйте lynx.

У него есть опция -dump, которая обеспечивает необходимую вам функциональность.