зеркалирование ftpшника

vlfdimir58

Задача:
Нужна регулярная синхронизация с ftp-сервером.
админ того ftp rsync ставить не хочет, говорит, там машина слабая и работает под виндой.
У меня - FreeBSD. Подскажите плиз, чем синхронизировать лучше?

Asgard

wget --mirror
cd /usr/ports/ftp/ && make search key=mirror

vall



communique:~$ apt-cache show fmirror ftpmirror ftpgrab
Package: fmirror
Priority: optional
Section: net
Installed-Size: 152
Maintainer: Antonin Kral <A.sh.cvut.cz>
Architecture: i386
Version: 2:0.8.4-12
Depends: libc6 (>= 2.3.2-1)
Filename: pool/main/f/fmirror/fmirror_0.8.4-12_i386.deb
Size: 46098
MD5sum: b5ff845b032cee3d4e2916c646ed25dd
Description: memory efficient ftp mirror program
A program for mirroring a directory from a remote ftp server. It
allows regex-matching for files that are to be included and
excluded. It uses a combination of timestamp, file size and file
permissions to decide what files to transfer from the ftp server.
Package: ftpmirror
Priority: optional
Section: net
Installed-Size: 280
Maintainer: Takao KAWAMURA <debian.org>
Architecture: all
Version: 1.2l-8
Depends: perl
Recommends: cron
Filename: pool/main/f/ftpmirror/ftpmirror_1.2l-8_all.deb
Size: 52162
MD5sum: 4f202e5e8f2d85c25a7fc07b969e5247
Description: Mirroring directory hierarchy with FTP
ftpmirror is an utility to copy directory hierarchy (this
is called ``mirror'') with FTP.
.
A similar perl script exists, whose name is `mirror',
but ftpmirror requires less memory than mirror.
Package: ftpgrab
Priority: optional
Section: net
Installed-Size: 172
Maintainer: Christian T. Steigies <debian.org>
Architecture: i386
Version: 0.1.2r-7
Depends: libc6 (>= 2.3.2.ds1-4 libgcc1 (>= 1:3.3.2-1 libstdc++5 (>= 1:3.3.2-1)
Filename: pool/main/f/ftpgrab/ftpgrab_0.1.2r-7_i386.deb
Size: 44302
MD5sum: 159525cbdabd507823bb8182bd6ee5c1
Description: file mirroring utility
ftpgrab is a utility for maintaining FTP mirrors. In fact not unlike the
"Mirror" perl program. However ftpgrab is oriented towards the smaller
site which doesn't have the resources to mirror entire version trees of
software.
.
The primary "plus point" of ftpgrab is that it can base download decisions
by parsing version numbers out of filenames. For example, ftpgrab will
recognize that the file "linux-2.2.2.tar.gz" is newer than
"linux-2.2.1.tar.gz" based on the version string. It will then download
the new version and delete the old one when it is done, thus saving you
mirroring 10 kernel versions all at >10Mb each.


вот что есть в дебиане на этот счёт.
поставить одну из них в крон и не мучатся.
при желании можно и wget натравить.

vlfdimir58

спасибо!
вопрос такой, а что из этого будет работать в несколько потоков?
wget, насколько я знаю, не может

Ivan8209

Если будешь достаточно часто зеркалировать, то однопоточность не
будет особым препятствием.
---
...Я работаю антинаучным аферистом...

tokuchu

Я точно не знаю как работают программы из этого списка, но многие программы предназначены для того, чтобы однократно отзеркалировать каталог. В том числе и "wget --mirror".
Знаком ли кто-нибудь с решениями, где:
1) файлы, удалённые на ftp-сервере удаляются при зеркалировании;
2) при зеркалировании новый файл скачивается не сразу в результирующий каталог, а в какой-нибудь временный каталог, а потом подменяет собой старый.

Asgard

Знаком ли кто-нибудь с решениями, где:
1) файлы, удалённые на ftp-сервере удаляются при зеркалировании;

wget умеет
2) при зеркалировании новый файл скачивается не сразу в результирующий каталог, а в какой-нибудь временный каталог, а потом подменяет собой старый.

это зачем

Dasar

> это зачем
Чтобы обеспечить транзакционность, т.е. обновляется или все вместе, или ничего не обновляется.
Это важно, когда есть несколько связанных файлов, и обновление только одного приводит к неработоспособности системы.

tokuchu

Знаком ли кто-нибудь с решениями, где:
1) файлы, удалённые на ftp-сервере удаляются при зеркалировании;
wget умеет
Можно подробнее - я когда искал, не заметил ничего такого вроде.
2) при зеркалировании новый файл скачивается не сразу в результирующий каталог, а в какой-нибудь временный каталог, а потом подменяет собой старый.
это зачем
Чтобы на твоём зеркале не лежало недокачаных файлов. Они же могут долго качаться.

dgaf

я использую mirror (перловый скрипт, ман на http://sunsite.org.uk/packages/mirror/)
пока доволен.

Asgard

сорри - апшипся
вот смотрю на /usr/ports/ftp/emirror/
Кстати multi-thread.
Умеет удалять что было удалено.
Недокачанные файлы сохраняет в *.tmp (можно не показывать сервером)
/usr/ports/ftp/pavuk/
Умеет почти тоже самое, но авторы говорят что можно запускать сколько хочешь экземпляров ее...
Оставить комментарий
Имя или ник:
Комментарий: