Rclone стана един от най-всеобхватните инструменти за съхранение в облакЕдин единствен инструмент за команден ред, способен да комуникира с десетки различни услуги, да копира данни между тях, да монтира облачни услуги, сякаш са локални дискове… И да прави всичко това с криптиране и разширена автоматизация. Ако управлявате сървъри, използвате множество облачни услуги или просто искате да имате надеждни резервни копия, rclone е видът помощна програма, която ще промени начина ви на работа.
En това ръководство Ще научите как да инсталирате rclone на основни системи, да конфигурирате отдалечени устройства за услуги като Google Drive, OneDrive, S3 или B2, да разберете разликите с rsync, да настройвате облаци с FUSE, да криптирате данни, да автоматизирате архивирането с cron или systemd и да решавате типични проблеми с производителността, удостоверяването или ограниченията на API.
Какво е rclone и как се различава от rsync?
Rclone е Програма с отворен код за команден ред, предназначена за управление на файлове в облачно хранилищеПоддържа над 70 доставчика: Google Drive, Google Photos, OneDrive (личен, бизнес и SharePoint), Dropbox, Box, MEGA, pCloud, Proton Drive, S3 услуги (AWS, Wasabi, Cloudflare R2, Backblaze B2…), Google Cloud Storage, Azure Blob, WebDAV (Nextcloud, ownCloud), SFTP/FTP, SMB/CIFS, HTTP и много други.
На концептуално ниво, rclone Това разширява идеята за rsync в света на облака. Той синхронизира директории, копира данни и извършва еднопосочно или двупосочно огледално копиране, но също така разбира облачни API, повторни опити, ограничения на честотната лента, кешове и специфични за backend метаданни. Докато rsync се фокусира върху локални пътища или SSH, rclone говори езика на API на всеки доставчик.
Ключовата практическа разлика е фокусът. Rsync работи добре в локална или SSH среда, rclone е оптимизиран за облациТой знае кога да се възползва от копиране от страна на сървъра (копиране директно между контейнери, без да се минава през вашата машина), как да раздели много големи файлове на части или какво да прави с метаданни като тип съдържание, разрешения или версии.
С опции като --multi-thread-streams или паралелни трансфери, rclone може лесно да превъзхожда rsync с 4 пъти по-бързо при копиране през мрежа. Особено с бекендове, които поддържат качване на части (S3, GCS, B2 и др.). Той предлага също прозрачно криптиране, монтиране чрез FUSE, слоеве за свързване на множество отдалечени сървъри и малък интегриран HTTP/WebDAV/FTP сървър.
Съвместими услуги и вътрешна архитектура на rclone
El поддръжка на доставчици Това е една от силните страни на rclone. На практика можете да дефинирате колкото искате „отдалечени устройства“: всяко дистанционно устройство описва връзка (например, gdrive: за личен Google Диск, onedrive: за OneDrive за бизнеса, s3-backup: за кофа S3, nextcloud: чрез WebDAV и др.).
За крайните потребители, rclone лесно покрива най-често срещаните облачни услуги.Google Drive/Photos, OneDrive (включително SharePoint), Dropbox, Box, MEGA, pCloud, Proton Drive и други услуги, фокусирани върху поверителността. Това ви позволява да централизирате задачи в една единствена команда, която преди изискваше множество приложения или официални клиенти.
В корпоративни и развойни среди, rclone доминира в целия свят на S3 и подобни системи.Amazon S3 Standard, Google Cloud Storage, Azure Blob Storage, Backblaze B2, Wasabi, Cloudflare R2 и голям брой съвместими доставчици (MinIO, Ceph и др.). Всички те се управляват с един и същ основен синтаксис, като се променя само дистанционното управление.
Относно самостоятелно хоствани протоколи и системиrclone поддържа SFTP, FTP, WebDAV, SMB/CIFS и дори HTTP. Това означава, че можете да го използвате за копиране от SFTP сървър към S3 контейнер, прехвърляне на данни от Nextcloud към локална папка или групово изтегляне от уеб сървър, без да са необходими допълнителни инструменти.
Вътрешно, rclone е организиран на няколко слоя: ядро, което оркестрира операциите (Rclone Core), VFS слой, използван при кеширани монтирания, Crypt слой, който криптира/декриптира в движение, и Chunker слой, който разделя големи файлове на парчета в бекенд системите, които го изискват. В основата на всичко това стои обща бекенд абстракция, която крие спецификите на всеки доставчик.
Системни изисквания и инсталация на Windows, Linux и macOS
Rclone е много лек, но е важно да се разберат основните изисквания. Работи с 512 MB RAM, въпреки че за интензивна употреба (монтиране с кеширане, много едновременни трансфери) е препоръчително 2 GB или повече. На ниво процесор е достатъчен 1 vCPU, но няколко ядра помагат да се възползвате от паралелни трансфери. На диска се зарежда със 100 MB свободно пространство, но ако ще използвате VFS кеширане, се препоръчва да резервирате поне 1 GB.
В Linux се препоръчва модерно ядро (в идеалния случай 5.4+ с FUSE3)Особено ако ще монтирате отдалечени устройства като файлови системи. Що се отнася до дистрибуциите, rclone работи на почти всяка текуща версия (Ubuntu, Debian, Fedora и др.), стига да имате привилегии за curl или wget и sudo.
Подробна инсталация на Windows
В Windows имате три основни начина за инсталиране на rclone.От най-контролирания до най-автоматизирания. Най-важното е, че в крайна сметка получавате rclone.exe достъпен от всяка конзола (CMD или PowerShell).
A) Изтеглете ръководството от официалния уебсайт (препоръчително, ако искате да сте наясно какво инсталирате):
- Изтеглете ZIP файла за вашата архитектура.Например
rclone-v1.xx.x-windows-amd64.zipза 64 бита. - Разархивирайте файла в определена папка, например
C:\rcloneкъдето ще останеrclone.exeи няколко текстови файла. - добавя
C:\rcloneкъм системния ПЪТ (Контролен панел → Система → Разширени настройки → Променливи на средата → Редактиране на ПЪТ → Нов →C:\rclone).
Б) Инсталиране с Winget на Windows 10/11Перфектно, ако вече използвате мениджъра на пакети на Microsoft:
- Инсталиране на rclone:
winget install Rclone.Rclone - Деинсталирайте, ако е необходимо:
winget uninstall Rclone.Rclone --force
C) Шоколадово за тези, които имат автоматизиран системен софтуер:
- Инсталиране на rclone:
choco install rclone - Ако искате да монтирате дискове, инсталирайте и WinFsp:
choco install winfsp
Инсталиране на Ubuntu/Debian и други Linux системи
В Linux най-простият и винаги актуален метод е официалният скрипт.Изтеглете и инсталирайте най-новата стабилна версия (или бета) с една команда:
- Стабилна версия:
sudo -v ; curl https://rclone.org/install.sh | sudo bash - Бета версия:
sudo -v ; curl https://rclone.org/install.sh | sudo bash -s beta
Ако предпочитате абсолютен контрол, можете да изтеглите пакета .deb бетон и да го управлявате с dpkg:
- изтегляне:
wget https://downloads.rclone.org/v1.xx.x/rclone-v1.xx.x-linux-amd64.deb - Инсталирай:
sudo dpkg -i rclone-v1.xx.x-linux-amd64.deb - Ако липсват зависимости:
sudo apt -f install
За сглобките с предпазители е важно да се инсталират fuse3 и позволяват allow_other en /etc/fuse.confразкоментиране на съответния ред. След това обикновено е достатъчно рестартиране или презареждане на услугата.
Инсталиране на macOS
В macOS, Homebrew прави живота много по-лесенС няколко команди, rclone е готов за употреба:
- Инсталиране с Brew:
brew install rclone - Актуализирайте редовно с
brew upgrade rclone
Ако не искате да разчитате на Homebrew, можете да изберете ръчна инсталация. Изтегляне на ZIP файла на macOS, разархивирането му и преместването на двоичния файл в /usr/local/bin точно както бихте направили в Linux. Следващото използване е идентично: rclone version за да проверя дали всичко е наред.
Първи стъпки: основна настройка и концепцията за „дистанционно“ управление
Сърцето на rclone е конфигурационен файлкъдето дефинирате дистанционните си управления. По подразбиране се намира в ~/.config/rclone/rclone.conf (Linux/macOS) или в пътя, посочен от %APPDATA% в Windows и се управлява с интерактивния съветник rclone config.
Всяко дистанционно устройство е INI секция, която групира параметрите на връзката: тип на бекенд, идентификационни данни, регион, специални опции и др. Типичен пример за Google Drive би бил нещо подобно [gdrive] с вашите type = drive, scope = drive и OAuth токена, съхранен в JSON.
За да стартирате съветника, Отворете терминал и го изпълнете rclone configЩе видите меню с няколко опции: създаване на ново дистанционно, редактиране на съществуващо, изтриване, преименуване, криптиране на конфигурацията и т.н. Обичайното нещо, което трябва да направите в началото, е да натиснете n за „Ново дистанционно“.
В случая с Google ДискТипичният процес на дистанционно създаване включва няколко стъпки: избор на типа „диск“, решение дали да използвате собствен клиентски идентификатор (препоръчително е, за да се избегнат строги ограничения на Google), избор на обхват (drive пълен, само за четене и др.), използвайте автоматично удостоверяване в браузър и, по избор, посочете дали е споделен диск.
Ако сте в a сървър без браузър (SSH, VPS, контейнер без графичен потребителски интерфейс), rclone позволява оторизация от друга машина. Когато помощникът попита „Използване на автоматична конфигурация?“, отговорете с не и rclone ще покаже команда. rclone authorize "drive" който трябва да стартирате на вашия компютър с браузър, копирайте получения токен и го поставете в сървъра в съответното поле.
Основен синтаксис, отдалечени маршрути и основни команди
Общият синтаксис на rclone е много последователен и лесен за запомняне: rclone [opciones] subcomando origen [destino]Подкомандата може да бъде copy, sync, ls, mount, moveи т.н. Произходът и дестинацията са локални или отдалечени маршрути на стила remote:path/to/dir.
Маршрут /path/to/dir сочи към локалната файлова системаДокато remote:path/to/dir Това се отнася до директория в отдалечено устройство, дефинирано в конфигурацията. В повечето бекенд системи, remote:/path/to/dir Това е еквивалентно на същото нещо, освен в няколко специфични случая (FTP, SFTP, Dropbox Business), където префиксът / променя значението (коренна директория спрямо начална).
Най-полезните команди за изброяване, с които да започнете, са ls, lsl, lsd y treeНапример, за да видите файловете в папка в Google Drive с размер: rclone ls gdrive:DocumentosЗа да изброите само директории: rclone lsd gdrive:Ако искате по-визуално дърво: rclone tree gdrive:Proyectos --level 3.
Копирането на файлове е толкова просто, колкото rclone copy origen destino. Практически примери:
- Локален → облак:
rclone copy C:\Users\usuario\Documents onedrive:backup/documents -P - Облак → локален:
rclone copy onedrive:photos C:\Users\usuario\Pictures -P - Облак → облак (от страна на сървъра, когато е възможно):
rclone copy gdrive:data onedrive:backup -P
Подкомандата sync прави дестинацията идентична с произходаТо заличава от съдбата това, което вече не съществува в началото. Доста е опасно, ако не го използвате разумно, така че в началото винаги го съпътствайте с... --dry-run и, ако искате, --interactive да поиска потвърждение преди разрушителни операции.
За двупосочна синхронизация има rclone bisyncкоето все още е експерименталноТой проследява промените и от двете страни, за да ги поддържа подравнени, което е полезно в определени сценарии на офлайн работа, но е най-добре да го тествате обстойно с некритични данни, преди да му се доверите в дигиталния си живот.
Монтирайте облачни устройства като локални устройства с FUSE и VFS кеш
Една от звездните характеристики на rclone е възможност за монтиране на дистанционно управление, сякаш е твърд дискТова ви позволява да разглеждате облака от файловия мениджър, да редактирате документи директно или да насочвате приложения (медийни индексатори, редактори и др.) към отдалечени пътища, без те да знаят, че зад него има облак.
В Windows монтирането се извършва чрез присвояване на буква на устройство или създаване на мрежово устройство., Например:
- Монтиране на OneDrive като устройство X:
rclone mount onedrive: X: --vfs-cache-mode full - Монтиране като мрежово устройство:
rclone mount onedrive: X: --network-mode --vfs-cache-mode full
В Linux и macOS във файловата система се използва точка на монтиране., обикновено с FUSE:
- Създаване на директория:
mkdir -p ~/OneDrive - Монтиране във фонов режим (демон):
rclone mount onedrive: ~/OneDrive --vfs-cache-mode full --daemon
Ключовият параметър тук е --vfs-cache-mode, който контролира поведението на кеша:
offНяма кеш, максимална производителност при четене, но някои приложения не работят добре с това.minimalминимален кеш, необходим за работа на основните функции за запис.writes: кешира, записва и качва по-късно, полезно, ако редактирате файлове, но не се нуждаете от агресивно четене на кеша.fullПълно кеширане за четене и запис, препоръчително за монтирания, които ще се използват като истински дискове (мултимедия, IDE и др.).
За стрийминг услуги или медийни каталози (Plex, Jellyfin и др.) обикновено се използва --vfs-cache-mode full плюс добър размер на кеша (--vfs-cache-max-size, --buffer-size) и щедро време на задържане (--vfs-cache-max-age, --dir-cache-time), така че сървърът да не е необходимо постоянно да генерира списъци.
Графичен интерфейс: Rclone Web GUI, Rclone UI и RcloneBrowser
Въпреки че rclone е създаден като чисто CLI инструмент, днес... Има няколко начина да го използвате с графичен интерфейсТова е идеално, ако ще делегирате задачи на някой, който не се чувства комфортно с терминала, или просто искате по-визуален преглед на прехвърлянията.
Самият инструмент включва експериментален уеб графичен потребителски интерфейс., който се стартира с:
rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password- След това насочвате браузъра към
http://localhost:5572и влизате с това потребителско име и парола.
Освен това, Има много изпипани графични потребителски интерфейси на трети страниЕдна от най-изчерпателните опции е Rclone UI, настолно приложение за Windows, macOS и Linux, което поддържа плъзгане и пускане, планиране на задачи, множество едновременни прехвърляния и визуални ленти за напредък. Друга дългогодишна алтернатива е Rclone Browser, достъпен дори като AppImage в Linux, което е достатъчно за много потребители, които се нуждаят само от случайни архивирания.
Ако сте от хората, които обичат конзолата, но не искат толкова много проблеми на мобилния си телефон, Има и няколко приложения за Android, които интегрират rclone.много от тях директно използват повторно файла rclone.conf които генерирате на компютъра. Просто копирайте този конфигурационен файл в указания от приложението път и ще имате готови дистанционни управления и на мобилното си устройство.
Прозрачно криптиране с крипто и конфигурационна сигурност
Една от големите атракции на rclone е да можете да криптирате данните си, преди да напуснат машината ви. Бекендът crypt Той действа като слой върху друг отдалечен: виждате нормални имена на файлове, но криптирани имена и съдържание се съхраняват в облака.
Типичната конфигурация на дистанционно криптиране включва създайте ново дистанционно от тип crypt и го насочете към маршрут от друго дистанционно управление, например: remote = gdrive:encryptedОсвен това, вие избирате режим на криптиране на името (стандартен, обфускация или изключен) и дефинирате парола (и по избор втора „сол“, за да подсилите криптирането).
Веднъж създаден, Работата с дистанционно криптиране е напълно прозрачнаАко го направите rclone copy /datos/sensibles gdrive-crypt:В Google Drive ще виждате само странни имена и нечетливо съдържание. От криптираното дистанционно управление обаче пътищата и файловете ви ще се показват точно както са.
Конфигурационният файл rclone може и трябва да бъде защитен, когато съдържа чувствителни идентификационни данни.Самият rclone ви позволява да криптирате този файл: в менюто на rclone config Избирате опцията за задаване на парола за конфигурация, въвеждате ключ и от този момент нататък програмата ще иска тази парола, за да прочете rclone.conf.
В автоматизирани среди можете да предоставите паролата, като използвате променливата на средата.RCLONE_CONFIG_PASS или с --password-commandтака че скриптове, cron или systemd услуги да могат да използват rclone без ръчна намеса, но без да оставят паролата видима в обикновен текст.
Автоматизиране на архивиране и планирани задачи
Където rclone наистина блести, са повтарящите се архиви и планираните синхронизации.Можете да използвате както вградените планировчици на всяка система (Планировчик на задачи в Windows, cron в Linux, таймери на systemd), така и персонализирани скриптове, които включват известия и почистване на стари версии.
В Windows, планировчикът на задачи ви позволява да стартирате rclone в определени часове със специфични параметри.Например, за да синхронизирате критична папка с OneDrive всяка вечер. Можете да запишете резултата в лог файл и да активирате повторни опити, ако задачата е неуспешна.
В Linux най-често срещаната практика е да се подготви малък скрипт за архивиране и да се свърже с cron.. Например, a rclone sync /datos/ gdrive-crypt:backups/ всеки ден в 2:00 часа, с --log-file, --fast-list и филтри за изключване на временни файлове или големи регистрационни файлове.
Ако искате да направите още една крачка напред, можете Комбинирайте rclone със systemd, за да монтирате отдалечени устройства при зареждане или да стартирате резервни скриптове като услуги и таймериТова осигурява много по-голяма видимост (лог файлове, интегрирани в журнали, контрол на мрежовите зависимости, автоматично рестартиране при неуспех и т.н.) и обикновено е за предпочитане пред cron на съвременни системи.
Хубавото е, че rclone предлага флагове, предназначени за сериозни резервни копия.: --backup-dir y --suffix да изпращате по-стари версии в папка с история, --checksum за сравнение с хешове, когато бекендът го поддържа, --max-transfer y --bwlimit за да се избегне претоварване на честотната лента или превишаване на дневните квоти, или --track-renames за откриване на преименувани файлове, вместо да ги изтривате и качвате отново.
Оптимизация на производителността, разширени филтри и отстраняване на неизправности
Когато започнете да премествате много гигабайти или милиони файлове, детайлите са от решаващо значение.Rclone предлага арсенал от опции за производителност: --transfers за регулиране на броя на паралелните издигания/спускания, --checkers за чековете, --multi-thread-streams y --multi-thread-cutoff за многонишково качване на големи файлове, --buffer-size да се дефинира размерът на буферите в RAM паметта и др.
За колекции с много малки файлове обикновено е добра идея да увеличите --transfers y --checkersи добавете --fast-list в бекендове, които поддържат ефективни рекурсивни списъци. Да, именно, --fast-list Консумира повече памет, защото rclone запазва целия списък предварително, така че е препоръчително да се измерва и да не се прекалява с използването му на машини с ограничена RAM памет.
Ограничението на честотната лента се контролира с --bwlimitкойто дори поддържа разписанияНещо подобно --bwlimit "08:00,1M 18:00,off" Това позволява безпроблемна работа по време на работно време и осигурява висока скорост през нощта. Използването на тази опция помага да се предотврати срив на интернет връзката на целия офис от резервното копие.
Филтрите са друг основен стълб: с --include, --exclude, --filter-from, --min-size, --max-ageи т.н., можете да укажете точно какво се копира и какво не.Добре проектираният филтърен файл ви спестява часове ненужно прехвърляне (например, като изключва node_modules, .git, кешове, гигантски трупи и др.).
Що се отнася до типичните проблеми, най-вече ще видите грешки при удостоверяване или ограничения на API в Google Drive и подобни услуги.В тези случаи е препоръчително да свържете отново дистанционното с rclone config reconnectПомислете за използването на собствен клиентски идентификатор в конзолата на Google и намаляване на паралелизма и TPS (--tpslimit) ако достигате ограниченията на скоростта.
Когато нещата наистина се объркат, режимът за дебъгване и заглавните файлове на rclone са от огромна помощ.: стартирайте командата с -vv --dump headers или дори --dump bodies (Внимателно, защото е много подробно) Обикновено разкрива какво връща бекендът и защо. И ако подозирате грешка, направете екранна снимка с -vv А отварянето на проблем в хранилището на проекта в GitHub е най-бързият начин да получите помощ.
С всичко гореизброено, rclone се превръща в централна част за всеки, който разчита на облачно съхранение ежедневно.Независимо дали го използвате за криптирани резервни копия между множество доставчици, настройване на Google Drive на медиен сървър, мигриране на данни между S3 контейнери, автоматизиране на архивиране на бази данни или просто предотвратяване на запълването на твърдия диск на вашия Raspberry Pi, след като свикнете със синтаксиса и отдалечения достъп, той се превръща в инструмента, към който винаги се връщате, когато си помислите: „Това определено може да се направи с rclone.“