Restic backup (vaarwel CrashPlan en dááháág Duplicati)

2020-05-16 6 min read Techniek, Software

Een hele tijd geleden alweer is CrashPlan ermee opgehouden. Dit was een perfecte backup-dienst. Het lidmaatschap was goed betaalbaar en de software meer dan fatsoenlijk. We hadden een family-plan, dat wil zeggen een gezins-abonnement en gebruikten dit met veel plezier.

CrashPlan

Dit was een serieus probleem voor mij en heel wat anderen toen ze lieten weten dat ze gingen stoppen met de consumentenmarkt. Dat deed goed pijn! Hoe nu verder dan? Het eerste probleem werd het “Waar” en het tweede probleem werd het “Hoe?".

Waar?

In principe gaan al mijn backups naar 2 locaties:

  1. “Onsite” (oftewel naar mijn storage thuis)
  2. “Offsite” (oftewel ergens buiten mijn huis)

Onsite brengt grote voordelen met zich mee: het is super snel (normaliter gigabit of meer in je eigen thuisnetwerk) en je hebt het zelf in de hand. Verreweg de meest superieure oplossing. Het nadeel alleen is dat als je huis afbrandt je je bron èn je backup kwijt bent 😮. En dat is toch net iets minder optimaal.

Offsite heeft dus het grote voordeel dat het geen onderdeel van je directe inboedel is. Het is echter wel maximaal net zo snel als je internet verbinding. En met de hoeveelheden data die je dagelijks wil backupen en nalopen is dat alles behalve ideaal. Het kan wel, als het optimaal ingericht is. Maar je zou dat ook niet als primaire restore willen hebben. Deze is voor als thuis alles weg is. Dan is traag ineens zéér acceptabel 😉.

Ik heb hier online best een tijd naar gezocht. Waar ga ik het heen doen: een Amazon S3 bucket? Een betaalde andere dienst? En welke dan? De prijzen evenals de ervaringen varieren gruwelijk. Ik wil best wel veel data kwijt:

  • Server backups
  • Werkplekken Iris en mij
  • Werkplek van mijn moeder

Dat brengt me op een som van 2,4 TB op het moment. Niet absurd veel, zeker niet in internet termen, maar toch wel genoeg om even na te denken waar de prijs per GB acceptabel of draaglijk is. Ik heb met meerdere mensen die ik kende, (waaronder Andries) gezocht naar alternatieven. We kregen wel wat gevonden.

DIY Homeserver

Toen kwam Andries echter ineens op de proppen met de volgende suggestie: Wat nou als hij een server bouwde. Hij heeft dik genoeg internet en vindt het leuk om te doen. Hij onderhoudt een backup-server en wij dragen hier (financieel) aan bij. Tegenwoordig is encryptie gemeengoed en kan je jouw data goed versleutelen om je geen zorgen te hoeven maken om je privacy. En als je dan al zorgen voelt, kies je dan liever voor een vriend die je vertrouwt, of een jou verder onbekende backup-provider? 😇

Andries heeft hier de volgende artikelen over geschreven:

De overige artikelen gaan over Duplicati, deze raden we niet langer aan.

Voor de geïnteresseerden komen deze artikelen overigens uit 2017. Dat is een tikkie gedateerd, dus als je wil gaan bouwen kijk dan vooral deze nieuwe artikelen (en bijbehorende filmpjes):

Hiermee is de Waar? vraag dus beantwoord: We dumpen onze backups op dit moment naar Andries zijn dikke storage-server welke Minio draait. Dit is uiteraard voor je zelf ook mogelijk, maar er zijn meer dan voldoende cloud-providers te vinden.

Hoe?

Duplicati bleek hem niet te zijn

Toen kwam het hoe. We hadden een mooie oplossing gevonden: Duplicati. Deze leek de holy grail: mooie grafische interface, dedup, compressie en versies.

Duplicati

Dit begon allemaal heel mooi en ik heb er ook lang plezier van gehad. Tot er een keer een probleem optrad. Het herindexeren en controleren duurde meerdere dagen. Dat is lang wachten voor je weer kan backuppen of restoren.
Een latere keer wilde ik wat restoren van een backup bij een nieuwe installatie. Hiervoor moest hij eerst (her)indexeren, dan zou ik daarna kunnen restoren. Dit indexeren heb ik meermalen geprobeerd maar ging vaak na een week of langer mis. Hiermee had ik dus een snelle goede backup, maar deze was niet te restoren?!

Moet je je voorstellen: je verliest je data. Je pakt een bestaande of nieuwe werkplek en wil iets van je backup terug halen. Je verbindt met de backup en moet meer dan een week wachten voor hij is ingelezen (zelfs op mijn thuisnetwerk). En dat inlezen gaat dan ook vaak na meer dan een week ineens stuk, zodat je overnieuw kan beginnen. Je kan je backup niet verbinden, laat staan wat restoren.

Een backup gebruiken of adopteren lukte dus vanaf bepaalde volumes of groottes niet meer. En dat is een bijzonder harde diskwalificatie wat mij betreft! 2 jaar trouw backuppen zonder dat je zeker bent of een restore gaat lukken is een ramp.
Overigens heb ik in het begin van deze tool uiteraard vaak getest. Dit trad pas op bij grote backup-volumes en veel versies.

Andries kwam met testen tot dezelfde conclusie. De zoek naar nieuwe alternatieven begon. Grafische of vriendelijke UI’s was niet veel van te vinden. Wel een paar veelbelovende backups.

Restic werd hem wel!

Na een aantal testen en pogingen werd Restic de nieuwe gekozen oplossing. Deze (nog ontwikkelende) backup tool was veelbelovend. Er was oorspronkelijk nog niet heel veel over te vinden dan een vette Cern paper. Nu is er veel over te vinden, de adoptie op het internet gaat best goed. Een aantal grote instanties gebruiken het voor hele grote hoeveelheden data en het geheel ziet er strak geprogrammeerd uit (in GOLANG).

Daar heb je meteen 1 van de grootste voordelen: op welk OS je deze tool ook plaatst; hij werkt altijd hetzelfde!

Verder hebben ze bij Restic aandacht besteed aan het erg consequent en overzichtelijk maken van de commandline.

Features:

  • Werkt op alle OSen hetzelfde;
    • (En is dan ook beschikbaar voor Windows, Linux, Mac, OpenBSD en eventueel waar je hem zelf voor build);
  • Snel;
  • Dedup;
  • Zeer robuust;
  • Duidelijke commandline;
  • Overzichtelijke handleiding;
  • Versies;
  • Op linux kan je je backup mounten en door de versies navigeren als een filesystem;
  • Ondersteund diverse platformen:
    • Local;
    • SFTP;
    • REST Server;
    • Amazon S3;
    • Minio Server;
    • OpenStack Swift;
    • Backblaze B2;
    • Microsoft Azure Blob Storage;
    • Google Cloud Storage;
    • En via rclone nog diverse andere platformen;

Zwaktes:

  • Geen compressie (nog?);
  • Geen logfiles waar je nuttig wat mee kan doen (voor mensen wel, maar niet handig scriptbaar);
  • Trage prune (wordt verbeterd);

Ik heb hier dus zelf snel een aantal scriptjes of batches van gemaakt en ben nu na lange tijd gebruik en meerdere issues (afgebroken backups, stroomuitval, dat soort zaken) nog steeds zeer tevreden. Het oplossen van problemen is helder en overzichtelijk en me telkens zonder veel pijn gelukt.

Bekijk vooral de quickstart even, het is zo gepiept 😁.

Backup Andries

Adding content to the end of the web.

Next
Previous