Introductie
In onze faculteit worden verschillende soorten dataopslag aangeboden:
Storage klasse | Beschrijving | Risico op dataverlies |
---|---|---|
Home directories | Klein (enkele GB), betrouwbaar, gebackedupte opslag voor individuen | laag |
Netwerk schijven | Groter (< 1TB), betrouwbaar,gebackedupte opslag voor individuen en groepen, met ZFS is > 1TB mogelijk | laag |
Ceph storage | Grootschalig, betrouwbaar, ge-snapshotte, maar niet gebackupte opslag voor groepen | middel |
Lokale storage | Opslag zonder back-up op desktopcomputers en clusternodes, die waarschijnlijk verloren gaat bij een hardwareprobleem of wanneer de machine opnieuw wordt geïnstalleerd | hoog |
Homedirectories
Bij je Science account hoort standaard een homedirectory van 5GB. Hiervoor worden geen kosten in rekening gebracht. Dit is een veilige plek om je werkgerelateerde documenten op te slaan. Homedirectories staan op degelijke hardware, en worden automatisch gebackupped. Als je meer opslagruimte nodig hebt, en je kunt het niet opschonen, kunnen we je homedirectory op verzoek vergroten.
Homedirectory paden
Op door C&CZ beheerde systemen is je homedirectory als volgt te vinden:
C&CZ systemen | Pad |
---|---|
Microsoft Windows | U: ook wel de U-schijf genoemd |
Linux | /home/jescienceloginnaam of ~ |
Vanaf andere systemen is je homedirectory middels de volgende paden te vinden:
Eigen systeem | Pad | Instructies |
---|---|---|
Microsoft Windows | \\home1.science.ru.nl\jescienceloginnaam |
schijf koppelen |
macOS | smb://home1.science.ru.nl/jescienceloginnaam |
schijf koppelen |
Linux | smb://home1.science.ru.nl/jescienceloginnaam |
schijf koppelen |
Info
Voor toegang tot deze paden van buiten het RU-netwerk is een VPN verbinding vereist.
Info
De locatie van je homedirectory kan bekeken worden op DHZ.
Toegangsrechten
Homedirectories zijn standaard alleen toegankelijk voor de eigenaren zelf. Het is echter mogelijk
om de toegangsrechten te wijzigen (bijvoorbeeld chmod o+rx ~
).
Netwerkschijven
Voor grotere opslagbehoeften en de mogelijkheid om bestanden in je groep te delen, zijn er netwerkschijven.
Netwerkschijven zijn beschikbaar als Samba1- en NFS2-share. Zoals vermeld in het overzicht, worden netwerkschijven geback-upt en gehost op betrouwbare servers. De kosten van netwerkschijven zijn afhankelijk van de schijfgrootte en de backup-opties.
Kosten van een netwerkschijf
Netwerkschijven tot 1TB zijn beschikbaar met onze amanda backups. Voor de kosten van een aangepast backup-schema, raadpleeg de backup-pagina. Grotere netwerkschijven met backups zijn mogelijk op de nieuwe ZFS fileservers. Dit zijn de jaarlijkse kosten voor netwerkschijven:
Grootte | Met backup | Zonder backup |
---|---|---|
200 GB | € 40 | € 10 |
400 GB | € 80 | € 20 |
1 TB3 | € 200 4 | € 50 |
> 1 TB | N/A | € 50 |
1 TB (ZFS) | € 150 5 | € 50 / TB |
> 1 TB (ZFS) | € 100 6 | € 50 / TB |
Schijven met ZFS hebben lokale en remote snapshots.
Paden voor netwerkschijven
Op door C&CZ beheerde systemen zijn netwerkschijven als volgt te vinden. Met sharename
als voorbeeld:
C&CZ systemen | Pad | Instructies |
---|---|---|
Microsoft Windows | \\sharename-srv.science.ru.nl\sharename |
schijf koppelen |
Linux | /vol/sharename |
Voor andere systemen zijn netwerkschijven als volgt te vinden:
Eigen systeem | Pad | Instructies |
---|---|---|
Microsoft Windows | \\sharename-srv.science.ru.nl\sharename |
schijf koppelen |
macOS | smb://sharename-srv.science.ru.nl/sharename |
schijf koppelen |
Linux | smb://sharename-srv.science.ru.nl/sharename |
schijf koppelen |
Info
Voor toegang tot deze paden van buiten het RU-netwerk is een VPN verbinding vereist.
Toegangsrechten
Toegangsrechten voor netwerkschijven is op basis van groepen. Groepen kunnen worden beheerd door de groepseigenaren op DHZ.
Speciale netwerkschijven
Een aantal algemene diensten maakt gebruik van netwerkschijven:
Schijf | Doel | Documentatie |
---|---|---|
temp |
Tijdelijke opslag van bestanden | Temp share |
cursus |
Software voor cursussen | T-schijf |
software |
Algemene (Windows) software | S-schijf |
install |
Installatiebestanden van software | Install share |
Bestellen
Bij het bestellen van een netwerkschijf, graag de volgende details aan Postmaster doorgeven:
Detail | Beschrijving |
---|---|
loginnaam | Je Science account |
schijfnaam | Waarmee de schijf over het netwerk gevonden kan worden, zie paths |
grootte | grootte van de partitie, zie kosten |
kostenplaats | kostenplaats of project code |
unix groep (optioneel) | De groep die toegang tot de schijf moet hebben. Indien niet opgegeven, wordt er een nieuwe groep gemaakt met dezelfde naam als de schijf |
Ceph storage
Met ons Ceph storage cluster kunnen we veel grotere opslag bieden voor onze faculteit. Het storage cluster bestaat uit meerdere diskservers en is verspreid over drie locaties op de campus. Ceph biedt drie type storage aan; filesystem (FS), Rados Gateway (RGW of S3) en Rados block device (RBD). Hier wordt Ceph FS bedoelt.
Waarschuwing
Ceph volumes worden niet gebackupped! Het is daarvoor te groot.
Keuzes in redundantie
Ceph biedt verschillende redundantie-opties voor het opslaan van data.
Standaard slaat Ceph gegevens in drievoud op: de 3copy
pool.
Dus wanneer één kopie verloren gaat, hebben de overige exemplaren nog steeds redundantie.
Een andere redundantiemogelijkheid is erasure coding (EC). EC vereist veel minder opslagoverhead in vergelijking met 3copy.
Kosten van Ceph
De kosten zijn afhankelijk van de gekozen storagepool. Onderstaande prijzen zijn per TB3 per jaar:
Pool | Beschrijving | zonder backup |
---|---|---|
EC8+3 |
goedkoopste, als één datacenter wordt vernietigd, gaan alle gegevens verloren. Wanneer één datacenter tijdelijk niet beschikbaar is, zijn de gegevens nog steeds veilig, echter offline. | € 50 |
EC5+4 |
blijft beschikbaar wanneer een heel datacenter offline is of wegvalt. Data blijft veilig zolang twee datacenters goed werken. | € 60 |
3copy |
sneller lezen + schrijven, blijft beschikbaar wanneer één datacenter niet meer beschikbaar is. | € 100 |
Info
De prestatie-eigenschappen van Ceph verschillen van traditionele serveropslag. De schrijfsnelheid is meestal hoger dan de leessnelheid. Het opslaan van veel kleine bestanden is rampzalig voor de snelheid (zelfs erger dan bij traditionele opslag).
Ceph FS is bedoeld voor opslag/archivering van grote datasets met grote files.
Gebruik Cephfs vooral niet alsof het een lokale disk is
Ceph-bestandssystemen kunnen worden gebruikt als een gewone netwerkschijf of zijn toegankelijk voor sommige servers of clusterknooppunten die directe Ceph-toegang hebben: Ceph-clients. Zie de volgende alinea over Ceph paden.
Objectopslag (compatibel met S3) is ook beschikbaar. Objectopslag verschilt fundamenteel van een traditioneel bestandssysteem, gegevens die zijn opgeslagen in een Ceph-bestandssysteem zijn niet toegankelijk via S3.
Ceph paden
C&CZ systemen | Pad | Instructies |
---|---|---|
Microsoft Windows | \\sharename-srv.science.ru.nl\sharename |
schijf koppelen |
Linux | /vol/sharename |
|
Ceph clients7 | /ceph/sharename |
Info
De paden voor het koppelen van Ceph storage op eigen systemen, zijn hetzelfde opgebouwd als die van traditionele netwerkschijven.
Bestellen
Bij het bestellen van een Ceph storage, graag de volgende details aan Postmaster doorgeven:
Detail | Description |
---|---|
loginnaam | Je Science account |
schijfnaam | Waarmee de schijf over het netwerk gevonden kan worden, zie paden |
pool | Zie keuzes in redundantie en kosten |
grootte | disk quota op het Ceph-volume, zie kosten |
kostenplaat | kostenplaats of project code |
unix groep | De groep die toegang tot de schijf moet hebben. Indien niet opgegeven, wordt er een nieuwe groep gemaakt met dezelfde naam als de schijf |
Lokale opslag
Lokale opslag verwijst naar schijfruimte in of gekoppeld aan systemen zoals desktop-pc’s en clusternodes. Meestal bestaat lokale opslag
uit enkel uitgevoerde schijven. Bij een defect aan een schijf is de kans groot dat er gegevens verloren gaan. Lokale schijven worden gewoonlijk /scratch
genoemd om je te herinneren aan de tijdelijke aard van de opslag. Lokale wordt niet gebackupped. Voordelen van lokale opslag zijn lage kosten en snelle schijftoegang.
Info
Op gedeelde systemen, zoals loginservers en clusternodes, is het aan te raden eerst een persoonlijke map te maken in /scratch
. D.w.z. mkdir /scratch/$USER
. En vergeet niet om je software daadwerkelijk naar die map te laten schrijven in plaats van naar de standaard en veel kleinere /tmp
.
-
Windows file sharing implementatie door het Samba project ↩︎
-
Network file system, https://nl.wikipedia.org/wiki/Network_File_System ↩︎
-
1TB is
1.000.000.000.000
bytes, 1 TiB =1.099.511.627.776
bytes ↩︎ ↩︎ -
Dagelijkse backup is niet mogelijk bij veel veranderende data of zeer veel kleine bestanden. Met ZFS is dit geen problem. ↩︎
-
Dit is een schijf met lokale en remote snapshots en een maandelijkste backup naar tape. ↩︎
-
Dit is een grotere schijf, ook met lokale en remote snapshots, maar zonder een backup naar tape. ↩︎
-
Ceph clients zijn door C&CZ beheerde systemen met directe toegang tot het Ceph-cluster ↩︎