SSD Cache in TrueNAS - ZIL und L2ARC

No video

SSD Cache in TrueNAS - ZIL und L2ARC

Рет қаралды 9,875

Күн бұрын

Caching in TrueNAS bzw. genaugenommen dem ZFS Dateisystem…ein Thema das seit jeher für reichlich Verwirrung sorgt. Bei den ganzen Fehlinformationen da draußen aber auch kein Wunder, mit diesem Video soll dem aber ein für alle Mal ein Ende gesetzt sein!
Optane SSDs - Geizhals:
gh.de/g/w10
Optane SSDs - Ebay:
bit.ly/41SNlT4
------------------------------------------------------------------------
►►Kontakt◄◄
►Discord: / discord
►Twitter: twitter.agtech.cc
►Livestream: live.agtech.cc
------------------------------------------------------------------------
►►Kanalmitglieder◄◄
Du willst auch weiterhin Videos auf meinem Kanal sehen? Jeder Euro ermöglicht mir mehr Zeit in KZfaq stecken zu können und euch auch weiterhin informative Videos in höchster Produktionsqualität bieten zu können! …ach- und abgesehen davon gibt’s für Kanalmitglieder auch einen exklusiven Channel auf meinem Discord, in dem ihr mir auf direktem Weg Fragen stellen könnt.
/ @agtech
------------------------------------------------------------------------
►►Affiliate Links◄◄
Kauf doch über die Affiliate Produktlinks bei Amazon, Geizhals, Thomann etc. ein, die in den Beschreibungen von vielen meiner Videos zu finden sind! Du zahlst dadurch nicht mehr, ich bekomme aber eine kleine Provision die ungemein dabei hilft den Kanal aufrecht zu erhalten.
------------------------------------------------------------------------
►►Musik◄◄
artlist.io/Jen...
------------------------------------------------------------------------
►►Mein Equipment◄◄
//Schreibtisch Setup:
kit.co/AGTech/...
//PC:
kit.co/AGTech/...
//Kamera Equipment:
kit.co/Austria...

Пікірлер: 15

@vlars100 Жыл бұрын

Vielen Dank für das Video! Das Thema beschäftigt mich aktuell, deshalb habe ich mich gefreut als das Video rauskam :) Ich hätte gleich eine Frage zu dem Caching. Ich bin neu im Bereich TrueNAS und ZFS. Möchte jedoch die Storage-Systeme bei uns von Synology auf TrueNAS und ZFS umstellen. Das erste System ist ein 24 SAS-SSDs System, welches wir für VM Speicher benutzen. Aktuell noch für ESX später dann für Proxmox. Dieses wird via NFS angebunden. Das System besteht aus folgenden Komponenten: - Supermicro CSE-216 X10DRI-T4+ - 2x Intel Xeon E5-2687WV4 (3,00 GHz) - 384GB Registered ECC DDR4 RAM (2400 MHz) - 3x LSI SAS9300-8i (3 x 8 Kanal - damit jede SSD eine eigenen Kanal beziehen kann) - 2 x Intel XXV710-DA2 (SFP28) (zu einem 100G Bond zusammengeschlossen) - 24x Samsung PM1643a SAS SSD 1.92TB - 1x Intel Optane SSD DC P4800X 750GB PBW HHHL CEM3.0 PCIe 3.0 NVMe SSDPED1K750GA01 Noch zu erwähnen ist, dass das System an einem USV hängt und vor Stromunterbrüchen geschützt ist. Den Pool würde ich mit 4x VDEV à 6 SSDs im RAID Z1 erstellen. Das ist für mich die aktuell beste Mischung aus Performance und Storage Kapazität. Nun bin ich mir unsicher bezüglich des Caches. Macht es Sinn die Intel Optane als SLOG Cache zu verwenden auch wenn wir ein USV einsetzen? So wie ich es verstanden habe sind die Caches wie folgt aufgeilt: SLOG (Separate Intent Log) = RAM-Backup (im Falle eines Stromausfalls sind die Daten aus dem RAM nicht verloren) ZIL (ZFS Intent Log) = Schreibcache ZFS L2ARC (Level 2 ARC Cache) = Lesecache ZFS Special VDEV = Metadata-Cache Oder wäre es besser die Optane als ZIL / L2ARC / Meta Cache zu verwenden? Kann dies alles auf der gleichen Optane laufen, oder sollten besser separate verwenden werden? Vorab schon vielen Dank für die Antwort!

@AGTech Жыл бұрын

Bei deinem Usecase mit TrueNAS/ZFS als VM Storage über NFS fällst in die "der ZIL kann auch Performance Vorteile bringen" Kategorie wie bei 1:56 kurz angesprochen, also ja, würd auf jeden Fall eine Optane als ZIL in deinem Setup mit einplanen! (btw. SLOG = ZIL, sind nur zwei verschiedene Begriffe für genau das Gleiche) Wenn du an deinen Pool auch eine Special vDEV anhängen willst auf JEDEN Fall zwei dedizierte SSDs dafür hernehmen und nicht einfach Partitionen aufsplitten wie ichs mit ZIL & L2ARC gemacht hab. Die vDEV hält dann nämlich die kompletten Metadaten vom Pool- sind die Weg kannst deine kompletten Daten auf dem Pool vergessen! Muss auch nicht zwingend Optane sein, dafür könntest z.B. auch "normale" Datacenter SSDs hernehmen wie z.B. Kioxia CD6 oder Micron 7400 Pro.

@vlars100 Жыл бұрын

@@AGTech Hi und vielen Dank für die ausführliche Antwort! Das werde ich auf alle Fälle so umsetzen. Noch eine andere Frage, vielleicht hast du damit auch schon Erfahrungen gemacht. Ich habe oft gelesen, dass qcow2 auf ZFS (ebenfalls COW) nicht empfohlen wird. Da es offenbar zu Performanceproblemen kommen kann. In der Vergangenheit habe ich aber alle VMs auf den Synology-Storages betrieben, welches das BTRFS (ebenfalls COW) hat. Bei mir gab es nie Probleme. Eigentlich würde ich das qcow2 Format gerne behalten, da im RAW Format keine Snapshots direkt aus Proxmox erstellt werden können. Ausserdem habe ich festgestellt, dass der Backup Prozess mit Proxmox Backup Server wesentlich länger dauert - ich nehme an, da er ebenfalls keine Snapshots direkt mehr erstellen kann. Hättest du hier Erfahrung und könntest mir einen Tipp geben, wie es am ehesten Sinn macht. Weiter bin ich auch nicht schlüssig über die Einstellungen von ZFS in TrueNAS . Dort habe ich gelesen, dass einige mit eingeschalteter lz4 Komprimierung sogar bessere Performance erreicht, haben als ohne. Die Deduplizierung habe ich ebenfalls eingeschaltet. Hier bin ich mir aber nicht sicher, ob diese nur mit RAW sauber funktioniert oder ob diese auch für qcow2 verwendet werden kann. Vielen Dank nochmals für deine Zeitu und die tollen Videos!

@Fischje Жыл бұрын

Dann mach mal das "andere Video" wovon am Schluss gesprochen wird. Ne Optane 900 werkelt auch schon paar Jahr in meinem Proxmox Host. Prima Video, wie immer. Stimmkling toll :)

@AGTech Жыл бұрын

Kommt, kommt, immer mit der Ruhe! ...könnte bei meinem aktuellen Uploadrhythmus aber noch bisserle dauern. :D

@themlb974 4 ай бұрын

Wie sieht es mit einer Data Center SATA SSD als ZIL und L2ARC aus? Hätte eine DC600M und auch max 2.5GbE - in meinem Kopf sollte das doch mehr als ausreichend sein oder?

@Seikatsu121 3 ай бұрын

kann man das auch im truenas gui einrichten? oder muss man das über das terminal machen? bin nicht so sicher was das terminal angeht und habe angst, dass ein tippfehler bedeutet, dass alle meine daten weg sind

@hotfuzzzer Жыл бұрын

Muss bei der Optane zwingend die Vorgabe mit "min. 7th Gen Intel Core" erfüllt sein oder kann man die Optane Karten für TrueNas Scale auch auf älteren Haswell (Refresh) Plattformen nutzen? Möchte mit meiner "alten" Hardware einen Server bauen... Auch frage ich mich ob 16GB RAM ausreichend sind (Upgrade nicht sinnvoll durchführbar, da alle RAM Bänke voll) und ich dann mit ZIL und L2ARC diese "Limitierung" umgehen kann...

@dragoonl.755 8 ай бұрын

Hallo, wie hast du fdisk auf dein TrueNas scale bekommen, bei mir ist es nicht drauf und ich bekomme es auch nicht installiert? Und wie bist root user geworden, ich kann mich nur als admin anmelden auch über ssh.

@TheNERDad Жыл бұрын

Interessant, hast du schon mal ein RamDrive versucht? 😅 Mein HPE hat 1 TB RAM, da nutze ich das als Drive. 😊

@FlaxTheSeedOne Жыл бұрын

Das macht bei ZFS so absoulut keinen sinn, so Verlierst du daten die im SLOG landen durch Stromverlust. Und Ram als L2Arc, ist quasi L1Arc mit extra steps was keine gute idee is.

@AGTech Жыл бұрын

Exakt, für ARC kannst einfach einen ZFS Parameter manuell umsetzen das so viel von dem RAM wie du nutzen willst als Lese-Cache zu Verfügung steht und als ZIL würd ich auf KEINEN Fall empfehlen flüchtigen Speicher wie ne RAM-Disk zu nutzen! Wenn "RAM" als ZIL, dann nur Intel Optane Persistent Memory, was technisch gesehen aber nicht wirklich RAM ist, sondern pervers schnell angebundener, nicht flüchtiger NAND Speicher. ;)

@jensg.5256 Жыл бұрын

Brauche ich zwingend ECC RAM für ZFS oder geht auch Unbufferd Kingston RAM ?

@AGTech Жыл бұрын

Grundsätzlich ist an ZFS nix Spezielles dran das ECC mehr braucht als jedes andere Dateisystem. Warum die ganze "man braucht ECC RAM für ZFS" Thematik aber aufgekommen sein dürfte, ist weil ZFS doch eher im professionellen Umfeld zum Einsatz kommt/dafür nun mal eines der kompetentesten Dateisysteme ist und da würd ich das unabhängig vom genutzten Dateisystem zu 100% unterschreiben: Sind einem seine Daten wichtig, nutz ECC! Geht's dir allerdings um irgend nen Server im Homelab auf dem paar Fotos, Videos etc. liegen machst mit normalem Unbuffered RAM + ZFS nicht mehr falsch oder richtig als wenn du irgend nen anderes Dateisystem nutzen würdest.

@jensg.5256 Жыл бұрын

@@AGTech Ok habe gelesen mit ZFS wäre das noich efizienter und schneller als normales Software RAID. Ich interessiere mich nur für den privaten Ho mne Server