Acasă
» Cum să
»
Configurați S3 Blob Storage pentru ownCloud Infinite Scale
Configurați S3 Blob Storage pentru ownCloud Infinite Scale
Pentru a stoca conținutul fișierelor utilizator în S3 cu ownCloud Infinite Scale (oCIS), configurați serviciul Storage-Users să utilizeze driverul s3ng, să îl direcționeze către un bucket precreat și să păstreze directorul de metadate al serviciului pe un spațiu de stocare POSIX persistent. S3 deține fișierele blob; nu înlocuiește fiecare cale de date oCIS locală.
Configurația de mai jos respectă documentația ownCloud Infinite Scale 8.2. Comparați numele variabilelor și exemplele de implementare cu documentația pentru versiunea instalată înainte de a modifica un sistem de producție.
Verificați aspectul spațiului de stocare înainte de configurare
În acest context, un blob este conținutul fișierului stocat, iar metadatele sunt informațiile pe care oCIS le folosește pentru a organiza și găsi fișiere. Cu S3NG, blob-urile merg în depozitul de obiecte compatibil cu S3, în timp ce metadatele rămân pe un sistem de fișiere POSIX. Păstrați acel sistem de fișiere montat persistent și inclus în copiile de rezervă. Driverul de stocare a sistemului ar trebui să rămână ocis.
Folosește această scurtă listă de verificare înainte de zbor:
Alegeți un furnizor S3 și confirmați endpoint-ul, regiunea, numele bucket-ului, operațiunile API S3 acceptate și limitele multipart.
Creați bucket-ul înainte de a porni oCIS. Configurarea S3NG documentată așteaptă un bucket existent.
Creați o identitate de acces dedicată pentru oCIS și stocați cheia și secretul acesteia în managerul de secrete al implementării sau în setările mediului protejat.
Alegeți o cale persistentă de metadate locale și confirmați că procesul oCIS o poate citi și scrie.
Pentru o instalare existentă, planificați o migrare acceptată înainte de a modifica driverul de stocare. Modificarea unei setări backend nu reprezintă o copie sau o migrare a datelor de fișiere existente.
Exemplu al celor trei setări de stocare principale: S3NG pentru blob-uri de utilizator, o rădăcină persistentă de metadate POSIX și driverul de sistem oCIS.
Creați bucket-ul și acordați accesul necesar
Configurați bucket-ul în consola furnizorului sau în instrumentele de infrastructură, apoi acordați identității serviciului oCIS doar accesul necesar pentru bucket-ul său. Pagina ownCloud S3 documentează o politică de bază pentru un API S3 în stil AWS. Înlocuiți-l bucket-namecu bucket-ul dvs. și adaptați sintaxa politicii la furnizorul dvs. dacă acesta este compatibil cu S3, mai degrabă decât cu Amazon S3.
ARN-ul la nivel de bucket și ARN-ul la nivel de obiect sunt diferite: primul permite listarea bucket-ului; al doilea aplică acțiuni obiectelor din interiorul său. Urmați cerințele politicii ownCloud S3 pentru bucket-uri și documentația actuală a politicii furnizorului dvs. Nu lipiți acreditările într-un fișier de politici, un depozit sursă sau o captură de ecran.
Exemplul separă permisiunea de listare a bucket-urilor de permisiunile de încărcare a obiectelor și a mai multor părți; înlocuiește ARN-ul bucket-ului substituent.
Setați variabilele S3NG pentru Storage-Users
Pentru un mediu de serviciu sau un fișier Compose care acceptă variabile de mediu oCIS standard, setați următoarele valori. Aceste valori de exemplu sunt substituenți; utilizați punctul final și regiunea atribuite de furnizorul dvs.
Montați /var/lib/ocis/storage/users(sau rădăcina selectată) pe un spațiu de stocare POSIX durabil. Nu îndreptați această cale de metadate către bucket-ul S3. Injectați cheia de acces și secretul în siguranță; referințele variabilelor de mai sus presupun că implementarea dvs. furnizează acele valori ale secretului. Punctul final trebuie să fie accesibil din serviciul oCIS, iar numele bucket-ului, regiunea și acreditările trebuie să se refere la același cont de furnizor și bucket.
Dacă utilizați ocis_fullexemplul modular Compose al ownCloud, suprapunerea opțională S3 utilizează o S3NGsetare specifică exemplului și un s3ng.ymlfișier de configurare separat. Urmați acest exemplu ca model complet de implementare, în loc să îl combinați orbește cu un alt fișier Compose. Consultați exemplul oficial de implementare oCIS Compose și referința mediului Storage-Users .
Introduceți endpoint-ul, regiunea și bucket-ul pentru furnizorul dvs.; păstrați cheile de acces și secrete în afara configurației validate.
Dimensionați încărcările în mai multe părți pentru fișierele așteptate
Fișierele mari sunt încărcate în blocuri cu mai multe părți. Amazon S3 documentează o dimensiune maximă a obiectului de 5 TiB și o limită de 10.000 de părți; dimensiunea părții trebuie să fie între 5 MiB și 5 GiB. Dimensiunea implicită a părții documentată de S3NG este de 16 MiB. La această valoare implicită, limita numărului de părți poate deveni plafonul practic înainte de dimensiunea maximă a obiectului oferită de furnizor. Pagina 8.2 a ownCloud estimează plafonul implicit la 160 GiB; utilizați dimensiunea configurată a părții și regulile furnizorului dvs. pentru a calcula un maxim sigur și lăsați o marjă.
Singurul parametru multiparte pentru documentele ownCloud, configurabil aici, este STORAGE_USERS_S3NG_PUT_OBJECT_PART_SIZE. Măriți dimensiunea părții dacă dimensiunea fișierului acceptată ar necesita mai mult de 10.000 de părți. Valoarea este un uint64(un număr întreg fără semn), deci configurați-o ca număr de octeți, nu ca șir cu „MiB” adăugat. Păstrați-o în intervalul documentat de 5 MiB–5 GiB și confirmați că furnizorul S3 acceptă valoarea aleasă. Pentru un obiect de 5 TiB pe 10.000 de părți, partea medie ar trebui să fie de 500 MiB.
De asemenea, rezervați spațiu de stocare temporară pe gazda sau containerul oCIS: ownCloud notează că are nevoie de cel puțin aceeași capacitate temporară ca cel mai mare fișier așteptat pentru a stoca în buffer datele primite. Un bucket și acreditări valide nu vor preveni erorile cauzate de o limită parțială subdimensionată sau de un disc temporar complet. Consultați limitele de încărcare S3 ale ownCloud și referința tipului de variabilă de mediu .
Aplicați, verificați și protejați datele
După salvarea configurației, reporniți sau redistribuiți oCIS utilizând procedura aferentă instalării. Verificați jurnalele de service pentru erori de configurare, endpoint, permisiune sau conexiune. Apoi, executați verificarea blobstore în același runtime configurat ca oCIS:
ocis storage-users blobstore check
Această comandă de întreținere utilizează depozitul de fișiere blobstore configurat și efectuează o încărcare, descărcare și ștergere dus-întors cu o sarcină utilă de testare aleatorie. Este o verificare a spațiului de stocare concentrată, nu o dovadă că fiecare flux de lucru orientat spre utilizator sau încărcare foarte mare va reuși. Referința comenzii blobstore documentează opțiunile sale, inclusiv o dimensiune configurabilă a sarcinii utilă de testare.
Executați această comandă cu aceeași configurație oCIS pentru a verifica depozitul de blob-uri configurat; imaginea nu afișează un rezultat al testului.
În final, încărcați un fișier de test mic prin intermediul interfeței client sau web și confirmați că acesta apare și se deschide. Pentru o implementare cu fișiere mari, testați și o dimensiune reprezentativă a fișierului înainte de a vă baza pe configurație. O implementare dus-întors mică reușită nu validează capacitatea multiparte sau discul temporar disponibil.
Faceți o copie de rezervă a obiectelor S3 și a metadatelor POSIX, a configurației și a altor date oCIS necesare ca un set coordonat. Ghidul de backup al ownCloud recomandă oprirea instanței pentru o copie de rezervă și gestionarea separată a blocurilor S3 stocate extern. Păstrați copii recuperabile ale ambelor straturi de stocare și testați o procedură de restaurare înainte de a trata implementarea ca fiind protejată: considerații privind backup-ul ownCloud .
Listă de verificare rapidă pentru validare
STORAGE_USERS_DRIVEReste s3ng; spațiul de stocare al sistemului rămâne ocis.
Rădăcina metadatelor este stocarea persistentă POSIX, iar bucket-ul S3 există deja.
Punctul final, regiunea, bucket-ul, acreditările și politica corespund aceluiași cont de furnizor.
Dimensiunea pieselor în mai multe părți, capacitatea de 10.000 de părți și stocarea temporară acoperă cel mai mare fișier planificat.
Verificarea blobstore-ului are succes, o încărcare reală a unui client se deschide corect, iar atât metadatele, cât și conținutul bucket-ului sunt incluse în planurile de backup și restaurare.