Configurați S3 Blob Storage pentru ownCloud Infinite Scale

Pentru a stoca conținutul fișierelor utilizator în S3 cu ownCloud Infinite Scale (oCIS), configurați serviciul Storage-Users să utilizeze driverul s3ng, să îl direcționeze către un bucket precreat și să păstreze directorul de metadate al serviciului pe un spațiu de stocare POSIX persistent. S3 deține fișierele blob; nu înlocuiește fiecare cale de date oCIS locală.

Configurația de mai jos respectă documentația ownCloud Infinite Scale 8.2. Comparați numele variabilelor și exemplele de implementare cu documentația pentru versiunea instalată înainte de a modifica un sistem de producție.

Verificați aspectul spațiului de stocare înainte de configurare

În acest context, un blob este conținutul fișierului stocat, iar metadatele sunt informațiile pe care oCIS le folosește pentru a organiza și găsi fișiere. Cu S3NG, blob-urile merg în depozitul de obiecte compatibil cu S3, în timp ce metadatele rămân pe un sistem de fișiere POSIX. Păstrați acel sistem de fișiere montat persistent și inclus în copiile de rezervă. Driverul de stocare a sistemului ar trebui să rămână ocis.

Folosește această scurtă listă de verificare înainte de zbor:

  • Alegeți un furnizor S3 și confirmați endpoint-ul, regiunea, numele bucket-ului, operațiunile API S3 acceptate și limitele multipart.
  • Creați bucket-ul înainte de a porni oCIS. Configurarea S3NG documentată așteaptă un bucket existent.
  • Creați o identitate de acces dedicată pentru oCIS și stocați cheia și secretul acesteia în managerul de secrete al implementării sau în setările mediului protejat.
  • Alegeți o cale persistentă de metadate locale și confirmați că procesul oCIS o poate citi și scrie.
  • Pentru o instalare existentă, planificați o migrare acceptată înainte de a modifica driverul de stocare. Modificarea unei setări backend nu reprezintă o copie sau o migrare a datelor de fișiere existente.

Notele privind aspectul spațiului de stocare ownCloud descriu ce informații rămân în afara bucket-ului S3. Acesta este motivul pentru care restaurarea bucket-ului în sine nu este un plan complet de recuperare.

Exemplu de editor de configurare care prezintă driverul de stocare s3ng, o rădăcină de metadate POSIX și driverul de stocare al sistemului ocis.
Exemplu al celor trei setări de stocare principale: S3NG pentru blob-uri de utilizator, o rădăcină persistentă de metadate POSIX și driverul de sistem oCIS.

Creați bucket-ul și acordați accesul necesar

Configurați bucket-ul în consola furnizorului sau în instrumentele de infrastructură, apoi acordați identității serviciului oCIS doar accesul necesar pentru bucket-ul său. Pagina ownCloud S3 documentează o politică de bază pentru un API S3 în stil AWS. Înlocuiți-l bucket-namecu bucket-ul dvs. și adaptați sintaxa politicii la furnizorul dvs. dacă acesta este compatibil cu S3, mai degrabă decât cu Amazon S3.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": ["arn:aws:s3:::bucket-name"]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:*Object",
        "s3:*MultipartUpload",
        "s3:ListMultipartUploadParts"
      ],
      "Resource": ["arn:aws:s3:::bucket-name/*"]
    }
  ]
}

ARN-ul la nivel de bucket și ARN-ul la nivel de obiect sunt diferite: primul permite listarea bucket-ului; al doilea aplică acțiuni obiectelor din interiorul său. Urmați cerințele politicii ownCloud S3 pentru bucket-uri și documentația actuală a politicii furnizorului dvs. Nu lipiți acreditările într-un fișier de politici, un depozit sursă sau o captură de ecran.

Exemplu de editor de politici JSON care listează permisiunile pentru bucket-uri și permisiunile pentru obiecte pentru un bucket S3 substituent.
Exemplul separă permisiunea de listare a bucket-urilor de permisiunile de încărcare a obiectelor și a mai multor părți; înlocuiește ARN-ul bucket-ului substituent.

Setați variabilele S3NG pentru Storage-Users

Pentru un mediu de serviciu sau un fișier Compose care acceptă variabile de mediu oCIS standard, setați următoarele valori. Aceste valori de exemplu sunt substituenți; utilizați punctul final și regiunea atribuite de furnizorul dvs.

STORAGE_USERS_DRIVER: s3ng
STORAGE_USERS_S3NG_ROOT: /var/lib/ocis/storage/users
STORAGE_SYSTEM_DRIVER: ocis
STORAGE_USERS_S3NG_ENDPOINT: https://s3.example.com
STORAGE_USERS_S3NG_REGION: us-east-1
STORAGE_USERS_S3NG_ACCESS_KEY: ${OCIS_S3_ACCESS_KEY}
STORAGE_USERS_S3NG_SECRET_KEY: ${OCIS_S3_SECRET_KEY}
STORAGE_USERS_S3NG_BUCKET: ocis-user-blobs

Montați /var/lib/ocis/storage/users(sau rădăcina selectată) pe un spațiu de stocare POSIX durabil. Nu îndreptați această cale de metadate către bucket-ul S3. Injectați cheia de acces și secretul în siguranță; referințele variabilelor de mai sus presupun că implementarea dvs. furnizează acele valori ale secretului. Punctul final trebuie să fie accesibil din serviciul oCIS, iar numele bucket-ului, regiunea și acreditările trebuie să se refere la același cont de furnizor și bucket.

Dacă utilizați ocis_fullexemplul modular Compose al ownCloud, suprapunerea opțională S3 utilizează o S3NGsetare specifică exemplului și un s3ng.ymlfișier de configurare separat. Urmați acest exemplu ca model complet de implementare, în loc să îl combinați orbește cu un alt fișier Compose. Consultați exemplul oficial de implementare oCIS Compose și referința mediului Storage-Users .

Exemplu de fișier de mediu cu un endpoint S3, o regiune, un nume de bucket, o cheie de acces mascată și o cheie secretă.
Introduceți endpoint-ul, regiunea și bucket-ul pentru furnizorul dvs.; păstrați cheile de acces și secrete în afara configurației validate.

Dimensionați încărcările în mai multe părți pentru fișierele așteptate

Fișierele mari sunt încărcate în blocuri cu mai multe părți. Amazon S3 documentează o dimensiune maximă a obiectului de 5 TiB și o limită de 10.000 de părți; dimensiunea părții trebuie să fie între 5 MiB și 5 GiB. Dimensiunea implicită a părții documentată de S3NG este de 16 MiB. La această valoare implicită, limita numărului de părți poate deveni plafonul practic înainte de dimensiunea maximă a obiectului oferită de furnizor. Pagina 8.2 a ownCloud estimează plafonul implicit la 160 GiB; utilizați dimensiunea configurată a părții și regulile furnizorului dvs. pentru a calcula un maxim sigur și lăsați o marjă.

Singurul parametru multiparte pentru documentele ownCloud, configurabil aici, este STORAGE_USERS_S3NG_PUT_OBJECT_PART_SIZE. Măriți dimensiunea părții dacă dimensiunea fișierului acceptată ar necesita mai mult de 10.000 de părți. Valoarea este un uint64(un număr întreg fără semn), deci configurați-o ca număr de octeți, nu ca șir cu „MiB” adăugat. Păstrați-o în intervalul documentat de 5 MiB–5 GiB și confirmați că furnizorul S3 acceptă valoarea aleasă. Pentru un obiect de 5 TiB pe 10.000 de părți, partea medie ar trebui să fie de 500 MiB.

De asemenea, rezervați spațiu de stocare temporară pe gazda sau containerul oCIS: ownCloud notează că are nevoie de cel puțin aceeași capacitate temporară ca cel mai mare fișier așteptat pentru a stoca în buffer datele primite. Un bucket și acreditări valide nu vor preveni erorile cauzate de o limită parțială subdimensionată sau de un disc temporar complet. Consultați limitele de încărcare S3 ale ownCloud și referința tipului de variabilă de mediu .

Aplicați, verificați și protejați datele

După salvarea configurației, reporniți sau redistribuiți oCIS utilizând procedura aferentă instalării. Verificați jurnalele de service pentru erori de configurare, endpoint, permisiune sau conexiune. Apoi, executați verificarea blobstore în același runtime configurat ca oCIS:

ocis storage-users blobstore check

Această comandă de întreținere utilizează depozitul de fișiere blobstore configurat și efectuează o încărcare, descărcare și ștergere dus-întors cu o sarcină utilă de testare aleatorie. Este o verificare a spațiului de stocare concentrată, nu o dovadă că fiecare flux de lucru orientat spre utilizator sau încărcare foarte mare va reuși. ​​Referința comenzii blobstore documentează opțiunile sale, inclusiv o dimensiune configurabilă a sarcinii utilă de testare.

Fereastră terminal cu comanda ocis storage-users blobstore check și nicio ieșire afișată.
Executați această comandă cu aceeași configurație oCIS pentru a verifica depozitul de blob-uri configurat; imaginea nu afișează un rezultat al testului.

În final, încărcați un fișier de test mic prin intermediul interfeței client sau web și confirmați că acesta apare și se deschide. Pentru o implementare cu fișiere mari, testați și o dimensiune reprezentativă a fișierului înainte de a vă baza pe configurație. O implementare dus-întors mică reușită nu validează capacitatea multiparte sau discul temporar disponibil.

Faceți o copie de rezervă a obiectelor S3 și a metadatelor POSIX, a configurației și a altor date oCIS necesare ca un set coordonat. Ghidul de backup al ownCloud recomandă oprirea instanței pentru o copie de rezervă și gestionarea separată a blocurilor S3 stocate extern. Păstrați copii recuperabile ale ambelor straturi de stocare și testați o procedură de restaurare înainte de a trata implementarea ca fiind protejată: considerații privind backup-ul ownCloud .

Listă de verificare rapidă pentru validare

  • STORAGE_USERS_DRIVEReste s3ng; spațiul de stocare al sistemului rămâne ocis.
  • Rădăcina metadatelor este stocarea persistentă POSIX, iar bucket-ul S3 există deja.
  • Punctul final, regiunea, bucket-ul, acreditările și politica corespund aceluiași cont de furnizor.
  • Dimensiunea pieselor în mai multe părți, capacitatea de 10.000 de părți și stocarea temporară acoperă cel mai mare fișier planificat.
  • Verificarea blobstore-ului are succes, o încărcare reală a unui client se deschide corect, iar atât metadatele, cât și conținutul bucket-ului sunt incluse în planurile de backup și restaurare.

Lasă un comentariu

Setați cotele de stocare implicite după rolul utilizatorului în ownCloud oCIS

Setați cotele de stocare implicite după rolul utilizatorului în ownCloud oCIS

Atribuiți limite de stocare bazate pe octeți noilor utilizatori ownCloud Infinite Scale în funcție de rol, cu un exemplu proxy.yaml și o listă de verificare pentru verificarea sigură.

Remediați erorile de certificat de sincronizare ownCloud la sursa TLS

Remediați erorile de certificat de sincronizare ownCloud la sursa TLS

Restaurați sincronizarea desktopului ownCloud verificând numele de gazdă al serverului, lanțul de certificate, încrederea CA privată și problemele legate de portalul captiv fără a dezactiva verificarea TLS.

Ștergeți un avertisment de integritate ownCloud după o actualizare

Folosește raportul fișiere nevalide pentru a identifica fișierele principale sau semnăturile aplicațiilor nepotrivite, pentru a restaura fișierele de lansare corecte și pentru a verifica în siguranță verificarea integrității.

Instalați ownCloud Infinite Scale cu Docker Compose

Implementează ownCloud Infinite Scale din exemplul său oficial Compose, configurează domeniile și stocarea persistentă, apoi verifică TLS, containerele și prima autentificare.

Configurați S3 Blob Storage pentru ownCloud Infinite Scale

Configurați S3 Blob Storage pentru ownCloud Infinite Scale

Configurați driverul S3NG, permisiunile pentru bucket-uri, stocarea persistentă a metadatelor și dimensionarea încărcării, astfel încât ownCloud Infinite Scale să poată stoca conținutul fișierelor în mod fiabil.

Când încărcările ownCloud se blochează la 99%, verificați aceste limite

Când încărcările ownCloud se blochează la 99%, verificați aceste limite

Află de ce o încărcare pe serverul ownCloud se oprește aproape de finalizare verificând starea fișierului, cota, spațiul temporar pe disc, limitele PHP și timeout-urile proxy.

Ștergeți în siguranță avertismentul ownCloud Apache .htaccess

Ștergeți în siguranță avertismentul ownCloud Apache .htaccess

Setați AllowOverride All doar pentru rădăcina web a ownCloud, validați vhost-ul Apache activ și reîncărcați în siguranță pentru a restaura regulile .htaccess.

Configurarea auditului ownCloud Enterprise și verificarea jurnalelor

Activați aplicația Enterprise Auditing a ownCloud, direcționați evenimentele admin_audit către un fișier jurnal protejat și confirmați că acțiunile reale ale utilizatorilor sunt înregistrate.

Conectează ownCloud Infinite Scale la Keycloak cu OIDC

Conectează ownCloud Infinite Scale la Keycloak cu OIDC

Aliniați emitentul realm-ului Keycloak, clientul web și revendicările utilizatorului pentru a permite ownCloud Infinite Scale să conecteze utilizatorii în mod fiabil pe clienții web și mobili.

Mutați fișierele ownCloud către un nou proprietar fără a pierde partajările

Transferă fișierele deținute și partajările de ieșire cu comanda occ din ownCloud, înțelege ce rămâne în urmă și verifică accesul înainte de a șterge contul vechi.