Eli kiinnostaisi kuulla millaisia tallennus ratkaisuja olette keksineet kokoajan kasvavan videomateriaalin säilyttämiseen? Kuinka varmuuskopionti hoituu vai varmuuskopiotteko ollenkaan kuvattua materiaalia? Entäs sitten reissunpäällä kuinka hoidatte tallennuksen? Kiva olisi kuulla ratkaisuja niin amatööreiltä kuin ammattilaisilta (isoissa tuotannoissa).
Itse olen käyttänyt ihan kahden kovalevyn ratkaisua eli yksi konneessa ja toinen varmuuskopiolle. Sitten vain lisännyt kovalevyjen määrää kokoajan kasvavan materiaalin sitä vaatiessa. Itse olen päätynyt säilyttämään kaiken kuvatun materiaalin. Kuitenkin nykyisin jo 8TB + 8TB = 16TB alkaa olemaan jo niin paljon, että alkaa olemaan vaikeasti hallittavissa. Etenkin 4K videoiden kehiin tulemisen jälkeen materiaali kasvaa valtavaa vauhtia.
Myös koska kiintolevyt ovat harmillisesti vanhenevaa sorttia, niin on alkanut kiinnostamaan LTO nauha tallennus, jos siitä saisi lisä tilaa ja luotettavuutta huomattavasti lisää. Valitettavasti hinnat ovat noissa nauha ratkaisuissa liian kalliita.
Myös on olemassa erilaisia RAID ratkaisuja joilla saisi luotettavuutta aikaan. Näistä ei kuitenkaan itsellä ole omakohtaista kokemusta.
Joten kuinka te hoidatte kasvavan materiaalin tallennuksen ja varmuuskopionnin? Millaisia ratkaisuja on editoinnin suhteen miltä kovalevyiltä/ssd:ltä materiaalia editoitte? Etenkin suuret tuotannot, joissa puhutaan kymmenistä teroista materiaalia olisi kiinnostava kuulla miten materiaalin tallennus ja editointi onnistuu?
Videoiden tallennus/varmuuskopiointi
Heh, itse asiassa just niin tää Erkki on tehnyt.Kim kirjoitti:Erkikkän ei voi ostaa niin paljon kovoa että voisi tallentaa ihan kaiken raakamatskun ikuisiksi ajoiksi.
Mulla on tuossa pöydän alla backupkäytössä viisi NAS verkkolevyasemaa, yhteensä 24TB (RAID 5), ja kaapissa irtokovalevyjä saman verran vielä lisää... ja about kaikki koskaan kuvaamani orkkismatsku tallessa edelleen.
Jäi sulta tuo "ikuisiksi ajoiksi" huomaamatta. Jossain vaiheessa tulee se seinä vastaan.Halsu kirjoitti:Heh, itse asiassa just niin tää Erkki on tehnyt.
Mulla on tuossa pöydän alla backupkäytössä viisi NAS verkkolevyasemaa, yhteensä 24TB (RAID 5), ja kaapissa irtokovalevyjä saman verran vielä lisää... ja about kaikki koskaan kuvaamani orkkismatsku tallessa edelleen.
Tuskin. Levykapasiteetti kasvaa eksponentiaalisesti, eikä kehitykselle näy loppua (olettaen että "ikuisiksi ajoiksi" tarkoittaa jotain ihmisiän kannalta järjellistä).Kim kirjoitti:Jäi sulta tuo "ikuisiksi ajoiksi" huomaamatta. Jossain vaiheessa tulee se seinä vastaan.
Mulla on avaimenperänä pikkurillin kynnen kokoinen microSD -kortinlukija ja siinä 32 GB kortti. Kymmenen vuoden päästä mulla voi hyvinkin olla avaimenperässä 32 TB, ja kaikki tähän mennessä tekemäni duunit mukana taskussa. Ja kotona jotain exabytejä tai vastaavia uusiin datahaasteisiin vastaamassa.
suurten datamäärien väliaikaissäilytykseen halvin ratkaisu on ostaa irtonaisia tietokoneen sisälle tarkoitettuja kovalevyjä ja niitä varten kovalevytelakka jossa on tarvittavat liitännät. Käytän töissä enimmäkseen tällä hetkellä 3TB sata-levyjä väliaikaiskopiointiin ja pitkäaikaissäilytystä varten materiaali siirretään LTO5-nauhoille jolloin kovalevyt vapautuvat uusiokäyttöön ja pitkäaikaissäilytys on kustannustehokasta.
Nauha on teraa kohti huomattavasti halvempi ratkaisu jos tarvittava laitteisto on jo valmiina ja nauhat säilyvät suht luotettavasti 10-20 vuotta verrattuna kovalevyihin jotka tarvitsevat säännöllistä huolenpitoa ja siirtelyä uudelle levylle ennen kuin vanha hajoaa käsiin.
järkevän nauhajärjestelmän kasaaminen maksaa halvimmillaan luokkaa 5000€ (erillinen tietokone, raid-pakka, ohjelma esim BRU PE, sas-kortti, nauha-asema, UPS-laite) . kone kannattaa olla erillinen koska asemat ovat riippuvaisia tasaisesta datavirrasta ja tekevät enemmän kirjoitusvirheitä ( = kuluttavat enemmän nauhaa) jos käytät hitaita levyjä koneessa tai jos teet koneella mitään muuta silloin kun nauhaa kirjoitetaan.
Nauha on silloin kätevä jos suurien datamäärien pitkäaikaistallennus veisi kohtuuttoman määrän kovalevyjä ja säännöllistä käsityötä levyjen tarkistuksessa puolen vuoden välein. esim. omassa työssä leffan valmistumisen jälkeen kaikki raakamateriaali jää pelkästään nauhoille (esim. just valmistuneessa leffassa noin 100TB raakamateriaalia) jolloin kovalevyt voidaan ottaa uusiokäyttöön ennen kuin niiden luotettava kestoikä menee umpeen ja lopuksi ne voidaan asentaa raid-pakkaan ja hyödyntää edittilevyinä
kovalevytelakka on myös usein nopeampi käyttää kuin sählätä ulkoisten kovalevyjen piuhojen kanssa ja lisäksi tiedonsiirto on usein nopeampaa. miinuksena varomaton käsittely voi rikkoa levyt helpommin
Nauha on teraa kohti huomattavasti halvempi ratkaisu jos tarvittava laitteisto on jo valmiina ja nauhat säilyvät suht luotettavasti 10-20 vuotta verrattuna kovalevyihin jotka tarvitsevat säännöllistä huolenpitoa ja siirtelyä uudelle levylle ennen kuin vanha hajoaa käsiin.
järkevän nauhajärjestelmän kasaaminen maksaa halvimmillaan luokkaa 5000€ (erillinen tietokone, raid-pakka, ohjelma esim BRU PE, sas-kortti, nauha-asema, UPS-laite) . kone kannattaa olla erillinen koska asemat ovat riippuvaisia tasaisesta datavirrasta ja tekevät enemmän kirjoitusvirheitä ( = kuluttavat enemmän nauhaa) jos käytät hitaita levyjä koneessa tai jos teet koneella mitään muuta silloin kun nauhaa kirjoitetaan.
Nauha on silloin kätevä jos suurien datamäärien pitkäaikaistallennus veisi kohtuuttoman määrän kovalevyjä ja säännöllistä käsityötä levyjen tarkistuksessa puolen vuoden välein. esim. omassa työssä leffan valmistumisen jälkeen kaikki raakamateriaali jää pelkästään nauhoille (esim. just valmistuneessa leffassa noin 100TB raakamateriaalia) jolloin kovalevyt voidaan ottaa uusiokäyttöön ennen kuin niiden luotettava kestoikä menee umpeen ja lopuksi ne voidaan asentaa raid-pakkaan ja hyödyntää edittilevyinä
kovalevytelakka on myös usein nopeampi käyttää kuin sählätä ulkoisten kovalevyjen piuhojen kanssa ja lisäksi tiedonsiirto on usein nopeampaa. miinuksena varomaton käsittely voi rikkoa levyt helpommin
käytännössä harva harrastaja kuvaa niin suuria materiaalimääriä että tarvitsisi omaa LTO-järjestelmää mihinkään, edes muutaman harrastajan kesken se ei ole kovin tarkoituksenmukainen hankinta.
Esim. Digivideoyhdistyksellä jos olisi pari LTO-yksikköä yhteiskäytössä niin silloin se voisi olla järkevää jolloin yksittäinen harrastaja voisi esim. vuoden välein kopioida omat materiaalinsa väliaikaiskovalevyiltä turvaan nauhoille.
Yksittäisen harrastajan kannattaa etsiä jokin taho jolla on jo yksikkö käytössä (LTO-5 ja LTO-6 ovat hyviä) ja järjestää oman materiaalin siirto jollain könttäsummalla sitten kun sitä on kertynyt tarpeeksi (käytännössä videomateriaalille voi laskea turvarajojen kanssa suunnilleen esim. 1.4TB materiaalia per LTO5-nauha riippuen yksiköstä jolla tehdään. hardwarepakkaus ei videomateriaalilla käytännössä auta yhtään) . nauhat on tehokkainta tehdä niin että esim. BRU:lla ajetaan mahdollisimman iso arkisto sisään jolloin saadaan täytettyä kaikki paitsi viimeinen nauha aivan täyteen, eli mahdollisimman paljon kerralla.
Arkiston katalogitiedostot menevät hyvin näppärästi esim. sähköpostiliitteinä ja niitä voi selata asentamalla BRUn demoversion jolloin palautettavat tiedostot voi etsiä etukäteen millä tahansa koneella ennen kuin tarvitsee hakea varsinaista nauhaa arkistoista.
väliaikaissäilytykseen suosittelen tosiaan irtonaisia kovalevyjä ja telakkaa, LTO on sopiva lähinnä pitkäaikaissäilytykseen suurilla datamäärillä sekä automaattiseen varmuuskopiointiin yrityskäytössä.
LTFS:n ei muuten kannata luottaa yhtään, se on open source -pohjainen systeemi eikä sen yhteensopivuutta minkään järjestelmän kanssa voi taata edes muutaman vuoden aikajänteellä. Eli jos teet LTFS-nauhan niin voi olla ettet saa sitä enää parin vuoden päästä auki koska joku on sorkkinut ltfs-spekseissä kohtia x, y tai z. Lisäksi se ei tue spannausta eli jos arkisto ei mahdu yhdelle nauhalle niin se pitää pilkkoa manuaalisesti sopivan kokoisiin osiin
Esim. Digivideoyhdistyksellä jos olisi pari LTO-yksikköä yhteiskäytössä niin silloin se voisi olla järkevää jolloin yksittäinen harrastaja voisi esim. vuoden välein kopioida omat materiaalinsa väliaikaiskovalevyiltä turvaan nauhoille.
Yksittäisen harrastajan kannattaa etsiä jokin taho jolla on jo yksikkö käytössä (LTO-5 ja LTO-6 ovat hyviä) ja järjestää oman materiaalin siirto jollain könttäsummalla sitten kun sitä on kertynyt tarpeeksi (käytännössä videomateriaalille voi laskea turvarajojen kanssa suunnilleen esim. 1.4TB materiaalia per LTO5-nauha riippuen yksiköstä jolla tehdään. hardwarepakkaus ei videomateriaalilla käytännössä auta yhtään) . nauhat on tehokkainta tehdä niin että esim. BRU:lla ajetaan mahdollisimman iso arkisto sisään jolloin saadaan täytettyä kaikki paitsi viimeinen nauha aivan täyteen, eli mahdollisimman paljon kerralla.
Arkiston katalogitiedostot menevät hyvin näppärästi esim. sähköpostiliitteinä ja niitä voi selata asentamalla BRUn demoversion jolloin palautettavat tiedostot voi etsiä etukäteen millä tahansa koneella ennen kuin tarvitsee hakea varsinaista nauhaa arkistoista.
väliaikaissäilytykseen suosittelen tosiaan irtonaisia kovalevyjä ja telakkaa, LTO on sopiva lähinnä pitkäaikaissäilytykseen suurilla datamäärillä sekä automaattiseen varmuuskopiointiin yrityskäytössä.
LTFS:n ei muuten kannata luottaa yhtään, se on open source -pohjainen systeemi eikä sen yhteensopivuutta minkään järjestelmän kanssa voi taata edes muutaman vuoden aikajänteellä. Eli jos teet LTFS-nauhan niin voi olla ettet saa sitä enää parin vuoden päästä auki koska joku on sorkkinut ltfs-spekseissä kohtia x, y tai z. Lisäksi se ei tue spannausta eli jos arkisto ei mahdu yhdelle nauhalle niin se pitää pilkkoa manuaalisesti sopivan kokoisiin osiin
Muistelen, että microSD sais jo 128GB , itselläni on 64GB microSD kortti.Halsu kirjoitti: Mulla on avaimenperänä pikkurillin kynnen kokoinen microSD -kortinlukija ja siinä 32 GB kortti.
Joo eiköhän sitä levytilaa löydy tulevaisuudessakin, mutta miten ne tiedostot löytyy järkevässä ajassa. Miten olet arkistoinnin järjestänyt? Jotain avainsanojako vaiko sekaisin aikajärjestyksessä?Kymmenen vuoden päästä mulla voi hyvinkin olla avaimenperässä 32 TB, ja kaikki tähän mennessä tekemäni duunit mukana taskussa. Ja kotona jotain exabytejä tai vastaavia uusiin datahaasteisiin vastaamassa.
On mullakin myös 64GB kortti, mutta se ei oo just nyt taskussa vaan GoProssa ;-)jorma k kirjoitti:Muistelen, että microSD sais jo 128GB , itselläni on 64GB microSD kortti.
Käytän ihan normaalia windowsin tiedostonhallintaa. Näin:Joo eiköhän sitä levytilaa löydy tulevaisuudessakin, mutta miten ne tiedostot löytyy järkevässä ajassa. Miten olet arkistoinnin järjestänyt? Jotain avainsanojako vaiko sekaisin aikajärjestyksessä?
1.) Kaikki työtiedostot ovat yhdessä kansiossa jossa ei ole muuta tauhkaa.
2.) Sen alla on alikansiot AI ja JZ, joiden alla asiakkaat (tuotantoyhtiöt) jaettuna aakkosittain. Jako kahteen pääkansioon (tai kovalevyyn) on perua siitä että jossain vaiheessa kaikki työn alla olleet eivät mahtuneet yhdelle levylle - noudatan samaa jakoa myös backuplevyissä.
3.) Kunkin tuotantoyhtiöasiakkaan alla on omina kansioinaan loppuasiakkaat (siis esim. yritys tai brändi jolle tuotanto on tehty).
4.) Näiden alla on kukin yksittäinen tuotanto omana kansionaan.
5.) Ja tietty kunkin tuotannon materiaalit on jaettu järkevästi vielä kansioihinsa projektin sisällä - videot omaansa, kuvat omaansa, äänet omaansa ja niin edespäin.
Yllä oleva optimi ei toki aina toteudu, mutta riittävän hyvin kuitenkin. Melkein mikä vain tarvitsemani tiedosto löytyy muutamassa sekunnissa, kunhan vain muistan mitä tuotantoa varten k.o. materiaali on tehty.
Omia valokuvia ja kotivideoita varten mulla on hieman toisenlainen järjestelmä. Kaikki kamat on kerätty yhteen "valokuvat" -kansioon, ja sen alla kansioihin jotka on nimetty kuvauspäivän JA sisällön mukaan. Siis esimerkiksi:
20150724_Tvarminne_Kaskaat
20150726_Ulliksella
20150803_Vesitorni
...jne. Tuollainen yhden tai kahden sanan kuvailu yhdessä aikaleiman kanssa riittää jo siihen että tarvittu kama löytyy riittävän helposti.
-
Rantarosvo
- Viestit: 600
- Liittynyt: 27.01.2013 21:24
- Paikkakunta: Lappeenranta
Noissa muistikorteissa on todella paljon piraattituotteita, joten kiinasta tilaaminen ei aina kannata. Nopeusluokka ei usein pidä paikkaansa ja 32Gb kortille saattaa mahtua 2Gb. Samsung taitaa olla eniten kopsattuja merkkejä.
Kannattaa muistaa myös se, että kaikki tietokoneet ei pysty isoja(+32Gb) kortteja lukemaan. Itelläni esim. on näin ja ei auttanu vaikka tilasin uuden kortinlukijan jonka tiedoissa luki että korttini on tuettujen joukossa. Oma koneeni tunnistaa kortin mutta ei näytä sisältöä ja win7 kone ei edes tunnista korttia.
Ruotsista olen Samsungin evo kortteja tilannu. Kortit on aitoja ja hintataso ihan hyvä. Webhallen on vähän samantyylinen ko verkkokauppa.com suomessa mutta halvemmat hinnat. Ruotsin suurimpia ketjuja tältä saralta. Myymälöitäkin löytyy jos sattuu oikeelle paikkakunnalle asiaa.
http://www.webhallen.com/fi-fi/tietokon ... sdhc-sdxc/
Kannattaa muistaa myös se, että kaikki tietokoneet ei pysty isoja(+32Gb) kortteja lukemaan. Itelläni esim. on näin ja ei auttanu vaikka tilasin uuden kortinlukijan jonka tiedoissa luki että korttini on tuettujen joukossa. Oma koneeni tunnistaa kortin mutta ei näytä sisältöä ja win7 kone ei edes tunnista korttia.
Ruotsista olen Samsungin evo kortteja tilannu. Kortit on aitoja ja hintataso ihan hyvä. Webhallen on vähän samantyylinen ko verkkokauppa.com suomessa mutta halvemmat hinnat. Ruotsin suurimpia ketjuja tältä saralta. Myymälöitäkin löytyy jos sattuu oikeelle paikkakunnalle asiaa.
http://www.webhallen.com/fi-fi/tietokon ... sdhc-sdxc/
Joo minäkin yritän nykyisin kuvata kaikki leikkeet muutamalla sanalla (helpottaa myös editointia) ja muistikortista pyrin tekemään karkean sisällysluettelon. Mutta ei se aivan ongelmatonta ole, varsinkaan noiden lentokonevideoiden kanssa, varsinkin alkuperäiskorteilla on niin paljon sutta ja segundaa (RC-videot erityten). :-(Halsu kirjoitti: Yllä oleva optimi ei toki aina toteudu, mutta riittävän hyvin kuitenkin. Melkein mikä vain tarvitsemani tiedosto löytyy muutamassa sekunnissa, kunhan vain muistan mitä tuotantoa varten k.o. materiaali on tehty.
Omia valokuvia ja kotivideoita varten mulla on hieman toisenlainen järjestelmä. Kaikki kamat on kerätty yhteen "valokuvat" -kansioon, ja sen alla kansioihin jotka on nimetty kuvauspäivän JA sisällön mukaan. Siis esimerkiksi:
20150724_Tvarminne_Kaskaat
20150726_Ulliksella
20150803_Vesitorni
...jne. Tuollainen yhden tai kahden sanan kuvailu yhdessä aikaleiman kanssa riittää jo siihen että tarvittu kama löytyy riittävän helposti.
Niitä kun yrittää muistella mitä muutama vuosi sitten kuvasi. Ikääkun tulee lisää, niin epäilen että muistikin heikkenee.
-
Rantarosvo
- Viestit: 600
- Liittynyt: 27.01.2013 21:24
- Paikkakunta: Lappeenranta
On muuten jännä, että valokuvien arkistointiohjelmia löytyy, mutta vastaavaa ohjelmaa videoiden arkistointiin en oo nähny. Ite käytän valokuvilla Digikam ohjelmaa. Sillä jonkunlainen videoidenkin arkistointi sujuu, mut ei yhtähyvin kun valokuvien. Lisäks en halua et valokuvat ja videot on sekasin.
Mie en reissun päällä tyhjennä muistikortteja ollenkaan, vaan niitä on niin monta että pärjään. Kuvaan 32Gb korteille, joten jos kortti hajoaa, ei mee kaikki materiaali kerralla. Kotona siirrän videot koneelle ja katon klipit läpi. Kattomisen yhteydessä nimeän ne uudestaan ja teen listan niistä. Tän homman jälkeen teen varmuuskopion ja tyhjennän muistikortit. Sopii näin harrastekuvaajalle mikä ei mielettömästi kuvaa.
Mie en reissun päällä tyhjennä muistikortteja ollenkaan, vaan niitä on niin monta että pärjään. Kuvaan 32Gb korteille, joten jos kortti hajoaa, ei mee kaikki materiaali kerralla. Kotona siirrän videot koneelle ja katon klipit läpi. Kattomisen yhteydessä nimeän ne uudestaan ja teen listan niistä. Tän homman jälkeen teen varmuuskopion ja tyhjennän muistikortit. Sopii näin harrastekuvaajalle mikä ei mielettömästi kuvaa.