Videoiden tallennus/varmuuskopiointi

Tietokoneisiin ja niiden oheislaitteisiin liittyvät ongelmat.
sanjuro3
Viestit: 135
Liittynyt: 17.03.2010 16:46

Videoiden tallennus/varmuuskopiointi

Viesti Kirjoittaja sanjuro3 » 05.12.2015 22:37

Eli kiinnostaisi kuulla millaisia tallennus ratkaisuja olette keksineet kokoajan kasvavan videomateriaalin säilyttämiseen? Kuinka varmuuskopionti hoituu vai varmuuskopiotteko ollenkaan kuvattua materiaalia? Entäs sitten reissunpäällä kuinka hoidatte tallennuksen? Kiva olisi kuulla ratkaisuja niin amatööreiltä kuin ammattilaisilta (isoissa tuotannoissa).

Itse olen käyttänyt ihan kahden kovalevyn ratkaisua eli yksi konneessa ja toinen varmuuskopiolle. Sitten vain lisännyt kovalevyjen määrää kokoajan kasvavan materiaalin sitä vaatiessa. Itse olen päätynyt säilyttämään kaiken kuvatun materiaalin. Kuitenkin nykyisin jo 8TB + 8TB = 16TB alkaa olemaan jo niin paljon, että alkaa olemaan vaikeasti hallittavissa. Etenkin 4K videoiden kehiin tulemisen jälkeen materiaali kasvaa valtavaa vauhtia.

Myös koska kiintolevyt ovat harmillisesti vanhenevaa sorttia, niin on alkanut kiinnostamaan LTO nauha tallennus, jos siitä saisi lisä tilaa ja luotettavuutta huomattavasti lisää. Valitettavasti hinnat ovat noissa nauha ratkaisuissa liian kalliita.

Myös on olemassa erilaisia RAID ratkaisuja joilla saisi luotettavuutta aikaan. Näistä ei kuitenkaan itsellä ole omakohtaista kokemusta.

Joten kuinka te hoidatte kasvavan materiaalin tallennuksen ja varmuuskopionnin? Millaisia ratkaisuja on editoinnin suhteen miltä kovalevyiltä/ssd:ltä materiaalia editoitte? Etenkin suuret tuotannot, joissa puhutaan kymmenistä teroista materiaalia olisi kiinnostava kuulla miten materiaalin tallennus ja editointi onnistuu?

Kim
Viestit: 3485
Liittynyt: 16.01.2005 11:57
Paikkakunta: Nurmijärvi

Viesti Kirjoittaja Kim » 05.12.2015 23:50

Eipä se valmiin editoidun matskun määrä ole mikään huikea kellään. Erkikkän ei voi ostaa niin paljon kovoa että voisi tallentaa ihan kaiken raakamatskun ikuisiksi ajoiksi. ELi ratkaisu ongelmaa on että seulotaan käyttis matsku ja editoidaan mitä aiotaan ja sitten loput roskiin.

Halsu
Viestit: 2284
Liittynyt: 04.11.2005 21:29
Paikkakunta: Helsinki
Viesti:

Viesti Kirjoittaja Halsu » 06.12.2015 12:13

Kim kirjoitti:Erkikkän ei voi ostaa niin paljon kovoa että voisi tallentaa ihan kaiken raakamatskun ikuisiksi ajoiksi.
Heh, itse asiassa just niin tää Erkki on tehnyt.

Mulla on tuossa pöydän alla backupkäytössä viisi NAS verkkolevyasemaa, yhteensä 24TB (RAID 5), ja kaapissa irtokovalevyjä saman verran vielä lisää... ja about kaikki koskaan kuvaamani orkkismatsku tallessa edelleen.

Kim
Viestit: 3485
Liittynyt: 16.01.2005 11:57
Paikkakunta: Nurmijärvi

Viesti Kirjoittaja Kim » 06.12.2015 13:31

Halsu kirjoitti:Heh, itse asiassa just niin tää Erkki on tehnyt.

Mulla on tuossa pöydän alla backupkäytössä viisi NAS verkkolevyasemaa, yhteensä 24TB (RAID 5), ja kaapissa irtokovalevyjä saman verran vielä lisää... ja about kaikki koskaan kuvaamani orkkismatsku tallessa edelleen.
Jäi sulta tuo "ikuisiksi ajoiksi" huomaamatta. Jossain vaiheessa tulee se seinä vastaan.

Halsu
Viestit: 2284
Liittynyt: 04.11.2005 21:29
Paikkakunta: Helsinki
Viesti:

Viesti Kirjoittaja Halsu » 07.12.2015 16:31

Kim kirjoitti:Jäi sulta tuo "ikuisiksi ajoiksi" huomaamatta. Jossain vaiheessa tulee se seinä vastaan.
Tuskin. Levykapasiteetti kasvaa eksponentiaalisesti, eikä kehitykselle näy loppua (olettaen että "ikuisiksi ajoiksi" tarkoittaa jotain ihmisiän kannalta järjellistä).

Kuva

Mulla on avaimenperänä pikkurillin kynnen kokoinen microSD -kortinlukija ja siinä 32 GB kortti. Kymmenen vuoden päästä mulla voi hyvinkin olla avaimenperässä 32 TB, ja kaikki tähän mennessä tekemäni duunit mukana taskussa. Ja kotona jotain exabytejä tai vastaavia uusiin datahaasteisiin vastaamassa.

seepukka
Viestit: 352
Liittynyt: 07.12.2015 20:43

Viesti Kirjoittaja seepukka » 07.12.2015 20:56

suurten datamäärien väliaikaissäilytykseen halvin ratkaisu on ostaa irtonaisia tietokoneen sisälle tarkoitettuja kovalevyjä ja niitä varten kovalevytelakka jossa on tarvittavat liitännät. Käytän töissä enimmäkseen tällä hetkellä 3TB sata-levyjä väliaikaiskopiointiin ja pitkäaikaissäilytystä varten materiaali siirretään LTO5-nauhoille jolloin kovalevyt vapautuvat uusiokäyttöön ja pitkäaikaissäilytys on kustannustehokasta.

Nauha on teraa kohti huomattavasti halvempi ratkaisu jos tarvittava laitteisto on jo valmiina ja nauhat säilyvät suht luotettavasti 10-20 vuotta verrattuna kovalevyihin jotka tarvitsevat säännöllistä huolenpitoa ja siirtelyä uudelle levylle ennen kuin vanha hajoaa käsiin.

järkevän nauhajärjestelmän kasaaminen maksaa halvimmillaan luokkaa 5000€ (erillinen tietokone, raid-pakka, ohjelma esim BRU PE, sas-kortti, nauha-asema, UPS-laite) . kone kannattaa olla erillinen koska asemat ovat riippuvaisia tasaisesta datavirrasta ja tekevät enemmän kirjoitusvirheitä ( = kuluttavat enemmän nauhaa) jos käytät hitaita levyjä koneessa tai jos teet koneella mitään muuta silloin kun nauhaa kirjoitetaan.

Nauha on silloin kätevä jos suurien datamäärien pitkäaikaistallennus veisi kohtuuttoman määrän kovalevyjä ja säännöllistä käsityötä levyjen tarkistuksessa puolen vuoden välein. esim. omassa työssä leffan valmistumisen jälkeen kaikki raakamateriaali jää pelkästään nauhoille (esim. just valmistuneessa leffassa noin 100TB raakamateriaalia) jolloin kovalevyt voidaan ottaa uusiokäyttöön ennen kuin niiden luotettava kestoikä menee umpeen ja lopuksi ne voidaan asentaa raid-pakkaan ja hyödyntää edittilevyinä :wink:

kovalevytelakka on myös usein nopeampi käyttää kuin sählätä ulkoisten kovalevyjen piuhojen kanssa ja lisäksi tiedonsiirto on usein nopeampaa. miinuksena varomaton käsittely voi rikkoa levyt helpommin

seepukka
Viestit: 352
Liittynyt: 07.12.2015 20:43

Viesti Kirjoittaja seepukka » 07.12.2015 22:10

käytännössä harva harrastaja kuvaa niin suuria materiaalimääriä että tarvitsisi omaa LTO-järjestelmää mihinkään, edes muutaman harrastajan kesken se ei ole kovin tarkoituksenmukainen hankinta.
Esim. Digivideoyhdistyksellä jos olisi pari LTO-yksikköä yhteiskäytössä niin silloin se voisi olla järkevää jolloin yksittäinen harrastaja voisi esim. vuoden välein kopioida omat materiaalinsa väliaikaiskovalevyiltä turvaan nauhoille.

Yksittäisen harrastajan kannattaa etsiä jokin taho jolla on jo yksikkö käytössä (LTO-5 ja LTO-6 ovat hyviä) ja järjestää oman materiaalin siirto jollain könttäsummalla sitten kun sitä on kertynyt tarpeeksi (käytännössä videomateriaalille voi laskea turvarajojen kanssa suunnilleen esim. 1.4TB materiaalia per LTO5-nauha riippuen yksiköstä jolla tehdään. hardwarepakkaus ei videomateriaalilla käytännössä auta yhtään) . nauhat on tehokkainta tehdä niin että esim. BRU:lla ajetaan mahdollisimman iso arkisto sisään jolloin saadaan täytettyä kaikki paitsi viimeinen nauha aivan täyteen, eli mahdollisimman paljon kerralla.
Arkiston katalogitiedostot menevät hyvin näppärästi esim. sähköpostiliitteinä ja niitä voi selata asentamalla BRUn demoversion jolloin palautettavat tiedostot voi etsiä etukäteen millä tahansa koneella ennen kuin tarvitsee hakea varsinaista nauhaa arkistoista.

väliaikaissäilytykseen suosittelen tosiaan irtonaisia kovalevyjä ja telakkaa, LTO on sopiva lähinnä pitkäaikaissäilytykseen suurilla datamäärillä sekä automaattiseen varmuuskopiointiin yrityskäytössä.

LTFS:n ei muuten kannata luottaa yhtään, se on open source -pohjainen systeemi eikä sen yhteensopivuutta minkään järjestelmän kanssa voi taata edes muutaman vuoden aikajänteellä. Eli jos teet LTFS-nauhan niin voi olla ettet saa sitä enää parin vuoden päästä auki koska joku on sorkkinut ltfs-spekseissä kohtia x, y tai z. Lisäksi se ei tue spannausta eli jos arkisto ei mahdu yhdelle nauhalle niin se pitää pilkkoa manuaalisesti sopivan kokoisiin osiin

jorma k
Viestit: 3373
Liittynyt: 16.01.2005 11:57

Viesti Kirjoittaja jorma k » 08.12.2015 01:15

Halsu kirjoitti: Mulla on avaimenperänä pikkurillin kynnen kokoinen microSD -kortinlukija ja siinä 32 GB kortti.
Muistelen, että microSD sais jo 128GB , itselläni on 64GB microSD kortti.
Kymmenen vuoden päästä mulla voi hyvinkin olla avaimenperässä 32 TB, ja kaikki tähän mennessä tekemäni duunit mukana taskussa. Ja kotona jotain exabytejä tai vastaavia uusiin datahaasteisiin vastaamassa.
Joo eiköhän sitä levytilaa löydy tulevaisuudessakin, mutta miten ne tiedostot löytyy järkevässä ajassa. Miten olet arkistoinnin järjestänyt? Jotain avainsanojako vaiko sekaisin aikajärjestyksessä?

seepukka
Viestit: 352
Liittynyt: 07.12.2015 20:43

Viesti Kirjoittaja seepukka » 08.12.2015 02:46

tilasin kiinasta kokeeksi 256GB microsd-kortteja, eivät ole kovin hyvälaatuisia tai nopeita mutta tilaa on kyllä se 256 :D
olen testannut niitä ei-kiireellisten materiaalien postittamisessa, joskus dataa voi kadota itsekseen mutta muuten ok :roll:

Halsu
Viestit: 2284
Liittynyt: 04.11.2005 21:29
Paikkakunta: Helsinki
Viesti:

Viesti Kirjoittaja Halsu » 08.12.2015 10:48

jorma k kirjoitti:Muistelen, että microSD sais jo 128GB , itselläni on 64GB microSD kortti.
On mullakin myös 64GB kortti, mutta se ei oo just nyt taskussa vaan GoProssa ;-)

Joo eiköhän sitä levytilaa löydy tulevaisuudessakin, mutta miten ne tiedostot löytyy järkevässä ajassa. Miten olet arkistoinnin järjestänyt? Jotain avainsanojako vaiko sekaisin aikajärjestyksessä?
Käytän ihan normaalia windowsin tiedostonhallintaa. Näin:

1.) Kaikki työtiedostot ovat yhdessä kansiossa jossa ei ole muuta tauhkaa.

2.) Sen alla on alikansiot AI ja JZ, joiden alla asiakkaat (tuotantoyhtiöt) jaettuna aakkosittain. Jako kahteen pääkansioon (tai kovalevyyn) on perua siitä että jossain vaiheessa kaikki työn alla olleet eivät mahtuneet yhdelle levylle - noudatan samaa jakoa myös backuplevyissä.

3.) Kunkin tuotantoyhtiöasiakkaan alla on omina kansioinaan loppuasiakkaat (siis esim. yritys tai brändi jolle tuotanto on tehty).

4.) Näiden alla on kukin yksittäinen tuotanto omana kansionaan.

5.) Ja tietty kunkin tuotannon materiaalit on jaettu järkevästi vielä kansioihinsa projektin sisällä - videot omaansa, kuvat omaansa, äänet omaansa ja niin edespäin.

Yllä oleva optimi ei toki aina toteudu, mutta riittävän hyvin kuitenkin. Melkein mikä vain tarvitsemani tiedosto löytyy muutamassa sekunnissa, kunhan vain muistan mitä tuotantoa varten k.o. materiaali on tehty.

Omia valokuvia ja kotivideoita varten mulla on hieman toisenlainen järjestelmä. Kaikki kamat on kerätty yhteen "valokuvat" -kansioon, ja sen alla kansioihin jotka on nimetty kuvauspäivän JA sisällön mukaan. Siis esimerkiksi:

20150724_Tvarminne_Kaskaat
20150726_Ulliksella
20150803_Vesitorni

...jne. Tuollainen yhden tai kahden sanan kuvailu yhdessä aikaleiman kanssa riittää jo siihen että tarvittu kama löytyy riittävän helposti.

Rantarosvo
Viestit: 600
Liittynyt: 27.01.2013 21:24
Paikkakunta: Lappeenranta

Viesti Kirjoittaja Rantarosvo » 08.12.2015 13:19

Noissa muistikorteissa on todella paljon piraattituotteita, joten kiinasta tilaaminen ei aina kannata. Nopeusluokka ei usein pidä paikkaansa ja 32Gb kortille saattaa mahtua 2Gb. Samsung taitaa olla eniten kopsattuja merkkejä.

Kannattaa muistaa myös se, että kaikki tietokoneet ei pysty isoja(+32Gb) kortteja lukemaan. Itelläni esim. on näin ja ei auttanu vaikka tilasin uuden kortinlukijan jonka tiedoissa luki että korttini on tuettujen joukossa. Oma koneeni tunnistaa kortin mutta ei näytä sisältöä ja win7 kone ei edes tunnista korttia.

Ruotsista olen Samsungin evo kortteja tilannu. Kortit on aitoja ja hintataso ihan hyvä. Webhallen on vähän samantyylinen ko verkkokauppa.com suomessa mutta halvemmat hinnat. Ruotsin suurimpia ketjuja tältä saralta. Myymälöitäkin löytyy jos sattuu oikeelle paikkakunnalle asiaa.

http://www.webhallen.com/fi-fi/tietokon ... sdhc-sdxc/

jorma k
Viestit: 3373
Liittynyt: 16.01.2005 11:57

Viesti Kirjoittaja jorma k » 08.12.2015 16:12

Halsu kirjoitti: Yllä oleva optimi ei toki aina toteudu, mutta riittävän hyvin kuitenkin. Melkein mikä vain tarvitsemani tiedosto löytyy muutamassa sekunnissa, kunhan vain muistan mitä tuotantoa varten k.o. materiaali on tehty.

Omia valokuvia ja kotivideoita varten mulla on hieman toisenlainen järjestelmä. Kaikki kamat on kerätty yhteen "valokuvat" -kansioon, ja sen alla kansioihin jotka on nimetty kuvauspäivän JA sisällön mukaan. Siis esimerkiksi:

20150724_Tvarminne_Kaskaat
20150726_Ulliksella
20150803_Vesitorni

...jne. Tuollainen yhden tai kahden sanan kuvailu yhdessä aikaleiman kanssa riittää jo siihen että tarvittu kama löytyy riittävän helposti.
Joo minäkin yritän nykyisin kuvata kaikki leikkeet muutamalla sanalla (helpottaa myös editointia) ja muistikortista pyrin tekemään karkean sisällysluettelon. Mutta ei se aivan ongelmatonta ole, varsinkaan noiden lentokonevideoiden kanssa, varsinkin alkuperäiskorteilla on niin paljon sutta ja segundaa (RC-videot erityten). :-(

Niitä kun yrittää muistella mitä muutama vuosi sitten kuvasi. Ikääkun tulee lisää, niin epäilen että muistikin heikkenee.

Rantarosvo
Viestit: 600
Liittynyt: 27.01.2013 21:24
Paikkakunta: Lappeenranta

Viesti Kirjoittaja Rantarosvo » 09.12.2015 12:03

On muuten jännä, että valokuvien arkistointiohjelmia löytyy, mutta vastaavaa ohjelmaa videoiden arkistointiin en oo nähny. Ite käytän valokuvilla Digikam ohjelmaa. Sillä jonkunlainen videoidenkin arkistointi sujuu, mut ei yhtähyvin kun valokuvien. Lisäks en halua et valokuvat ja videot on sekasin.

Mie en reissun päällä tyhjennä muistikortteja ollenkaan, vaan niitä on niin monta että pärjään. Kuvaan 32Gb korteille, joten jos kortti hajoaa, ei mee kaikki materiaali kerralla. Kotona siirrän videot koneelle ja katon klipit läpi. Kattomisen yhteydessä nimeän ne uudestaan ja teen listan niistä. Tän homman jälkeen teen varmuuskopion ja tyhjennän muistikortit. Sopii näin harrastekuvaajalle mikä ei mielettömästi kuvaa.

tany
Viestit: 9
Liittynyt: 01.01.2016 13:50

Viesti Kirjoittaja tany » 12.02.2016 19:35

Kiitos vinkistä, tilasin tuolta webhallenista 32 GB muistikortin, kotiin toimitettuna 1/3 halvempi kuin paikalliskaupasta noudettuna.

Vastaa Viestiin