Comanda scp pentru copierea a multor fisiere mici este ft ineficienta. Ca solutie vine comanda ssh+tar.
Daca informatia e pe pcul current si vrem s-o impingem pe un pc distant:
tar -cf - /adresa/dosar/ | ssh user@pc "tar -xf - -C ~/destinatie"
Daca informatia e pe pcul distant, o recuperam si o scriem:
ssh user@pc "tar -cf - /home/path/bla" | tar -xf - -C ~/destinatie
Astfel transferul va merge continu, scp face intreruperi intre transferul fiecarui fisier.
Solutia cea mai simpla, rsync.
Pentru backupuri incrementale utilizati tar.
Apoi mai este rsnapshot un fel de emulare la snapshoturi, dar inca nu prea l-am testat, un coleg la lucru e ft fericit de acest soft.
Dar aici va propun o solutie „hand made”, care am inventat-o cind ma jucam in nisip si nu prea stiam de solutiile deja facut mai sus.
Vreau sa va arat cit e de cool comanda unix uniq -u
Asa deci sa presupunem ca avem in dir1.txt lista de fisiere dintr-un dosar si dir2.txt din altul.
Vrem sa aflam fisierele care exista numai intr-un dosar.
sort dir1.txt dir2.txt | uniq -u
Ugum, si asta e tot, in rezultat veti avea doar fisierele unice ;o)
PDF to PNG:
Copiem Ghostscript
http://pages.cs.wisc.edu/~ghost/doc/GPL/gpl900.htm
Pentru PNG am gasit aici exemple http://pages.cs.wisc.edu/~ghost/doc/cvs/Devices.htm#PNG
Daca W$ e scrieti ceva de genul „C:\Program Files\gs\gs9.00\bin\gswin32.exe” sau doar gs daca e *unix
gs -dSAFER -dBATCH -dNOPAUSE -sDEVICE=png16m -sOutputFile=careva_nume%d.png "D:\calea spre\fisier.pdf"
In dosarul curent veti avea cite o imagine png pentru fiecare foaie.
PNG to PDF:
Dupa ce prelucrati PNGurile puteti reface PDF-ul cu imagemagick si faceti
convert *.png outputfile.pdf
(pu cei cu windows, instalati cygwin, la instalare alegeti pachetele imagemagick si ghostscript, apoi porniti consola si scrieti convert …)
Daca cumva vi se intrerupe procesul la mijloc (s-o terminat spatiul? shih..) adaugati optiunea -dFirstPage=85 puteti adauga -dLastPage=1 daca doriti
So, de fiecare data uiti ordinea parametrilor pentru aceasta super comanda ? Good news, nu esti singurul. Pe reddit recent a aparut o tema si lumea si-a partajat tehnicile de memorare.
cp existing new
ln -s existing new
ln -s real fakeAsa deci, cu aceste 2 idei n-ar mai trebui sa gresesti niciodata ordinea parametrilor. Traiasca constiinta colectiva de pe internet si reddit.
Sa zicem ca aveti multe arhive (tar.gz), si doriti sa le dezarhivati dar cite vreo 4 concomitent.
Deci recuperam lista de fisiere (sa zicem cu ls) si apoi ii zicem lu xargs sa ea cite un fisier (-n 1) si sa execute 4 comenzi tar -xzf concomitent (-P 4).
In final avem asta:
ls | xargs -n 1 -P 4 tar -xzf
Dar paralelizarea asta va fi cea mai efectiva cind locul lent (bottleneck) va fi procesorul si cind veti avea mai multe procesoare. Deoarece „by default” tar si alte comenzi utilizeaza un singur procesor. Dar daca sunt pornite mai multe concomitent, vor utiliza mai multe procesoare.
Apropo, cind aveti de comprimat un singur fisier mare (in asa caz xargs -P e inutil deoarece doar o singura comanda poate fi pornita), este pbzip2 care poate utiliza mai multe procesoare.
Alt fel, e cam idiot sa ai 8 procesoare virtuale (coreuri sau whatever), si sa utilizezi numai 1, isn’t it ?
In 2011 hai sa paralelizam.
HOPE(Hackers on Planet Earth) e o conferinta organizata de revista 2600: The Hacker Quarterly in orasul New York, intr-un hotel (care risca sa fie demolat, dar se pare ca acest hotel avind preturi bune, multi doresc ca el sa ramana, caci se pare ca in New York nu-s multe hoteluri ieftine).
O revista fondata in 1984, unul din co-fondatori fiind Eric Corley (aka Emmanuel Goldstein, yeh, asa personaj exista in megafilmul THe Hackers deoarece Corley a participat la crearea lui;), pina in ziua de astazi e ft implicat(decss,suporter ft activ a lui Kevin Mitnik cind acela a fost arestat, chiar si film a facut). Deasemenea duce un show saptaminal Off THe hook care se poate de ascultat online. „He has been part of the hacker community since the late ’70s.” Eventual probabil e cea mai autentica conferinta caci organizatorii is cei care au stat la baza initierii miscarii ;)
Multă informaţie suculentă ;) Dacă vedeţi ceva interesant, spuneţi.
Pina cind pe youtube m-am uitat la o bucata din prezentarea despre wikleaks prezentata de un american care e ft nemultumit de faptul ca banii sai is utilizati ca sa impuste in jurnalisti din helicopter (una din cele mai socante leaksuri)..
Inainte de somn ma uit la „Hey, Don’t Call That Guy A Noob – Toward a More Welcoming Hacker Community”, yeh, si eu cumva aveam intentia sa citesc cartele telefonice prin floppy drive (nu puteam scoate cartela, tehnicianu care a venit sa repare era mort de ris), eventual toti la inceput eram noobi :)
CUm mai vad ceva, mai scriu ;)
– Updated 21 sept
Am gasit videouri de la cea mai mare conferinta de securitate Blackhat 2010 USA
http://good.net/dl/bd/blackhat-2010-usa-video/ sessionlisting.pdf
Multă multă informaţie interesantă, n-am idee cind o sa am timp sa ma uit la tot, dar la cele mai interesante tre de uitat ;)
Citeva la care as vrea sa ma uit:
I4 Black Ops of Fundamental Defense: Web Edition / Dan Kaminsky
CW1 Drivespoit: Circumventing Automated and Manual Detection of Browser Exploits / Wayne Huang, Jack Yu
CV2 Secure Use of Cloud Storage / Grant Bughe
CV4 Virt-ICE: Next Generation Debugger for Malware Analysis / Nguyen Anh Quynh, Kuniyasu Suzaki
MF2 Malware Attribution: Tracking Cyber Spies and Digital Criminals / Greg Hoglund
ME2 Panel: Policy, Privacy, Deterrence and Cyber War / Panel
BP4 Need a Hug? I’m Secure / Steve Ocepek, Charles Henderson
I1 The Emperor Has No Clothes: Insecurities in Security Infrastructure / Ben Feinstein, Jeff Jarmoc, Dan King
I3 SCADA and ICS for Security Experts: How to Avoid Cyberdouchery / James Arlen
Cum s-ar spune în engleză „I figured out that I should write this”, ceea si am facut, am descarcat bufferele ;)
Referințe culturale. Am scris acum asa rapid caci tot ma gindeam de ceva timp ca ar trebui sa scriu.
Făceți și voi, voi cit și eu ;)
Așa deci o cunoscută a avut un interviu (vreo 6 min) la o emisiune (vreo ora), și video-ul FLV trebuia tăiat ca să rămînă doar interviul.
Cel mai simplu ar fi fost de convertat flv-ul în în format AVI și apoi cu virtualdub de tăiat (search: convert flv to avi, virtualdub how to cut video) ceea ce ar putea afecta calitatea finală, probabil ft nesemnificativ (dar nu am verificat).
Problema flv-ului e că el nu avea de loc keyframe-uri, astfel oriunde nu ai tăia, începutul videoului e cu defect, un ecran cafeniu vreo 4 secunde.
Este acest program movika care utilizeaza alte programe de linie de comanda (flvtool2) care poate repara si insera acele keyframe-uri.
Eu am facut in felul urmator, am taiat cu flvparser si apoi am deschis in Movika care mi-a propus sa repare FLV-ul. Atentie procesul poate dura mai multe zeci de minute.
Pentru cei cu nervii moi, vă recomand prima soluție ; )
Sa zicem ca vreti sa creati un GIF de dimensiuni ft mari, pentru un joke, dimensiunea maxima a unui GIF e 65535×65535 (deoarece is numai 2 bytes pe lungime si 2 latime), evident daca incercati sa faceti asta in photoshop, maxim veti putea pune 30000pixeli (limita artificiala?) si el chiar si pentru o imagine fara nimic va dori să aloce 2.51GB de memorie, sau este altă metodă mai true, să editați direct GIF-ul.
Așa deci, găsim descrierea formatului GIF luăm un careva editor hex.
În descrierea formatului gasiti „Image Width” si „Image Height” asta bytes-ii care trebuiesc modificati, sau citindu-i puteti afla care e dimensiunea GIF-ului ;)
„Image Width” se afla la 4 bytes distanta de Image Separator (0x2c) care se afla undeva dupa byte-ul 13 (subliniat cu mai jos).
Iata subliniat cu verde, acum pur si simplu inlocuiti bytesii, si gata.
Apropo atrageti atentie la descrierea formatului „Byte Order: Little-endian”, asta inseamna ca „low-order byte of the number is stored in memory at the lowest address, and the high-order byte at the highest address.”
Adica pe imagine 9a5a ca sa aflati in decimal, tre de inversat bytesii si de convertat , asa deci imaginea din screenshot are dimensiunea 23194×23194.
Cu părere de rău interfaţa Picasa arată doar data dar nu şi ora fotografierii (care se află în fiecare fotografie, într-o secţiune specială EXIF, care Picasa n-o păstrează în fotografii, dar e totuşi accesibilă prin apelarea unor adrese speciale).
Totuşi prin API-ul disponibil, este posibil obţinerea orei.
P/u aceasta, utilizaţi acestă adresă:
http://picasaweb.google.com/data/feed/api/user/Nume_Utilizator/album/Nume_Album?kind=photo
Apoi deschideţi raspunsul într-un editor de text, căutaţi fotografia dorită, căutaţi „<exif:time>”, cifra din interiorul acestui tag reprezinta nr de milisecunde de la 1 ianuarie 1970 UTC (UTC e GMT 0 şi „UTC does not change with a change of seasons” adică nu ea consideraţie schimbarea orei de iarnă, vară).
Ştergeţi ultimile 3 zero-uri, şi puteţi transla cu acest convertor în dată normală.
ref: [1]
freejerk’s blog
kulldox’s blog Studenţii Moldoveni în Franţa Mishunika’s blog
Adrenalin\'s Blog 