Użycie kompresji binarnej opcji

Mam formularz internetowy, którego zawartość chciałbym wygenerować krótką reprezentację w Base64. Formularz zawiera między innymi listę 264 wartości binarnych, z których większa część będzie równa 0 w dowolnym czasie. (Reprezentują regiony na mapie geograficznej). Nawet w Base64 ta 264-bitowa liczba generuje długi, intrygujący ciąg. Chcę zaimplementować kodowanie run-length, tak wydajnie, jak to tylko możliwe. Czy możesz mi pomóc z tym Ive googled binarne RLE, ale nie znalazłem nic przydatnego. To, co wypróbowałem tak daleko - działający RLE na binarnym łańcuchu przy użyciu liczb dziesiętnych i A jako separator oznaczający zmianę między 0 a 1, a następnie przekształcenie wyniku z podstawy 11 do podstawy 64. Na przykład: która z kolei staje się Lepsza, ale Nadal nie mogę pomóc, ale wątpię, czy robię coś złego - używanie cyfry A jako separatora jest najlepszym sposobem na zrobienie tego dzięki burzy. Skróciłem skompresowany ciąg jeszcze bardziej. Jak wspomniałem w komentarzach, rzeczywiste przypadki użycia generalnie skutkowałyby jeszcze krótszym ciągiem znaków. Ponieważ używasz bitów kodujących, prawdopodobnie chcesz użyć opartego na bitach RLE zamiast bitu opartego na bajtach. W tym kontekście powinieneś rozważyć kodowanie gamma Elias (lub jakiś jego wariant), aby efektywnie zakodować długości przebiegu. Rozsądnym pierwszym przybliżeniem dla twojego formatu kodowania może być: pierwszy bit taki sam jak pierwszy bit nieskompresowanego ciągu znaków (aby ustawić początkową polaryzację) pozostałe bity: zakodowane w Elias długości kolejnych bitów (na przemian 1 i 0) Ponieważ wiesz, ile bitów znajdują się w twoim nieskompresowanym łańcuchu, nie potrzebujesz kodu zakończenia, możesz po prostu dodać wszelkie niezbędne dopełnienia binarne jako dowolne bity. Zwróć uwagę, że kompresja działa zawsze, aby rozwinąć ciąg bitów, jeśli się tym martwisz, możesz dodać kolejny początkowy bit, aby wskazać, czy dane są w formacie skompresowanym lub nieskompresowanym, ograniczając obciążenie kompresji do 1-bitowego. otrzymujemy plik lub wiadomość źródłową, która ma zbyt wiele zbędnych znaków. Na przykład, przeciętny plik MS Word zawiera zbyt wiele kolejnych znaków w bajtach 255 i NULL. Czy możliwe jest reprezentowanie tych kolejnych bajtów lub przebiegów w bardziej zwartej formie? Rzeczywiście, opracowano technikę kompresji, aby rozwiązać ten konkretny problem. Nazywa się to kodowaniem Run-Length lub RLE. Jego nazwa tak dokładnie opisuje proces, ponieważ koduje ciąg bajtów do następującej 2-bajtowej postaci: długość, z długością reprezentującą liczbę przebiegów jednego bajtu i co oznacza, że ​​możemy zakodować aż 255 kolejnych przebiegów. Ta technika jest najprostsza w technikach kodowania run-length. Jako przykład rozważ następujące źródło danych lub ciąg 24 liter: Input String. abbbbbbbbbbefffgggghhijk Aby zakodować powyższy ciąg, dane wyjściowe byłyby,,,,,,,,, i. Całkowita skompresowana forma dla tego źródła to tylko 18 bajtów. To pozwala nam zaoszczędzić dokładnie 6 bajtów, ze współczynnikiem kompresji równym 25. Technicznie, lepszy bajt długości może oznaczać, ilu się podąża, abyśmy mogli nagrać maksymalnie 256 bajtów: flagę bajtową plus możliwe 255 przebiegów. Tak więc litera a byłaby zakodowana jako zamiast. Jedną z wad tego typu RLE jest to, że jeśli istnieje tylko jeden bajt do zakodowania, trzeba dodać dodatkowy bajt dla długości bajtu, jak ten z poprzedniego przykładu, kiedy zakodowaliśmy litery a i e. Dobrze jest założyć, że istnieją tylko niektóre sekcje źródła danych, które mają te przebiegi. Chociaż moglibyśmy zakodować tylko 256 przebiegów jednego bajtu, kolejne bajty ponad 256 często nie występują w większości plików, co działa doskonale w przypadku plików z wystarczającą ilością nadmiarowych znaków lub bajtów. Możemy poprawić tę technikę, ograniczając kod długości do zaledwie 4 bitów. Przy takim ustawieniu możemy kodować maksymalnie 16 przebiegów bajtów, co jest wystarczające do prostej kompresji, ponieważ rzeczywiste pliki zwykle nie zawierają zbyt wielu zbędnych bajtów. Pliki tekstowe. Jednym ze sposobów ulepszenia metody bajtowej jest obszar kompresji plików tekstowych. Biorąc pod uwagę naturę plików tekstowych (ASCII), w których poszczególne bajty mogą być faktycznie zakodowane tylko w 7 bitach (tj. Bit-7 lub ósmy bit, wszystkie bajty w pliku tekstowym to 0), możemy zatem użyć bitów 7 jako sygnał do dekodera, jeśli bajt jest powtarzany lub nie. Jeśli istnieje ciąg bajtów, ustawimy bajty bit-7 na 1. Tak więc, jeśli dekoder widzi bajt większy niż 127, oznacza to tylko, że istnieje ciąg bajtów i dekoder natychmiast napisze tyle bajtów. Pliki binarne. Inną sprytną formą kodowania długości kodu jest kodowanie wtedy i tylko wtedy, gdy jest bieg. Oznacza to, że nie koduj dodatkowego bajtu dla pojedynczego niepotrzebnego bajtu: koduj tylko te zbędne bajty. Odbywa się to poprzez dwukodowanie bajtu, a następnie kodowanie długości bajtu: długość. W ten sposób nie pobieramy bajtu długości dla tych bajtów, które występują tylko niezależnie w strumieniu danych. Tak więc w fazie dekompresji obecność dwubitowego informuje nas o tym, że jest dokładnie jeden bajt. Oznacza to, że istnieje 10 przebiegów bajtu b. Wynika z tego, że powinniśmy napisać następne osiem bajtów po dwóch. Poprzedni przykład zostanie zakodowany w następujący sposób: To kodowanie wymaga jedynie 17 bajtów na wyjściu. Zauważ, że litery a i e są teraz zakodowane tak jak są, z pojedynczymi bajtami. W przypadku bardzo dużych plików ta technika jest bardziej wydajna niż technika o długości bajtów. Ta metoda może rejestrować maksymalnie 257 kolejnych bajtów (2 (0..255)). Inną wadą, którą ponosimy z tej nowej techniki, jest jednak dodatkowy kodowany symbol. Jeśli istnieją tylko dwa przebiegi symbolu, potrzebowalibyśmy dodatkowego bajtu, kodującego przebieg z trzema bajtami zamiast tylko dwoma bajtami. Zasadniczo jest to jednak bardziej skuteczne, gdy patrzymy na dane jako jeden duży plik, który oczywiście może mieć szereg identycznych bajtów. RLE. ZIP - zawiera C implementacji kodowania przebiegu dla plików tekstowych i binarnych. Tak CHAR określa, że ​​obserwacje w nowo utworzonym zbiorze danych wyjściowych SAS są skompresowane (rekordy o zmiennej długości). SAS używa RLE (Run Length Encoding) do kompresji obserwacji. Ten algorytm kompresji jest lepszy w przypadku danych znakowych. NIE określa, że ​​obserwacje w nowo utworzonym zbiorze danych SAS są nieskompresowane (rekordy o stałej długości). BINARY określa, że ​​obserwacje w nowo utworzonym zbiorze danych wyjściowych SAS są kompresowane. SAS używa RDC (kompresja danych Rossa) dla tego ustawienia. Ta metoda jest bardzo skuteczna do kompresowania średnich i dużych (kilkaset bajtów lub większych) bloków danych binarnych (czyli zmiennych numerycznych). Ponieważ funkcja kompresji działa na pojedynczym rekordzie na raz, długość rekordu musi wynosić kilkaset bajtów lub więcej dla efektywnej kompresji. Określ COMPRESS tylko dla zestawów danych wyjściowych, to jest zestawów danych wymienionych w instrukcji DATA kroku DATA lub opcji OUT procedury SAS. Typ rekordu staje się trwałym atrybutem zbioru danych. Aby zdekompresować obserwacje, użyj kroku DATA, aby skopiować zestaw danych i użyj polecenia COMPRESSNO dla nowego zestawu danych. Gdy COMPRESSYESCHAR, SAS kompresuje rozmiar zestawu danych z kodowaniem run-length. Kodowanie w czasie rzeczywistym kompresuje zestaw danych poprzez redukowanie powtarzających się po sobie znaków do dwu - lub trzy-bajtowych reprezentacji. Po kompresji COMPRESSBINARY kompresja SAS łączy kodowanie ciągłe i kompresję okna przesuwnego, aby skompresować zestaw danych. Użyj SASToolkit, aby określić własną metodę kompresji. Uwaga: Kompresja obserwacji nie jest obsługiwana przez wszystkie silniki. W wersji 8 zestawy danych utworzone za pomocą silników dostępnych we wcześniejszych wersjach SAS, takich jak silniki TAPE i XPORT, są nadal dostępne dla tych silników. Dlatego też, jeśli kompresja była niedostępna dla tych silników, nie jest również dostępna, gdy uzyskujesz dostęp do tych zestawów danych w wersji 8. Korzyści uzyskane dzięki użyciu zestawu danych zestawu COMPRESS obejmują: zmniejszone wymagania dotyczące pamięci dla zestawu danych, mniej wymaganych operacji wejścia i wyjścia do odczytu lub zapisu do zestawu danych podczas przetwarzania. Wady korzystania z opcji zestawu danych COMPRESS obejmują: mogą w ogóle nie kompresować (mogą w rzeczywistości zwiększyć rozmiar pliku), ale jest dostarczany komunikat z informacją o ilości kompresji, potrzebne są większe zasoby procesora. Domyślnie nowe obserwacje są dołączane do istniejących skompresowanych zestawów danych. Jeśli chcesz śledzić i wykorzystywać wolne miejsce, użyj opcji REUSE zestaw danych podczas tworzenia skompresowanego zestawu danych SAS. REUSEYES każe SAS napisać nowe obserwacje do przestrzeni, która zostaje uwolniona po usunięciu innych obserwacji. Opcja zestawu danych COMPRESS zastępuje opcję systemu COMPRESS. PERFORMANCE UWAGA: Użycie tej opcji wydłuża czas procesora na odczyt zbioru danych ze względu na obciążenie związane z dekompresją rekordu. Ponadto niektóre silniki nie obsługują kompresji obserwacji. Podczas korzystania z ustawień opcji COMPRESSYES i REUSEYES obserwacje nie mogą być adresowane za pomocą numeru obserwacji. Zauważ, że REUSEYES ma pierwszeństwo przed PUNKTOBSYES. Na przykład: wyniki w zestawie danych, który ma POINTOBSNO. Ponieważ funkcja POINTOBSYES jest domyślna podczas kompresji, funkcja REUSEYES powoduje, że parametr POINTOBS zmienia się na NIE.