Sztuczna inteligencja jest obecnie jedną z najdynamiczniej rozwijających się dziedzin w sektorze IT. Niedawno pisaliśmy o tym, jak może ona poprawić jakość kompresji plików graficznych. Okazuje się jednak, że nie tylko AI może poprawić kompresję, ale też kompresja danych może znacząco poprawić działanie sztucznej inteligencji.

Kluczem okazuje się tutaj zmniejszenie ilości pamięci wykorzystywanej przez sieci neuronowe. Obecnie bowiem często pojemność pamięci jest czynnikiem ograniczającym ilość sztucznych neuronów symulowanych przez jeden układ GPGPU. Zawsze można używać do symulacji większej ilości kart, jednak w praktyce komunikacja pomiędzy nimi okazuje się wtedy wąskim gardłem.

Technologię pozwalająca na ograniczenie ilości pamięci wykorzystywanej przez sieci neuronowe opracowała japońska firma Fujitsu. Rozwiązanie po raz pierwszy zapowiedziano na odbywającej się we wrześniu we włoskim Salerno konferencji 2016 IEEE International Workshop on Machine Learning for Signal Processing.

W sieciach neuronowych każda warstwa przetwarza swoje „dane pośrednie”, natomiast „dane ważone” opisują siłę połączenia pomiędzy danymi wejściowymi i wyjściowymi. Dla obu grup liczone są dane błędów. Okazuje się, że nie trzeba ich jednak przechowywać z pamięci, ponieważ mogą być odtwarzane na bieżąco, dzięki czemu udaje się zaoszczędzić nawet… 40% pojemności pamięci. Dzięki temu na jednym układzie graficznym symulować będzie można znacznie więcej sztucznych neuronów.

źródło: spectrum.ieee.org

    Spodobał Ci się ten artykuł? Podaj dalej!