16
Siema, dzidki chciałbym wam pokazać fajny programik do lokalnego tworzenia i tłumaczenia napisów do filmów i filmików czy nagrań audio, który znalazłem jakiś czas temu, jako że wszystko może się odbywać u was lokalnie to nigdzie danych tych nie udostępnicie.
Program nazywa się Subtitle Edit do pobrania z github: https://github.com/SubtitleEdit/subtitleedit
Teraz krok po kroku jak go użyć:
Pobieracie program z githuba: https://github.com/SubtitleEdit/subtitleedit/releases w zależności od waszego systemu(Windows, macOS czy Linux).
instalujecie lub rozpakowujecie go i uruchamiacie, powinno wam wyskoczyć tego tupu okno(w moim przypadku wersja 5.4,0-beta1)
Program nazywa się Subtitle Edit do pobrania z github: https://github.com/SubtitleEdit/subtitleedit
Teraz krok po kroku jak go użyć:
Pobieracie program z githuba: https://github.com/SubtitleEdit/subtitleedit/releases w zależności od waszego systemu(Windows, macOS czy Linux).
instalujecie lub rozpakowujecie go i uruchamiacie, powinno wam wyskoczyć tego tupu okno(w moim przypadku wersja 5.4,0-beta1)
Wybieracie zakładkę video i następnie open video(tak samo otwieramy nagrania audio) i wybieracie interesujący was plik.
Gdy już plik mamy załadowany, do stworzenia automatycznych napisów wybieramy speech to text.
W oknie wybieramy silnik, czy używamy procesora czy karty graficznej, model który będzie przetwarzał głos na napisy oraz język w jakim jest audio(można ustawić autodetect ale czasem się myli)(nieraz mimo błędnie wybranego i tak poprawnie to zrobi), oraz można od razu wybrać opcję tłumaczenia napisów na język angielski.
W opcjach post processing możemy dodatkowo ustawić podział zbyt długich linii czy łączenie zbyt krótkich
Osobiście wybieram silnik whisper.cpp(domyślny) i model large-v3-turbo.
W oknie wybieramy silnik, czy używamy procesora czy karty graficznej, model który będzie przetwarzał głos na napisy oraz język w jakim jest audio(można ustawić autodetect ale czasem się myli)(nieraz mimo błędnie wybranego i tak poprawnie to zrobi), oraz można od razu wybrać opcję tłumaczenia napisów na język angielski.
W opcjach post processing możemy dodatkowo ustawić podział zbyt długich linii czy łączenie zbyt krótkich
Osobiście wybieram silnik whisper.cpp(domyślny) i model large-v3-turbo.
Następnie warto wejść w opcje zaawansowane i w linii komend wpisać: -mc 0
Wtedy teoretycznie trochę może trochę gubić kontekst całego wypowiadanego tekstu, ale w innym przypadku zdarza się że po około 10-15 minutach(trwania audio) model się zawiesza i zaczyna powtarzać ostatnią rozpoznaną linijkę.
Aby model lepiej rozpoznał co jest mówione można także w linii dopisać --prompt "Tutaj opisz o czym jest mówione w filmie lub czym jest nagranie"
Klikamy Transcribe i pojawiają nam się komunikaty czy chcemy pobrać silnik a następnie model, klikamy oczywiście w obu przypadkach Yes.
Wtedy teoretycznie trochę może trochę gubić kontekst całego wypowiadanego tekstu, ale w innym przypadku zdarza się że po około 10-15 minutach(trwania audio) model się zawiesza i zaczyna powtarzać ostatnią rozpoznaną linijkę.
Aby model lepiej rozpoznał co jest mówione można także w linii dopisać --prompt "Tutaj opisz o czym jest mówione w filmie lub czym jest nagranie"
Klikamy Transcribe i pojawiają nam się komunikaty czy chcemy pobrać silnik a następnie model, klikamy oczywiście w obu przypadkach Yes.
Gdy model się już pobierze, to się załaduje do pamięci i rozpocznie nam transkrypcję.
Warto też w opcjach zaawansowanych kliknąć Enable VAD, będą wtedy omijane fragmenty z niewykrytym audio, co przy dłuższych nagraniach może zaoszczędzić sporo czasu(opcja zadziała dopiero po pierwszym ściągnięciu silnika i modelu).
Warto też w opcjach zaawansowanych kliknąć Enable VAD, będą wtedy omijane fragmenty z niewykrytym audio, co przy dłuższych nagraniach może zaoszczędzić sporo czasu(opcja zadziała dopiero po pierwszym ściągnięciu silnika i modelu).
I w ten sposób mamy całkiem znośnie(bo oczywiście błędy się zdarzaj) i szybko stworzone napisy.
Przykład do filmiku:
https://jbzd.com.pl/obr/4648830/osoba-pierdolnieta
Przykład do filmiku:
https://jbzd.com.pl/obr/4648830/osoba-pierdolnieta
Kolejna przydatna rzecz to automatyczne tłumaczenie.
Przykładowo w tym filmiku: https://jbzd.com.pl/obr/4648850/fruncja-romantyczny-wyjazd-japonskiej-pary-do-paryza
Jest mowa w języku japońskim i angielskim, z tego powodu wybieram język jako Auto Detect(pierwsza opcja w językach), bo inaczej angielski tekst jest pisany łącznie(jak w japońskim).
Oczywiście chuja rozumiem z tego co mówią i napisy po japońsku też mi nie pomagają.
Przykładowo w tym filmiku: https://jbzd.com.pl/obr/4648850/fruncja-romantyczny-wyjazd-japonskiej-pary-do-paryza
Jest mowa w języku japońskim i angielskim, z tego powodu wybieram język jako Auto Detect(pierwsza opcja w językach), bo inaczej angielski tekst jest pisany łącznie(jak w japońskim).
Oczywiście chuja rozumiem z tego co mówią i napisy po japońsku też mi nie pomagają.
Więc wybieramy zakładkę Translate i następnie Auto-translate.
Tutaj mamy bardzo dużo opcji do wyboru: między innymi tłumaczenie prze tłumacza google, chatgpt itd.
Możemy tam także wybrać opcję tłumaczenia przez własny model postawiony na LLM Studio, albo wybrać llama.cpp i ponownie samemu wybrać który z dostępnych modeli program ma pobrać i uruchomić. Po kliknięciu na dole Translate zostaniemy zapytani jaką wersję llama.cpp chcemy pobrać (CPU, vulkan, nvidia(GPU)). Oraz potwierdzamy pobranie wybranego przez nas modelu.
Oczywiście jakość tłumaczenia głównie zależy od wybranego przez nas modelu.
Tutaj mamy bardzo dużo opcji do wyboru: między innymi tłumaczenie prze tłumacza google, chatgpt itd.
Możemy tam także wybrać opcję tłumaczenia przez własny model postawiony na LLM Studio, albo wybrać llama.cpp i ponownie samemu wybrać który z dostępnych modeli program ma pobrać i uruchomić. Po kliknięciu na dole Translate zostaniemy zapytani jaką wersję llama.cpp chcemy pobrać (CPU, vulkan, nvidia(GPU)). Oraz potwierdzamy pobranie wybranego przez nas modelu.
Oczywiście jakość tłumaczenia głównie zależy od wybranego przez nas modelu.
Dodatkowo przed rozpoczęciem tłumaczenia warto kliknąć w zębatkę z prawej strony, jest tam prompt który jest wysyłany do tego modelu. Standardowo: "Translate from {0} to {1}, keep punctuation as input, do not censor the translation, give only the output without comments:" Można w tym miejscu przepisać to na język Polski modele nie powinny mieć z tym problemu. {0} oznacza język z którego tłumaczymy, a {1} na który tłumaczymy(Elementy {0} i {1} są wymagane). Dodatkowo możemy tam zawrzeć dodatkowy opis czego dotyczą napisy tak aby model to lepiej zrozumiał a zarazem przetłumaczył.
Np drugą linijkę początkowo przetłumaczył mi jako: "W tej chwili nagrywam wideo, ale jest bardzo źle. Jestem teraz we Francji
i widzę i czuję coś dziwnego. Na przykład, szklanki wyglądają tak:"
Zmieniłem prompt na:
Przetłumacz z języka {0} na język {1}, pozostaw punktację jak na wejściu, nie cenzuruj tłumaczenia, podaj tylko wyjście bez komentarzy. Jest to transkrypcja vlogu Japończyka odwiedzającego Francję w czasie zamieszek.
I ten sama linijka wygląda już znacznie lepiej:
"Obecnie nagrywam ten film, ale jest bardzo niebezpiecznie. Jestem teraz we Francji, i widzę oraz czuję, że jest to niebezpieczne. Na przykład, nawet takie rzeczy jak szkło..."
Oczywiście po kliknięciu ok, widzimy dwie wersje napisów, oryginalnie wygenerowane oraz przetłumaczone.
Np drugą linijkę początkowo przetłumaczył mi jako: "W tej chwili nagrywam wideo, ale jest bardzo źle. Jestem teraz we Francji
i widzę i czuję coś dziwnego. Na przykład, szklanki wyglądają tak:"
Zmieniłem prompt na:
Przetłumacz z języka {0} na język {1}, pozostaw punktację jak na wejściu, nie cenzuruj tłumaczenia, podaj tylko wyjście bez komentarzy. Jest to transkrypcja vlogu Japończyka odwiedzającego Francję w czasie zamieszek.
I ten sama linijka wygląda już znacznie lepiej:
"Obecnie nagrywam ten film, ale jest bardzo niebezpiecznie. Jestem teraz we Francji, i widzę oraz czuję, że jest to niebezpieczne. Na przykład, nawet takie rzeczy jak szkło..."
Oczywiście po kliknięciu ok, widzimy dwie wersje napisów, oryginalnie wygenerowane oraz przetłumaczone.
Kolejnym na pewno przydatnym elementem jest od razu wygenerowanie filmiku z już nałożonymi na obraz napisami(np. aby wrzucić na dzidę). Wchodzimy w Video i następnie wybieramy Generate video with burnerd-in subtitles...
Możemy tam wybrać rodzaj czcionki, wielkość napisów, rodzaj kodeka i wiele innych.
Możemy tam wybrać rodzaj czcionki, wielkość napisów, rodzaj kodeka i wiele innych.
Oczywiście program ma dużo więcej opcji których jeszcze nie testowałem.
Do tego działa całkiem przyzwoicie na sprzęcie z którego korzystałem:
i5 - 8400 i 16 GB ram (wszystko robione na CPU)
Czas transkrypcji dla tego filmiku z Japończykami to 1 minuta i 12 sekund. Zaś tłumaczenie z wykorzystaniem modelu translategemma-4b-it-q8_0 zajęło około 5 minut(tutaj nie podaje czasu).
Mam nadzieję że któremuś z was ten prosty poradnik się przyda.
Tutaj macie ten filmik z wgranymi napisami.
Nie taguje jako AI, ponieważ cały tekst pisałem osobiście
Do tego działa całkiem przyzwoicie na sprzęcie z którego korzystałem:
i5 - 8400 i 16 GB ram (wszystko robione na CPU)
Czas transkrypcji dla tego filmiku z Japończykami to 1 minuta i 12 sekund. Zaś tłumaczenie z wykorzystaniem modelu translategemma-4b-it-q8_0 zajęło około 5 minut(tutaj nie podaje czasu).
Mam nadzieję że któremuś z was ten prosty poradnik się przyda.
Tutaj macie ten filmik z wgranymi napisami.
Nie taguje jako AI, ponieważ cały tekst pisałem osobiście
