Synology-Forum.nl

Packages => 3rd party Packages => Auto-Sub => Topic gestart door: escob4r op 15 mei 2016, 10:57:20

Titel: ERROR scanDir melding
Bericht door: escob4r op 15 mei 2016, 10:57:20
Mijn Auto-Sub toont steeds een foutmelding in de logging die ik maar niet opgelost krijg. Het gaat om de volgende foutmelding:

2016-05-15 04:54:58,868 ERROR  scanDir: Something went wrong when traversing directory /volume1/tv

Volgens wat onderzoek via Google zou dit komen door vreemde karakters in folder namen, echter heb ik geen vreemde karakters in de folders van mijn tv-series. Heeft iemand dit eerder gezien? Zo ja, enig idee hoe ik dat kan oplossen?

Verder info:
Autosub 0.8.0 (20160512-1)
DS415+

Alvast bedankt!
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 15 mei 2016, 12:03:23
Vreemde karakters kun je niet altijd zien.
Zeker niet als je via je PC kijkt.
Kijk eens met filestation het is mogelijk dat je dan meer zien maar het kan nog steeds zo zijn dat je niets ziet.

Download je via nzb's of via torrents?
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 15 mei 2016, 14:57:10
Ik download via NZB.

Ook via File Station zie ik geen mappen met vreemde karakters. Heb je enig idee op welke karakters de error kan verschijnen?
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 15 mei 2016, 16:23:41
Nee dat kan van alles zijn.
Het probleem zit erin dat nzb bestanden ingepakt zitten en die worden door je downloader (Sickrage of Sonarr of nzbget etc) uitgepakt.
Als die NzB bestanden bevat met niet ascii namen dan weet niemand met welke codec die zijn aangemaakt en kunnen ze dus ook niet naar utf-8 vertaald worden.
Je kunt natuurlijk gewoon in de logging kijken wel bestand scandir het laatst wel goed verwerkte en dan moet het in ieder geval daar in de buurt zitten.

Als je hem gevonden hebt hoor ik het graag, ik zoek al een tijdje naar een bestandsnaam die dit veroorzaakt zodat ik kan testen.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 15 mei 2016, 21:09:49
Het vreemde is dat ik hier eerder geen last van heb gehad, sinds de laatste update komt deze error voor.

Meer logging:
2016-05-15 15:07:43,334 ERROR  scanDir: Something went wrong when traversing directory /volume1/tv
2016-05-15 15:07:42,753 INFO  scanDir: Dutch subtitle wanted for Dragon Ball Super - 001 - HDTV-720p.mkv and added to wantedQueue

Het lijkt dus fout te gaan na de aflevering: Dragon Ball Super - 001 - HDTV-720p.mkv

Structuur van de serie Dragon Ball Super is als volgt:

Dragon Ball Super
Dragon Ball Super/Season 01
Dragon Ball Super/Season 02
Dragon Ball Super/Season 03

Afleveringen naamgeving is: Dragon Ball Super - XXX - HDTV-720p.mkv

Het is trouwens geen nieuwe serie, eerder ging het wel goed. Wanneer ik de gehele map Dragon Ball Super tijdelijk uit mijn tv map haal dan gaat Auto Sub wel verder maar verschijnt een error bij een andere serie. Het lijkt dus een structureel probleem.
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 15 mei 2016, 21:47:42
Het feit alleen al dat hij op bepaalde bestanden struikelt bewijst al dat daar iets mis mee is.
Het is Japanse anime en tien tegen een dat er japanse codecs gebruikt zijn om de bestanden een naam te geven.

Ook het linux OS snapt er niets van want anders zouden die vreemde charakters getoond worden.

Er is in dat stuk van autosub helemaal niets verandert dus het heeft echt niet met een release te maken.

Overigens vind hij met zo'n naam nooit een aflevering want er zit geen seizoen informatie in de naam.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 15 mei 2016, 22:12:21
Blijf het vreemd vinden dat dezelfde afleveringen eerder geen error gaven. Het is trouwens een serie waar geen ondertiteling voor gevonden moet worden.

Maar goed, ik heb de gehele Dragon Ball Super map zojuist uit mijn TV map gehaald en wanneer ik nu weer een Run doe dan verschijnt de error bij het volgende:

2016-05-15 22:09:29,915 ERROR  scanDir: Something went wrong when traversing directory /volume1/tv
2016-05-15 22:09:29,176 INFO  scanDir: Dutch subtitle wanted for Keeping Up with the Kardashians - S11E08 - The Big Launch - 480p.mp4 and added to wantedQueue
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 15 mei 2016, 22:18:44
Ik heb zojuist ook Keeping up with Kardashians uit de TV map gehaald en nu loopt hij vast op:

2016-05-15 22:14:43,598 ERROR  scanDir: Something went wrong when traversing directory /volume1/tv
2016-05-15 22:14:42,985 INFO  scanDir: Dutch subtitle wanted for Lip Sync Battle - S01E12 - Justin Bieber vs. Deion Sanders - HDTV-720p - ALTEREGO.mkv and added to wantedQueue

Dit zijn trouwens geen afleveringen of series die ik recent heb toegevoegd. Eerder ging de verwerking wel goed.

Verwacht je dat het fout gaat in de bestandsnaam of een folder naam?
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 16 mei 2016, 09:43:26
Ik heb even wat gegoogled en met onderstaand commando kun je alle bestanden vinden die "Non ascii" karakters in hun naam hebben.
Open een command window, ga naar  de top folder waar de bestanden staan en geef dit commando.
Citaat
LC_ALL=C find . -name '*[! -~]*'

Als het er veel zijn kun je de output naar een file sturen op deze manier.
Citaat
LC_ALL=C find . -name '*[! -~]*' > results.txt

Als je veel bestanden hebt duurt het even voor hij ze allemaal doorgeploegd heeft.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 10:27:32
Top!  :)

Direct even geprobeerd. Er komt idd een lijst me bestanden uit die non ascii karakters bevatten, zoals:

./Boardwalk Empire/Season 04/Boardwalk Empire - S04E05 - Erlkönig - 720p.srt
./Dexter/.actors/Lauren_Vélez.jpg
./Dexter/Season 03/@eaDir/Dexter - S03E06 - Sí Se Puede - 720p.nfo@SynoResource
./Dexter/Season 03/@eaDir/Dexter - S03E06 - Sí Se Puede - 720p-thumb.jpg@SynoResource
./Dexter/Season 03/Dexter - S03E06 - Sí Se Puede - 720p.srt
./Grey's Anatomy/Season 12/Grey's Anatomy - S12E05 - Guess Who’s Coming to Dinner - 720p.srt
./Grey's Anatomy/Season 12/Grey's Anatomy - S12E05 - Guess Who’s Coming to Dinner - 720p.nfo
..etc

Ik heb alle bestanden hernoemd of verwijderd waarna ik nogmaals dezelfde commando heb uitgevoerd om te bevestigen dat er geen bestanden meer zijn met non ascii karakters.

***@nas:/volume1/tv$ LC_ALL=C find . -name '*[! -~]*'
***@nas:/volume1/tv$

Dus so far so good! Echter wanneer ik nu weer een Run doe in Auto Sub krijg ik toch weer een foutmelding vlak na hetzelfde bestand

2016-05-16 10:18:42,774 ERROR  scanDir: Something went wrong when traversing directory /volume1/tv
2016-05-16 10:18:42,073 INFO  scanDir: Dutch subtitle wanted for Dragon Ball Super - 001 - HDTV-720p.mkv and added to wantedQueue  :(
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 16 mei 2016, 11:09:20
Hmm das vreemd.

Heb je een skipstring in de config staan?
Is er soms iets met de rechten niet goed van bepaalde bestanden of folders?

Als je bestanden en folders moeten minimaal toegangkelijk zijn voor de groep 'users'
Als je met Sonarr werkt is dat een bekent probleem die doet het standaard niet goed en dus moet je z'n instelling daarvoor wijzigen.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 11:55:24
Fout gevonden!

Ik had mijn skipshow strings per ongeluk bij namemapping staan. Dit komt omdat ik een aantal keren een herinstallatie heb gedaan en toen is dat op de verkeerde plek copy/pasted. Waarschijnlijk is het een combinatie geweest van non ascii en een herinstallatie waarbij de skipshow strings op de verkeerde plek stonden.

Bedankt voor de snelle support!  :thumbup:
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 16 mei 2016, 12:03:16
Hmm, ik moet denk ik maar eens aan wat input checking voor de verschillende config velden gaan werken, want dit was wel een heel vreemd gevolg.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 12:58:31
Hij liep dus vast op de series die ik op mijn skip lijstje had staan. Bijvoorbeeld:

Dragon Ball Super
Keeping Up with the Kardashians

Verder viel mij ook dat als je een serie met : in de naam als skipshow vermeld dan maakt hij van de : een =

Avatar: The Last Airbender wordt Avatar = The Last Airbender

Verder is het een top applicatie! Goed bezig!!

Ik heb nog wel een feature request: support voor films  ;)
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 16 mei 2016, 14:34:39
Support voor films gaat niet gebeuren.
Die hebben geen standaard formaat en zijn met een programma nauwelijk betrouwbaar te matchen.

Dat van die : vervangen door een = ga ik uitzoeken.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 15:13:48
OK top!

Ik heb een screenshot toegevoegd zodat je kan zien wat hij er van maakt als je een show skipped waar een : in zit.

Misschien is het een idee om bij skipshows met IMDB ID's te werken?
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 15:26:54
Wanneer ik law & order: special victims unit = -1 krijg ik zelfs een crash melding(zie onderstaand). Bij avatar: the last airbender = -1 niet, daar maakt hij avatar = the last airbender = -1 van.


Traceback (most recent call last):
  File "/volume1/@appstore/AutoSub-BootstrapBill/cherrypy/_cprequest.py", line 656, in respond
    response.body = self.handler()
  File "/volume1/@appstore/AutoSub-BootstrapBill/cherrypy/lib/encoding.py", line 188, in __call__
    self.body = self.oldhandler(*args, **kwargs)
  File "/volume1/@appstore/AutoSub-BootstrapBill/cherrypy/_cpdispatch.py", line 34, in __call__
    return self.callable(*self.args, **self.kwargs)
  File "/volume1/@appstore/AutoSub-BootstrapBill/autosub/WebServer.py", line 179, in saveConfig
    autosub.SKIPSHOW = autosub.Config.stringToDict(skipshow)
  File "/volume1/@appstore/AutoSub-BootstrapBill/autosub/Config.py", line 945, in stringToDict
    returnitems = dict(returnitems)
ValueError: dictionary update sequence element #4 has length 3; 2 is required
Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 16 mei 2016, 15:32:58
Je weet dat op windows systeem een : niet in een filenaam mag voorkomen?

Dus dit soort namen geven altijd problemen.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 15:44:35
Dat weet ik.

Op het filesysteem heeft de serie een map met de naam: Avatar- The Last Airbender

Ik vermoed dat auto sub hem parst naar Avatar: The Last Airbender. Dat geldt overigens ook voor law & order. Zie screenshots.

De : heb ik er niet zelf geplaatst. Met het sleutel icoontje rechts zet ik een serie op de skipshow lijst.

Titel: Re: ERROR scanDir melding
Bericht door: Ben(V) op 16 mei 2016, 16:35:26
Nee jij draait autosub op je NAS en dat is linux.
Die heeft geen problemen met een : in de naam.
Maar autosub moet overal draaien en op windows ystemen geven filenamen met een : erin problemen.

Ik ga het wel ombouwen naar een ImdbId in plaats van een filenaam, dat werkt altijd.
Het probleem zit hem in de config file.
Het lezen en schrijven naar een configfile is een standaard functie in python, hoef ik niet allemaal zelf te maken, maar die ziet een : als een seperator in een lijst, net als het = teken.
Titel: Re: ERROR scanDir melding
Bericht door: escob4r op 16 mei 2016, 16:59:39
Aha

Top dat je het gaat aanpassen! Ik zie de update wel verschijnen. Nogmaals dank voor de support.  :thumbup: