Universal Search indexeert sommige PDF-bestanden niet

[nescafe]

Voor een vereniging heb ik een DS423+ ingericht met een share met PDF-bestanden. In Universal Search de share toegevoegd aan de index. Ik kan nu vanuit Windows Explorer zoeken op bestandsinhoud. Dat werkt goed.

Echter merken de gebruikers dat niet alle bestanden juist geïndexeerd worden en inderdaad, ik kan dat verifiëren op mijn eigen DS920+.
Het gaat in dit geval om bestanden gegenereerd door Adobe Scan (OCR). De tekst is goed herkend en is bijv. via Agent Ransack wel te doorzoeken.

Voorbeeld: Trefwoord 'Eibergen' komt in drie bestanden voor:



Maar in Explorer maar 2x:



Universal Search laat hem ook maar 2x zien. En in SSH:

Code: [Selecteer]

root@DS920:~# synocontentsearchutils -n backup -s 10000 -q eibergen
query string: eibergen
share name: backup
search count: 2
> doc_id: 1070, path: /volume1/backup/Temp/Aellerinck Hennie x Elsen ten Betsie.pdf
> doc_id: 1087, path: /volume1/backup/Temp/Asschert Johannes Antonius x Bauhuis Johanna Berendina Geertruida.pdf

Wat ik al geprobeerd heb:

• Update naar 7.2-64570 Update 3
• Re-index
• Andere NAS - probleem treedt op bij DS423+ en DS920+

Het bestand (in dit voorbeeld) waar het mis mee gaat heb ik bijgevoegd:  Alferink Johannes Frederikus x Elsen ten Aleida Johanna.pdf (368.88 kB - gedownload 76 keer.)

Als ik zoek op synocontentsearchutils kom ik nergens en met synocontentextract of synocontentextractd kom ik niet verder. Hoe diagnosticeer ik dit probleem? De binaries kan ik niet zoveel mee en de logging (/var/log/synocontentextractd.log, /var/log/messages) geen clues.

[Babylonia]

De wijze om correct gebruik te maken van  Universal Search  lijkt me via de DSM interface van de NAS zelf?
Zoeken via bijv. Windows verkenner, is geen Linux optie van de NAS, maar opties die gelden voor SMB (Windows).

Wat vind je aan bestanden als je gewoon via de DSM web interface  Universal Search  gebruikt.

[nescafe]

Universal Search laat ook maar twee van de drie bestanden zien:



Zoeken via Verkenner wordt ondersteund:

For Windows computers, you can mount indexed folders via SMB and search through Windows File Explorer.

Universal Search gebruiken is helaas niet de oplossing.. daarnaast qua gebruikerservaring wat beperkt ten opzichte van Windows Verkenner (zeker minder toegankelijk). Ik denk ook niet dat het in de wijze van zoeken zit maar in het indexeringsproces en zoek een manier om dat proces te evalueren.. kan ik dat proces volgen of de database inspecteren?

[nescafe]

Dankzij je tip wel iets verder gekomen, Universal Search laat ook de tekst inline zien. Hierin is zichtbaar dat het betreffende woord in de PDF is gesplitst:



Het zit dan waarschijnlijk in het bronbestand / de OCR-engine.. dus kijken of ik iets beters dan Adobe Scan kan inzetten voor dit doel.

Dank voor je aanwijzing!

[Babylonia]

Ik denk ook niet dat het in de wijze van zoeken zit maar in het indexeringsproces en zoek een manier om dat proces te evalueren.

Als zaken niet helemaal lopen zoals verwacht, kunt je ook een nieuwe indexering laten uitvoeren.
Als het probleem daar niet in zit.  Start sowieso met goede zoektermen bijv. een jokerteken *  of andere zoekopties.
Er zijn nogal wat mogelijkheden.

https://kb.synology.com/nl-nl/DSM/help/SynoFinder/universalsearch_search?version=7

[Briolet]

Het zit dan waarschijnlijk in het bronbestand / de OCR-engine.. dus kijken of ik iets beters dan Adobe Scan kan inzetten voor dit doel.

Ik had jouw bestand ook op mijn nas gezet. Hij vond eibergen ook niet. Maar inderdaad, als ik op "Eiber" zoek, vind hij jouw bestand wel. (NB. IK zoek met de Mac Finder, maar die gebruikt ook de Universal Search engine)

[Briolet]

Alleen vreemd. Als ik met mijn pdf reader de inhoud kopieer en in een tekst-only document plak, dan krijg ik:

weduwnaer van
Aleida Johanna ten Elsen
Hij werd geboren te Eibergen op 30 Juli 1889 en Is door een noodlottlg ongeval overleden op 1 febr. 1969 In het r.-k. ziekenhuis te Enschede. Donderdag 6 febr. Is hij begraven op het r.-k. kerkhofvan deSt.Bonlfatlusparochle,Veldmaat
te Haaksbergen.

Hier staat er geen spatie in Eibergen. Vreemd waarom deze iets anders ziet. Misschien is het geen spatie maat een ander non-printing karakter.

PS: De PDF met een Het editor bekijken helpt ook niet, want dan zie ik helemaal geen tekst. Blijkbaar wordt het ascii deel in gecomprimeerde form in de pdf opgeslagen.
OP veel meer plekken laat US een spatie in woorden zien en in de door mij gekopieerde tekst zie ik geen spatie.

[Birdy]

Ik zie ook geen spatie:



Overigens, ik zie nog 2 spaties in je printscreen, dat zijn er dan 3 in 1 regel:

[Briolet]

Die andere spaties waren me ook opgevallen bij US. Daarom blijf ik het vreemd vinden dat als ik de platte tekst uit de pdf kopieer, ik de spaties niet zie. (Zie mijn tekst stukje hierboven)

En bij kopiëren wordt er nooit een spellingcorrectie toegepast. Daarom mijn vermoeden dat er ascii tekens tussen geplakt worden die niet bij leesbare tekens horen. US geeft deze dan als spatie weer en bij een tekst kopie worden ze gewoon weggelaten.

Maar wat het ook is, de scannersoftware is gewoon niet goed. Ik heb in het verleden veel tijdschriften ingespannen met de scannersoftware van Canon. Daar had ik zelden tekstproblemen. Zeker niet in de aantallen als hierboven. Zeker niet als het voorbeeld zo scherp is als hier.

----

Voor de aardigheid heb ik de 1e pagina eens uitgeprint en ingeschat als OCR bestand met de VueScan software:

Code: [Selecteer]

.Want niemand leelt voor zichzell alleen
en niemand sterlt voor zichzell alleen;
want als wi] leven, het is voor de Heer
en als wi] sterven, het is voor de Heer.' Rom. 14. 7-
Gedenk in uw gebeden
Johannes Frederikus Allerink
weduwnaar van
Aleida Johanna tan Elsen
Hi] werd geboren te Eibergen op 30 juli 1889
en is door een noodlottig ongeval overleden op
1 lebr.19ó9in het r.-k. ziekenhuis te Enschede.
Donderdag 6 lebr. is hi] begraven op het r.-k.
kerkhofvan de St. Bonilatiusparochie,Veld maat
te Haaksbergen.
Onverwachts is vader van ons heengegaan; en
dit plotselinge heengaan valt ons zwaar en
maakt ons droevig.
Toch denken wi] dankbaar aan vader terug als
een bil] mens. die tevreden leefde en bezorgd
was overzijn kinderen. Hi] leefde te midden van
ons als een diepgelovig mens die de zin van
zijn leven zocht bij God.
Dierbare kinderen en kleinkinderen graag was
ik nog een paar ]aar bi] jullie gebleven; maar
hoe oud de mens ook wordt, eemaal komt de
dood en daarmee de eeuwigheid. Vergeet dit
nooit.
Bewaartde vrede onder elkaar en bidt voor mij.


Die scannersoftware doet het goed, hoewel hij wel problemen jet de letter 'j' heeft die deze tekst gebruikt. Vroeger had ik nog OCR software die je bepaalde letters expliciet kon laten leren.Bij VueScan kan dat volgens mij niet. Je kunt alleen de taal instellen, zodat hij op grond daarvan correcties kan uitvoeren.

VueScan kun je hier downloaden. Het is commerciële software, maar de ongeregistreerde versie kan volgens mij wel al ORC doen om te evalueren.