OCR lib pour les formules mathématiques

J’ai besoin d’une bibliothèque OCR ouverte capable d’parsingr des formules mathématiques complexes (par exemple, certaines formules générées via LaTeX). Je veux obtenir une sortie de type LaTeX (ou juste quelques données de type AST).

Y a-t-il déjà quelque chose comme ça? Ou les techniques OCR actuelles peuvent-elles simplement parsingr un texte orienté ligne?

(Notez que j’ai également posté cette question sur Metaoptimize car certaines personnes peuvent avoir des connaissances supplémentaires.)

Le problème a également été décrit par OpenAI comme im2latex .

SESHAT est un système open source écrit en C ++ pour reconnaître les expressions mathématiques manuscrites. SESHAT a été développé dans le cadre d’une thèse de doctorat au centre de recherche PRHLT de l’Université Polytechnique de Valence.

Une démo en ligne: http://cat.prhlt.upv.es/mer/

La source: https://github.com/falvaro/seshat

Seshat est un système open source permettant de reconnaître les expressions mathématiques manuscrites. Étant donné un échantillon représenté sous la forme d’une séquence de traits, l’parsingur est capable de le convertir en LaTeX ou d’autres formats tels que InkML ou MathML.

InftyReader est le seul que je connaisse. Ce n’est PAS un logiciel libre (il semble que l’argent va à une organisation à but non lucratif, IIRC).

http://www.sciaccess.net/en/InftyReader/

Je ne sais pas pourquoi PDF ne peut pas avoir de métadonnées dans LaTeX? Comme dans: mettez l’équation LaTeX dedans! Est-ce si difficile? (Je ne sais rien sur la syntaxe PDF, mais j’imagine que cela peut être fait).

La syntaxe LaTeX est LA NORME UNIQUE ET VRAIE pour la notation mathématique. Il semble incroyablement stupide que les gens qui ont produit MathML et d’autres choses ne prennent pas cela en considération. InftyReader génère une syntaxe MathML ou LaTeX.

Si je veux du HTML (pur), j’utilise ensuite TTH pour lire la syntaxe LaTeX. Ça marche

ABBYY FineReader (un excellent programme d’OCR) prétend que vous pouvez former le logiciel pour Math, mais c’est immensément braindead (qui a le temps?)

Et Unicode a beaucoup de symboles mathématiques. Le fait que les lecteurs OCR d’aujourd’hui ne puissent pas les comprendre montre l’état désolant des logiciels et le déficit cérébral de cette activité.

En ce qui concerne “un symbole à la fois”, TeX a de toute évidence des règles quant à l’emplacement des symboles. Ils ne peuvent pas écrire de logiciels qui connaissent ces règles? TeX est même du domaine public! Ils peuvent simplement “l’utiliser” dans leurs produits commerciaux.

Selon les réponses sur Metaoptimize et la discussion sur la liste de diffusion de Tesseract , il ne semble pas y avoir de solution ouverte / gratuite qui puisse le faire.

La seule solution qui semble capable de le faire (mais je ne peux pas le vérifier car elle est uniquement Windows et non libre) est, comme l’ont mentionné quelques autres personnes, InftyProject .

Consultez ” Equation Web “. Il peut convertir des équations manuscrites en LaTeX, MathML ou SymbolTree. Je ne suis pas sûr si le moteur est open source.

Considérant que les technologies actuelles lisent un symbole à la fois (voir http://detexify.kirelabs.org/classify.html ), je doute qu’il existe un OCR pour les équations mathématiques complètes.

Infty fonctionne assez bien. Mon ancienne entreprise l’a intégrée dans une application qui lit les équations à voix haute pour les personnes aveugles et obtient de bons retours des utilisateurs.

http://www.inftyproject.org/en/download.html

Étant donné que les résultats de l’OCR mathématique pour les formules complexes auront probablement des bogues – même les humains ont des problèmes avec elle – vous devrez relire les résultats, du moins s’ils sont importants. Le correcteur (humain) devra alors corriger les résultats, ce qui signifie que vous devez avoir un éditeur de formule mathématique. Étant donné les efforts requirejs par les humains, le corpus probablement limité de formules complexes, vous pourriez trouver plus facile d’atsortingbuer la tâche aux humains.

En tant que problème de recherche, la lecture mathématique via OCR est amusante – vous avez besoin d’un formalisme pour les grammaires 2D et d’un identifiant de symbole.
En plus des références déjà mentionnées ici, pourquoi ne pas google pour cela? Des travaux ont été effectués à Caltech, Rochester, U. Waterloo et UC Berkeley. Combien est-il prêt à utiliser hors de la boîte? Dunno

Vous savez, il y a une application dans Win7 juste pour ça: Math Input Panel . Il gère même les entrées manuscrites (c’est fait pour cela). Donnez-lui un coup si vous avez Win7, c’est gratuit!

il y a cette grande vidéo courte: http://www.youtube.com/watch?v=LAJm3J36tLQ expliquant comment vous pouvez former votre Fine Reader à reconnaître les formules mathématiques. Si vous utilisez déjà Fine Reader, mieux vaut restr avec un seul outil. Bien sûr, ce n’est pas du free ware 🙁