Tokenizer

Tokeniser un texte, c’est le segmenter en unités linguistiques manipulables comme les mots, la ponctuation, les nombres,… Chaque élément correspond à un token qui sera utile à l’analyse. On peut penser qu’il suffit de détecter les espaces entre les mots, mais ce n'est pas toujours aussi facile—en particulier pour le français !

Construisez votre propre pipeline personnalisé

  • Adapté aux besoins de votre entreprise
  • Aucune limite de taille d'entrée
  • 3000 appels API par mois
  • Combinez avec d'autres solutions
  • Prêt à l'emploi

S'inscrire à notre newsletter

Recevez tous les mois les actualités de Lettria.