Tokenisation
Item
- Title
- Tokenisation
- preferred label
- Tokenisation
- alternative label
- Segmentation lexicale
- Découpage en tokens
- Tokenization
- hidden label
- tokenisations
- has exact match
- https://www.wikidata.org/wiki/Q2438971
- has broader
- Intelligence artificielle
- definition
- Processus de décomposition d'un texte en unités minimales (tokens) servant d'entrées à un modèle de langue, pouvant correspondre à des mots, des parties de mots ou des caractères.
Linked resources
| Title | Class |
|---|---|
| Données d'entraînement | Concept |
| Embedding | Concept |
| LLM | |
| Syntaxique | Concept |
Annotations
There are no annotations for this resource.