ГлавнаяTokenize
СтатьиЯзыки программированияБазы данныхСистемы контроля версийJavascript фреймворкиБэкэнд фреймворкиПакетные менеджерыГенераторы статических сайтовПрепроцессоры CSS

Tokenize

Токенизация — это процесс разделения строки на дискретные элементы, называемые токенами.

Токенизация XSLT с помощью регулярного выражения для токенизации только в том случае, если за точкой с запятой не следует пробел и число.

50
1
3
25 августа 2024 г., 14:48

XSLT: как разделить строки для нескольких полей одновременно

66
2
6
12 июня 2024 г., 18:42

Как лемматизировать текстовый столбец в кадрах данных pandas, используя строфу?

51
1
16 мая 2024 г., 14:34

как настроить токенизатор spaCy так, чтобы он разделял число, за которым следует точка в конце строки, в немецкой модели

65
2
1
26 апреля 2024 г., 14:28

Как узнать, какой токен является токеном unk из токенизатора Hugging Face?

159
1
22 апреля 2024 г., 07:43

Токенизатор Keras не отображается при импорте

174
1
7
17 апреля 2024 г., 11:39

Altova Mapforce – Как использовать результаты Tokenize одновременно при вызове базы данных?

92
1
29 марта 2024 г., 13:42

Как удалить последние N токенов в строке с помощью XSLT?

63
1
6
24 февраля 2024 г., 18:35

Подсчет общего количества токенов для запроса API к ChatGPT, включая функции

66
1
7
24 сентября 2023 г., 19:30

Разбор PHP-файла для получения массива параметров

71
1
1
10
21 сентября 2023 г., 15:44

Как токенизировать список без лишних пробелов и запятых (Python)

67
1
3
25 июня 2023 г., 18:32

Я не могу понять это предложение из документации GNU C PREPROCESSOR

50
3
3
22 июня 2023 г., 09:39

Как выполнить пакетную обработку Tokenizer? - обнимающее лицо

163
2
17
7 июня 2023 г., 12:15

Код токенизации строки застревает в цикле while

88
1
2
23 мая 2023 г., 17:48

Как добавить условие к функции генератора на основе предыдущего вывода?

60
1
2
3
23 мая 2023 г., 13:54

Как согласовать список кортежей, содержащих токенизированную строку, с исходной строкой?

58
1
1
21 мая 2023 г., 16:20

Для чего используется токенизатор Keras fit_on_sequences?

865
1
23 декабря 2020 г., 16:21

Токенизировать строку без пробелов с помощью пользовательского токенизатора в Spacy

300
1
20 декабря 2020 г., 07:23

регулярное выражение для добавления NOT между словом и пунктуацией

70
2
2
19 декабря 2020 г., 04:26

Почему мой токенизатор Prolog S-expression не работает в базовом случае?

149
1
2
4
16 декабря 2020 г., 23:58

Удалите блок If с помощью FunctionDef, сохранив нетронутый код как есть.

60
3
1
20 января 2023 г., 08:40

токенизировать апостроф и тире python

58
2
1
2
12 января 2023 г., 16:15

Регулярное выражение (нотация JS): выберите пробелы не в [ [], {}, "" ] для токенизации строки

58
1
2
4
8 января 2023 г., 23:40

Regex JS: выбор всех пробелов вне кавычек для нескольких кавычек подряд

83
4
1
8 января 2023 г., 10:41

как получить только существительные из предложения

59
1
2
20 декабря 2022 г., 10:46

Почему этот процедурный макрос вызывает панику

64
1
8
5 декабря 2022 г., 13:26

Есть ли способ получить доступ к токенам из дерева токенов или выражения в ржавчине (без строки и необходимости синтаксического анализа)

123
1
1
13
30 ноября 2022 г., 22:16

Как токенизировать блок текста как один токен в python?

54
3
1
7
30 ноября 2022 г., 08:00

Как работать с большим набором данных в spacy

51
1
24 ноября 2022 г., 23:03

Какой самый эффективный способ токенизировать строку (SELFIES) с помощью python?

78
1
3
7
2 ноября 2022 г., 17:10