1

wwl

2025-07-30 61b58bd03d04d2eb50ac2d93a188c819fe67e01e

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
/*
    MIT License http://www.opensource.org/licenses/mit-license.php
    Author Tobias Koppers @sokra
*/
 
"use strict";
 
// \n = 10
// ; = 59
// { = 123
// } = 125
// <space> = 32
// \r = 13
// \t = 9
 
/**
 * @param {string} str string
 * @returns {string[] | null} array of string separated by potential tokens
 */
const splitIntoPotentialTokens = (str) => {
    const len = str.length;
    if (len === 0) return null;
    const results = [];
    let i = 0;
    while (i < len) {
        const start = i;
        block: {
            let cc = str.charCodeAt(i);
            while (cc !== 10 && cc !== 59 && cc !== 123 && cc !== 125) {
                if (++i >= len) break block;
                cc = str.charCodeAt(i);
            }
            while (
                cc === 59 ||
                cc === 32 ||
                cc === 123 ||
                cc === 125 ||
                cc === 13 ||
                cc === 9
            ) {
                if (++i >= len) break block;
                cc = str.charCodeAt(i);
            }
            if (cc === 10) {
                i++;
            }
        }
        results.push(str.slice(start, i));
    }
    return results;
};
 
module.exports = splitIntoPotentialTokens;