Разбить большую строку на куски n-размера в JavaScript

210

Я хотел бы разбить очень большую строку (скажем, 10 000 символов) на куски размера N.

Каков наилучший способ с точки зрения производительности сделать это?

Например: "1234567890"разделение на 2 станет["12", "34", "56", "78", "90"] .

Будет ли возможно что-то подобное использовать, String.prototype.matchи если да, то будет ли это лучшим способом сделать это с точки зрения производительности?

tribe84
источник

Ответы:

458

Вы можете сделать что-то вроде этого:

"1234567890".match(/.{1,2}/g);
// Results in:
["12", "34", "56", "78", "90"]

Метод по-прежнему будет работать со строками, размер которых не кратен размеру фрагмента:

"123456789".match(/.{1,2}/g);
// Results in:
["12", "34", "56", "78", "9"]

В общем, для любой строки, из которой вы хотите извлечь не более n подстрок размера, вы должны сделать:

str.match(/.{1,n}/g); // Replace n with the size of the substring

Если ваша строка может содержать переводы строки или возврат каретки, вы должны сделать:

str.match(/(.|[\r\n]){1,n}/g); // Replace n with the size of the substring

Что касается производительности, я попробовал это примерно с 10 тысячами символов, и это заняло чуть больше секунды в Chrome. YMMV.

Это также может быть использовано в функции многократного использования:

function chunkString(str, length) {
  return str.match(new RegExp('.{1,' + length + '}', 'g'));
}
Вивин Палиат
источник
8
Поскольку этому ответу уже почти 3 года, я хотел бы снова попробовать тест производительности, выполненный @Vivin. Итак, к вашему сведению, разделение 100k символов два на два с использованием заданного регулярного выражения происходит мгновенно на Chrome v33.
aymericbeaumet
1
@Fmstrat Что вы подразумеваете под "если ваша строка содержит пробелы, она не учитывается в длине"? Да, .не соответствует переводу строки. Я буду обновлять ответ так , что он принимает \nи \rво внимание.
Вивин Палиат
2
Нечто подобное var chunks = str.split("").reverse().join().match(/.{1, 4}/).map(function(s) { return s.split("").reverse().join(); });. Это происходит кусками 4. Я не уверен, что вы подразумеваете под «меньше или больше». Имейте в виду, что это не будет работать в целом, особенно со строками, которые содержат символы объединения и могут также ломать строки Unicode.
Вивин Палиат
2
Согласно developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/… вы можете сопоставить любой символ, включая новые строки, с [^]. С этим ваш пример приведет кstr.match(/[^]{1,n}/g)
Francesc Rosas
1
Для тех, кто ищет действительно быстрое чанкинг строк с тестами производительности на jsperf, смотрите мой ответ . Использование регулярных выражений является самым медленным методом разбиения.
Джастин Варкентин
34

Нижняя граница:

  • matchочень неэффективно, sliceлучше, на Firefox substr/substring еще лучше
  • match еще более неэффективен для коротких строк (даже с кэшированным регулярным выражением - возможно, из-за времени установки синтаксического анализа регулярного выражения)
  • match еще более неэффективен для больших размеров чанка (вероятно, из-за невозможности «прыгнуть»)
  • для более длинных струн с очень маленьким размером куска, match превосходит sliceстарые версии IE, но проигрывает во всех других системах
  • Jsperf пород
Tgr
источник
34

Я создал несколько более быстрых вариантов, которые вы можете увидеть на jsPerf . Мой любимый это:

function chunkSubstr(str, size) {
  const numChunks = Math.ceil(str.length / size)
  const chunks = new Array(numChunks)

  for (let i = 0, o = 0; i < numChunks; ++i, o += size) {
    chunks[i] = str.substr(o, size)
  }

  return chunks
}
Джастин Варкентин
источник
2
так что это сказочно работало на длинных строках (около 800k - 9m символов), за исключением случаев, когда я по какой-то причине установил размер 20, последний кусок не был возвращен ... очень странное поведение.
Дэвид
1
@DavidAnderton Хороший улов. Я исправил это и интересно, кажется, работает еще быстрее. Это было округление, когда это должно было быть сделано, Math.ceil()чтобы определить правильное количество кусков.
Джастин Варкентин
1
Спасибо! Я собрал его как модуль NPM с дополнительной поддержкой Юникода - github.com/vladgolubev/fast-chunk-string
Влад Голубев
19

Это быстрое и простое решение -

function chunkString (str, len) {
  const size = Math.ceil(str.length/len)
  const r = Array(size)
  let offset = 0
  
  for (let i = 0; i < size; i++) {
    r[i] = str.substr(offset, len)
    offset += len
  }
  
  return r
}

console.log(chunkString("helloworld", 3))
// => [ "hel", "low", "orl", "d" ]

// 10,000 char string
const bigString = "helloworld".repeat(1000)
console.time("perf")
const result = chunkString(bigString, 3)
console.timeEnd("perf")
console.log(result)
// => perf: 0.385 ms
// => [ "hel", "low", "orl", "dhe", "llo", "wor", ... ]

Спасибо
источник
1
Вы должны использовать substr()вместо substring().
Лейф
2
Мне любопытно, почему подчеркивания в именах переменных?
Фелипе Вальдес
@FelipeValdes Я предполагаю, что не следует путать их с глобальными переменными / переменными параметров или обозначать их как частные.
Мистер Поливирл
15

Сюрприз! Вы можете использовать разделение для разделения.

var parts = "1234567890 ".split(/(.{2})/).filter(O=>O)

Результаты в [ '12', '34', '56', '78', '90', ' ' ]

Fozi
источник
Это самый крутой ответ.
Галкин
2
Для чего filter (o=>o)?
Бен Карп
2
Текущее регулярное выражение создает пустые элементы массива между кусками. filter(x=>x)используется для фильтрации этих пустых элементов
artemdev
Коротко и умно, но многократно повторяет ввод. Этот ответ более чем в 4 раза медленнее, чем другие решения в этой теме.
Спасибо,
6
@BenCarp Это оператор мотоциклов. Это заставляет это идти быстрее. ;)
Фози
7
var str = "123456789";
var chunks = [];
var chunkSize = 2;

while (str) {
    if (str.length < chunkSize) {
        chunks.push(str);
        break;
    }
    else {
        chunks.push(str.substr(0, chunkSize));
        str = str.substr(chunkSize);
    }
}

alert(chunks); // chunks == 12,34,56,78,9
FishBasketGordo
источник
5

Я написал расширенную функцию, поэтому длина фрагмента также может быть массивом чисел, например [1,3]

String.prototype.chunkString = function(len) {
    var _ret;
    if (this.length < 1) {
        return [];
    }
    if (typeof len === 'number' && len > 0) {
        var _size = Math.ceil(this.length / len), _offset = 0;
        _ret = new Array(_size);
        for (var _i = 0; _i < _size; _i++) {
            _ret[_i] = this.substring(_offset, _offset = _offset + len);
        }
    }
    else if (typeof len === 'object' && len.length) {
        var n = 0, l = this.length, chunk, that = this;
        _ret = [];
        do {
            len.forEach(function(o) {
                chunk = that.substring(n, n + o);
                if (chunk !== '') {
                    _ret.push(chunk);
                    n += chunk.length;
                }
            });
            if (n === 0) {
                return undefined; // prevent an endless loop when len = [0]
            }
        } while (n < l);
    }
    return _ret;
};

Код

"1234567890123".chunkString([1,3])

вернется:

[ '1', '234', '5', '678', '9', '012', '3' ]
Эгон Шмид
источник
4

это разделить большую строку на маленькие строки заданных слов .

function chunkSubstr(str, words) {
  var parts = str.split(" ") , values = [] , i = 0 , tmpVar = "";
  $.each(parts, function(index, value) {
      if(tmpVar.length < words){
          tmpVar += " " + value;
      }else{
          values[i] = tmpVar.replace(/\s+/g, " ");
          i++;
          tmpVar = value;
      }
  });
  if(values.length < 1 &&  parts.length > 0){
      values[0] = tmpVar;
  }
  return values;
}
Haseeb
источник
3
var l = str.length, lc = 0, chunks = [], c = 0, chunkSize = 2;
for (; lc < l; c++) {
  chunks[c] = str.slice(lc, lc += chunkSize);
}
Poetro
источник
2

Я бы использовал регулярное выражение ...

var chunkStr = function(str, chunkLength) {
    return str.match(new RegExp('[\\s\\S]{1,' + +chunkLength + '}', 'g'));
}
Алекс
источник
1
const getChunksFromString = (str, chunkSize) => {
    var regexChunk = new RegExp(`.{1,${chunkSize}}`, 'g')   // '.' represents any character
    return str.match(regexChunk)
}

Назовите это как нужно

console.log(getChunksFromString("Hello world", 3))   // ["Hel", "lo ", "wor", "ld"]
Бен Карп
источник
1

Вот решение, которое я нашел для шаблонных строк после небольшого эксперимента:

Использование:

chunkString(5)`testing123`

function chunkString(nSize) {
    return (strToChunk) => {
        let result = [];
        let chars = String(strToChunk).split('');

        for(let i = 0; i < (String(strToChunk).length / nSize); i++) {
            result = result.concat(chars.slice(i*nSize,(i+1)*nSize).join(''));
        }
        return result
    }
}

document.write(chunkString(5)`testing123`);
// returns: testi,ng123

document.write(chunkString(3)`testing123`);
// returns: tes,tin,g12,3

Алекс W
источник
1

Вы можете использовать reduce()без каких-либо регулярных выражений:

(str, n) => {
  return str.split('').reduce(
    (acc, rec, index) => {
      return ((index % n) || !(index)) ? acc.concat(rec) : acc.concat(',', rec)
    },
    ''
  ).split(',')
}
bitterCode
источник
Я думаю, что это очень поможет, если вы приведете примеры того, как использовать ваш reduceметод.
kiatng
0

В виде функции-прототипа:

String.prototype.lsplit = function(){
    return this.match(new RegExp('.{1,'+ ((arguments.length==1)?(isFinite(String(arguments[0]).trim())?arguments[0]:false):1) +'}', 'g'));
}
Awesomolocity
источник
0

Вот код, который я использую, он использует String.prototype.slice .

Да, это довольно длинный ответ, поскольку он пытается следовать действующим стандартам настолько близко, насколько это возможно, и, конечно, содержит разумное количество JSDOC комментариев . Однако после минимизации код составляет всего 828 байт, а после сжатия для передачи - всего 497 байт.

1 метод, который это добавляет String.prototype(используя Object.defineProperty, где доступно):

  1. toChunks

Ряд тестов были включены для проверки функциональности.

Беспокоитесь, что длина кода повлияет на производительность? Не нужно беспокоиться, http://jsperf.com/chunk-string/3

Большая часть дополнительного кода существует, чтобы быть уверенным, что код будет отвечать одинаково в нескольких средах javascript.

/*jslint maxlen:80, browser:true, devel:true */

/*
 * Properties used by toChunks.
 */

/*property
    MAX_SAFE_INTEGER, abs, ceil, configurable, defineProperty, enumerable,
    floor, length, max, min, pow, prototype, slice, toChunks, value,
    writable
*/

/*
 * Properties used in the testing of toChunks implimentation.
 */

/*property
    appendChild, createTextNode, floor, fromCharCode, getElementById, length,
    log, pow, push, random, toChunks
*/

(function () {
    'use strict';

    var MAX_SAFE_INTEGER = Number.MAX_SAFE_INTEGER || Math.pow(2, 53) - 1;

    /**
     * Defines a new property directly on an object, or modifies an existing
     * property on an object, and returns the object.
     *
     * @private
     * @function
     * @param {Object} object
     * @param {string} property
     * @param {Object} descriptor
     * @return {Object}
     * @see https://goo.gl/CZnEqg
     */
    function $defineProperty(object, property, descriptor) {
        if (Object.defineProperty) {
            Object.defineProperty(object, property, descriptor);
        } else {
            object[property] = descriptor.value;
        }

        return object;
    }

    /**
     * Returns true if the operands are strictly equal with no type conversion.
     *
     * @private
     * @function
     * @param {*} a
     * @param {*} b
     * @return {boolean}
     * @see http://www.ecma-international.org/ecma-262/5.1/#sec-11.9.4
     */
    function $strictEqual(a, b) {
        return a === b;
    }

    /**
     * Returns true if the operand inputArg is undefined.
     *
     * @private
     * @function
     * @param {*} inputArg
     * @return {boolean}
     */
    function $isUndefined(inputArg) {
        return $strictEqual(typeof inputArg, 'undefined');
    }

    /**
     * The abstract operation throws an error if its argument is a value that
     * cannot be converted to an Object, otherwise returns the argument.
     *
     * @private
     * @function
     * @param {*} inputArg The object to be tested.
     * @throws {TypeError} If inputArg is null or undefined.
     * @return {*} The inputArg if coercible.
     * @see https://goo.gl/5GcmVq
     */
    function $requireObjectCoercible(inputArg) {
        var errStr;

        if (inputArg === null || $isUndefined(inputArg)) {
            errStr = 'Cannot convert argument to object: ' + inputArg;
            throw new TypeError(errStr);
        }

        return inputArg;
    }

    /**
     * The abstract operation converts its argument to a value of type string
     *
     * @private
     * @function
     * @param {*} inputArg
     * @return {string}
     * @see https://people.mozilla.org/~jorendorff/es6-draft.html#sec-tostring
     */
    function $toString(inputArg) {
        var type,
            val;

        if (inputArg === null) {
            val = 'null';
        } else {
            type = typeof inputArg;
            if (type === 'string') {
                val = inputArg;
            } else if (type === 'undefined') {
                val = type;
            } else {
                if (type === 'symbol') {
                    throw new TypeError('Cannot convert symbol to string');
                }

                val = String(inputArg);
            }
        }

        return val;
    }

    /**
     * Returns a string only if the arguments is coercible otherwise throws an
     * error.
     *
     * @private
     * @function
     * @param {*} inputArg
     * @throws {TypeError} If inputArg is null or undefined.
     * @return {string}
     */
    function $onlyCoercibleToString(inputArg) {
        return $toString($requireObjectCoercible(inputArg));
    }

    /**
     * The function evaluates the passed value and converts it to an integer.
     *
     * @private
     * @function
     * @param {*} inputArg The object to be converted to an integer.
     * @return {number} If the target value is NaN, null or undefined, 0 is
     *                   returned. If the target value is false, 0 is returned
     *                   and if true, 1 is returned.
     * @see http://www.ecma-international.org/ecma-262/5.1/#sec-9.4
     */
    function $toInteger(inputArg) {
        var number = +inputArg,
            val = 0;

        if ($strictEqual(number, number)) {
            if (!number || number === Infinity || number === -Infinity) {
                val = number;
            } else {
                val = (number > 0 || -1) * Math.floor(Math.abs(number));
            }
        }

        return val;
    }

    /**
     * The abstract operation ToLength converts its argument to an integer
     * suitable for use as the length of an array-like object.
     *
     * @private
     * @function
     * @param {*} inputArg The object to be converted to a length.
     * @return {number} If len <= +0 then +0 else if len is +INFINITY then
     *                   2^53-1 else min(len, 2^53-1).
     * @see https://people.mozilla.org/~jorendorff/es6-draft.html#sec-tolength
     */
    function $toLength(inputArg) {
        return Math.min(Math.max($toInteger(inputArg), 0), MAX_SAFE_INTEGER);
    }

    if (!String.prototype.toChunks) {
        /**
         * This method chunks a string into an array of strings of a specified
         * chunk size.
         *
         * @function
         * @this {string} The string to be chunked.
         * @param {Number} chunkSize The size of the chunks that the string will
         *                           be chunked into.
         * @returns {Array} Returns an array of the chunked string.
         */
        $defineProperty(String.prototype, 'toChunks', {
            enumerable: false,
            configurable: true,
            writable: true,
            value: function (chunkSize) {
                var str = $onlyCoercibleToString(this),
                    chunkLength = $toInteger(chunkSize),
                    chunked = [],
                    numChunks,
                    length,
                    index,
                    start,
                    end;

                if (chunkLength < 1) {
                    return chunked;
                }

                length = $toLength(str.length);
                numChunks = Math.ceil(length / chunkLength);
                index = 0;
                start = 0;
                end = chunkLength;
                chunked.length = numChunks;
                while (index < numChunks) {
                    chunked[index] = str.slice(start, end);
                    start = end;
                    end += chunkLength;
                    index += 1;
                }

                return chunked;
            }
        });
    }
}());

/*
 * Some tests
 */

(function () {
    'use strict';

    var pre = document.getElementById('out'),
        chunkSizes = [],
        maxChunkSize = 512,
        testString = '',
        maxTestString = 100000,
        chunkSize = 0,
        index = 1;

    while (chunkSize < maxChunkSize) {
        chunkSize = Math.pow(2, index);
        chunkSizes.push(chunkSize);
        index += 1;
    }

    index = 0;
    while (index < maxTestString) {
        testString += String.fromCharCode(Math.floor(Math.random() * 95) + 32);
        index += 1;
    }

    function log(result) {
        pre.appendChild(document.createTextNode(result + '\n'));
    }

    function test() {
        var strLength = testString.length,
            czLength = chunkSizes.length,
            czIndex = 0,
            czValue,
            result,
            numChunks,
            pass;

        while (czIndex < czLength) {
            czValue = chunkSizes[czIndex];
            numChunks = Math.ceil(strLength / czValue);
            result = testString.toChunks(czValue);
            czIndex += 1;
            log('chunksize: ' + czValue);
            log(' Number of chunks:');
            log('  Calculated: ' + numChunks);
            log('  Actual:' + result.length);
            pass = result.length === numChunks;
            log(' First chunk size: ' + result[0].length);
            pass = pass && result[0].length === czValue;
            log(' Passed: ' + pass);
            log('');
        }
    }

    test();
    log('');
    log('Simple test result');
    log('abcdefghijklmnopqrstuvwxyz'.toChunks(3));
}());
<pre id="out"></pre>

Xotic750
источник
0

Используя метод slice ():

function returnChunksArray(str, chunkSize) {
  var arr = [];
  while(str !== '') {
    arr.push(str.slice(0, chunkSize));
    str = str.slice(chunkSize);
  }
  return arr;
}

То же самое можно сделать с помощью метода substring ().

function returnChunksArray(str, chunkSize) {
  var arr = [];
  while(str !== '') {
    arr.push(str.substring(0, chunkSize));
    str = str.substring(chunkSize);
  }
  return arr;
}
безмятежный
источник
0

Моя проблема с вышеупомянутым решением состоит в том, что он переносит строку в фрагменты формального размера независимо от положения в предложениях.

Я думаю, что следующий лучший подход; хотя требуется некоторая настройка производительности:

 static chunkString(str, length, size,delimiter='\n' ) {
        const result = [];
        for (let i = 0; i < str.length; i++) {
            const lastIndex = _.lastIndexOf(str, delimiter,size + i);
            result.push(str.substr(i, lastIndex - i));
            i = lastIndex;
        }
        return result;
    }
Ахмад Альхьяри
источник
0

Вы определенно можете сделать что-то вроде

let pieces = "1234567890 ".split(/(.{2})/).filter(x => x.length == 2);

чтобы получить это:

[ '12', '34', '56', '78', '90' ]

Если вы хотите динамически вводить / корректировать размер чанка так, чтобы чанки имели размер n, вы можете сделать это:

n = 2;
let pieces = "1234567890 ".split(new RegExp("(.{"+n.toString()+"})")).filter(x => x.length == n);

Чтобы найти все возможные блоки размера n в исходной строке, попробуйте это:

let subs = new Set();
let n = 2;
let str = "1234567890 ";
let regex = new RegExp("(.{"+n.toString()+"})");     //set up regex expression dynamically encoded with n

for (let i = 0; i < n; i++){               //starting from all possible offsets from position 0 in the string
    let pieces = str.split(regex).filter(x => x.length == n);    //divide the string into chunks of size n...
    for (let p of pieces)                 //...and add the chunks to the set
        subs.add(p);
    str = str.substr(1);    //shift the string reading frame
}

Вы должны в конечном итоге:

[ '12', '23', '34', '45', '56', '67', '78', '89', '90', '0 ' ]
Адриан
источник
-1
    window.format = function(b, a) {
        if (!b || isNaN(+a)) return a;
        var a = b.charAt(0) == "-" ? -a : +a,
            j = a < 0 ? a = -a : 0,
            e = b.match(/[^\d\-\+#]/g),
            h = e && e[e.length - 1] || ".",
            e = e && e[1] && e[0] || ",",
            b = b.split(h),
            a = a.toFixed(b[1] && b[1].length),
            a = +a + "",
            d = b[1] && b[1].lastIndexOf("0"),
            c = a.split(".");
        if (!c[1] || c[1] && c[1].length <= d) a = (+a).toFixed(d + 1);
        d = b[0].split(e);
        b[0] = d.join("");
        var f = b[0] && b[0].indexOf("0");
        if (f > -1)
            for (; c[0].length < b[0].length - f;) c[0] = "0" + c[0];
        else +c[0] == 0 && (c[0] = "");
        a = a.split(".");
        a[0] = c[0];
        if (c = d[1] && d[d.length -
                1].length) {
            for (var d = a[0], f = "", k = d.length % c, g = 0, i = d.length; g < i; g++) f += d.charAt(g), !((g - k + 1) % c) && g < i - c && (f += e);
            a[0] = f
        }
        a[1] = b[1] && a[1] ? h + a[1] : "";
        return (j ? "-" : "") + a[0] + a[1]
    };

var str="1234567890";
var formatstr=format( "##,###.", str);
alert(formatstr);


This will split the string in reverse order with comma separated after 3 char's. If you want you can change the position.
Мурали Криш
источник
-1

Как насчет этого небольшого куска кода:

function splitME(str, size) {
    let subStr = new RegExp('.{1,' + size + '}', 'g');
    return str.match(subStr);
};
Хари
источник
-2
function chunkString(str, length = 10) {
    let result = [],
        offset = 0;
    if (str.length <= length) return result.push(str) && result;
    while (offset < str.length) {
        result.push(str.substr(offset, length));
        offset += length;
    }
    return result;
}
Александр Степанов
источник
4
Ваш ответ не добавляет ничего нового (по сравнению с другими ответами) и не содержит описания, как другие ответы.
flob