Как преобразовать числовые массивы в вектор <int> & (ссылка) с помощью SWIG

10

Моя цель:

Создайте 3 пустых массива в python (2 из них будут инициализированы с конкретными значениями), затем отправьте все три из них через swig в функцию c ++ в виде векторных ссылок (это делается для того, чтобы избежать копирования данных и потери эффективности). Оказавшись в функции c ++, добавьте 2 массива и поместите их сумму в 3-й массив.

vec_ref.h

#include <vector>
#include <iostream>

void add_vec_ref(std::vector<int>& dst, std::vector<int>& src1, std::vector<int>& src2);

vec_ref.cpp

#include "vec_ref.h"
#include <cstring> // need for size_t
#include <cassert>

void add_vec_ref(std::vector<int>& dst, std::vector<int>& src1, std::vector<int>& src2) {
    std::cout << "inside add_vec_ref" << std::endl;
    assert(src1.size() == src2.size());
    dst.resize(src1.size());

    for (size_t i = 0; i < src1.size(); i++) {
        dst[i] = src1[i] + src2[i];
    }
}

vec_ref.i

%module vec_ref
%{
    #define SWIG_FILE_WITH_INIT
    #include "vec_ref.h"
%}

%include "numpy.i"
%init %{
import_array();
%}

%include "std_vector.i"
%template(vecInt) std::vector<int>;
// %template(vecIntRef) std::vector<int> &; 

// %apply (std::vector<int> * INPLACE_ARRAY1, int DIM1) {(std::vector<int> * dst, int a),(std::vector<int> * src1, int b),(std::vector<int> * src2, int c)};
// %apply (std::vector<int> * INPLACE_ARRAY1) {(std::vector<int> * dst),(std::vector<int> * src1),(std::vector<int> * src2)};
// %apply (std::vector<int> & INPLACE_ARRAY1) {(std::vector<int> & dst),(std::vector<int> & src1),(std::vector<int> & src2)};
// %apply (std::vector<int> & INPLACE_ARRAY1, int DIM1) {(std::vector<int> & dst, int a),(std::vector<int> & src1, int b),(std::vector<int> & src2, int c)};

%include "vec_ref.h"

Makefile

all:
    rm -f *.so *.o *_wrap.* *.pyc *.gch vec_ref.py
    swig -c++ -python vec_ref.i
    g++ -O0 -g3 -fpic -c vec_ref_wrap.cxx vec_ref.h vec_ref.cpp -I/home/lmckeereid/tools/anaconda3/pkgs/python-3.7.3-h0371630_0/include/python3.7m/
    g++ -O0 -g3 -shared vec_ref_wrap.o vec_ref.o -o _vec_ref.so

tester.py

import vec_ref as vec
import numpy as np

a = np.array([1,2,3], dtype=np.intc)
b = np.array([4,5,6], dtype=np.intc)
c = np.zeros(len(a), dtype=np.intc)

print('---Before---\na:', a)
print('b:', b)
print('c:', c)

vec.add_vec_ref(c,a,b)

print('---After---\na:', a)
print('b:', b)
print('c:', c)

Вывод:

---Before---
a: [1 2 3]
b: [4 5 6]
c: [0 0 0]
Traceback (most recent call last):
  File "tester.py", line 12, in <module>
    vec.add_vec_ref(c,a,b)
TypeError: in method 'add_vec_ref', argument 1 of type 'std::vector< int,std::allocator< int > > &'

Я перепробовал все закомментированные директивы% apply и% template, найденные в vec_ref.i, но они не сработали.

Есть ли какие-то наборы, которые мне следует включить, в том числе и я?

непохожесть
источник
3
Это невозможно. В C ++ вы можете создавать ссылки только на реально существующие объекты. Тем не менее, NumPy массивы не содержат std::vector.
pschill
Связанный: stackoverflow.com/questions/51466189/…
Габриэль Devillers

Ответы:

3

Я согласен с @pschill: невозможно получить std :: vector без копирования данных.

Одной из альтернатив является использование std::spanшаблона класса (представлен в C ++ 20) или аналогичного spanшаблона класса, определенного в библиотеке.

Создание std::span<int>обеспечит представление существующих данных в numpyмассиве, а также обеспечить множество удобных функций - членов (например operator[], итераторы, front(), back()и т.д.) в C ++.

Создание диапазона никогда не будет копировать данные из массива numpy.

NicholasM
источник
Спасибо за предоставление того, что я считаю лучшей альтернативой (кроме создания моего собственного класса).
Otherness
Если бы я действительно хотел использовать (и модифицировать) std :: vector в моей функции C ++ без копирования, какие альтернативы у меня были бы? Необработанный указатель на std :: vector? shared_ptr в std :: vector?
Габриэль Девиллерс
@GabrielDevillers, если я понимаю ваш вопрос, если вектор существует, и вы хотите изменить его в своей функции, я бы рекомендовал использовать ссылку на вектор: std::vector<T>& v
NicholasM
@NicholasM Я имел в виду API, который я хочу обернуть, используя SWIG. Я спрашиваю, потому что я понимаю, что SWIG не может переносить неконстантную ссылку на векторы.
Габриэль Девиллерс
Ой, извини. Я бы предложил вам создать новый вопрос, который сфокусирован на вашем конкретном случае.
NicholasM
0

Вы можете обратиться к библиотеке Facebook Faiss, которая достигает того, чего вы хотите достичь, более элегантным способом.

Специфичный для Python: массив указателей <-> интерфейс C ++ (вектор)

Вы можете увидеть код на его странице Github .

王永欣
источник