как сделать 3D модель

[Powder]

Есть фотография с изображениями, двумерными, одного объекта.
Ну то есть не одного, а объекта одного класса.
Я могу их понавырезать, и получить как бы проекции, в разных поворотах, но с одинаковыми размерами, в одном масштабе.

Как сделать трехмерную модель?
Может, какие-то программы есть, или они не точные?

Как решить задачу "влоб", или посложнее, но поточнее
В общем, буду благодарен

Сообщение отредактировано: Powder - 24.08.17, 19:12

[Славян]

Можно попробовать так:
1.Делаете воксельный куб с желаемым вам разрешением (т.е. разбиваете 3D на ячейки).
2.Через каждый снимок (определив точки нужного объекта) проводите перпендикулярные фотке прямые только для точек объекта. Оставляете в воксельном кубе только их.
3.Пересекаемое (оставшееся) 3D-множество (воксельное) укажет на допустимую 3D-модель.

[Pavia]

Хорший вопрос. Давно не смотрел, что из программ по этой теме появилось.

Раз в одном маштабе, то предположу что модель на поворотном столике.
Тогда количество снимков известно. Можно вычислить угол на который поворачивали. Далее выделяете точке на границе фигуры и вращаете в трёх мерном пространстве. Такой подход имеет ряд недостатков.
Ошибок много поэтому на каждом этапе применяют фильтрацию.
Камеру надо откалибравать что-бы можно было устранить дисторсию линзы и другие искажения.
Если снимков мало. То тут сопоставление точек и расчёт через эпиполярную геометрию.
После построения модели производят её уточнение. Точно не знаю как.
После уточнения ещё и фильтруют. Сглаживают выкидывают точки которые выскакивают за допуски. Эвристикой восстановление впадин и дырок.

Вот у немцев хорошо получается.
https://vision.in.tum.de/research/image-bas...wreconstruction

Добавлено 24.08.17, 21:46
А вот тут немного другой подход. Трекинг камеры.
https://www.youtube.com/watch?v=CZiSK7OMANw

На основе трекинга работают разные геофирмы для получения 3D съемки местности и сооружений. В реальном времени отслеживают качество модели и если точек не дастоёт, то туда оправляют дрона.

[Pavia]

Цитата

Или можно всё-таки построить 3Д модель по множественным фотографиям объектов ОДНОГО ТИПА?
в принципе, они сопоставимы как если бы были сняты с одного объекта...ведь принадлежат к одному же типу они

Именно таких работ я не знаю. Но думаю возможно. Просто положения точек надо будет усреднит. Нужно будет всего-то раз в 30 больше снимков.

Наиболее близкая работа была у американцев:
http://grail.cs.washington.edu/rome/

Они в бивал в гугл запросы типа рим. И получали кучу снимков одной местности. Потом их анализировали.

Цитата

Ууу!
да у меня задача разительно отличается от подобных, осложнена она
наверное, ее и не получится решить(((
Смотрите
Везде, в литературе сказано, что ОДИН объект должен быть сфотографирован КАМЕРОЙ через промежуток каких-то углов
а что у меня? У меня множественные фото объектов ОДНОГО ТИПА
т.е. можно только предполагать, что этот ОБОБЩЕННЫЙ ОБЪЕКТ содержит все эти проекции

такое ведь невозможно решить, это белеберда получается...я не прав?

или можно попытаться?

Если промежутков нет не беда. Можно по случайным снимкам.
Один из этапов такого подхода сопоставление пар точек. На картинках ищутся особые точки - углы. Потом на парах снимков они сопоставляются.
Надо найти порядка 7 точек которые сдвинулись в одном направлении.

Правда у твоих "нано-ежиков" углов-то совсем нету. *

Цитата

что такое эпиполярная геометрия?

Вот первая ссылка в гугле:
https://habrahabr.ru/post/130300/

Цитата

После построения модели производят её уточнение. Точно не знаю как. - вот это бы понять...

Вот у американцев это расписано.

Цитата

Эвристика восстановления впадин и дырок - а где об этом (конкретно об этом) почитать можно?

Загугли это 3D reconstruction

*) Не беда, что ежики у тебя круглые. Тогда наверно стоит рассмотреть совершенно другой подход. Восстанавливаем объем по единичным снимкам как тут
https://vision.in.tum.de/research/image-bas...wreconstruction

Затем совмещаем 3-д модели от разных проекций. Итеративный алгоритм ближайших точек (ICP)

А дальше близко лежащие точки надо будет усреднить.

Общая модель камеры и виды ограничений
http://citeseerx.ist.psu.edu/viewdoc/downl...p=rep1&type=pdf
Калибровка камеры
https://www.cs.rutgers.edu/~elgammal/classe...ook-chapter.pdf

Сообщение отредактировано: Pavia - 04.04.19, 11:47

[Powder]

Добавлено 25.08.17, 08:58
Pavia, если строить 3Д модели по единичным снимкам, будет ого какая погрешность

Добавлено 25.08.17, 09:23
СлавянPavia код нужен, дайте какие-нибудь коды...

Сообщение отредактировано: Powder - 25.08.17, 09:23

[Pavia]

Powder
Немцы по 3 снимкам ого как отлично хрюшку восстановили.
А во вторых я я же написал, что это первый шаг, в последующих усредняем результаты от нескольких моделей. А усреднение устремит нас к истесанному значению.

[Pavia]

Ещё несколько видео по теме:
Уроки по реконструкции по серии фотографий
https://www.youtube.com/watch?v=M35GED17Y0s
https://www.youtube.com/watch?v=MSNsk6W4mKM
https://www.youtube.com/watch?v=hBDh7QX82yc
Видео про использование свойств симметрии и оптимизации для улучшения 3D реконструкции
https://www.youtube.com/watch?v=HmcG0k_-gi8

[Pavia]

Фильтрация 3-х мерных облаков точек
http://ceur-ws.org/Vol-2391/paper23.pdf

3D Bilateral filter (3DBF) - применяется что-бы подтянуть точки к ближайшей поверхности. Картинка становится более полной и чёткой.

ROR удаляет то, что не подтянулось.

GraphCut (в OpenCV его аналог GrabCut) - удаляем задний фон.

Поиск дырок и рёбер. На этом этапе следует применять НС и деревья решений.

http://cg.cs.uni-bonn.de/aigaion2root/atta...6-detecting.pdf

Заполнение пропусков и дырок, щелей. 

Тут есть разные подходы. На основе вокселей и сфер (Ball Pivoting algoritm - BP или BPA).

https://hal.inria.fr/hal-01348404v2/document

https://pdfs.semanticscholar.org/8ec0/d7029...deb018cbfe2.pdf

https://lidarwidgets.com/samples/bpa_tvcg.pdf

Оптимизация сетки. Снова на выручку приходит 3DBF только с большим радиусом

https://sci-hub.tw/10.1109/icicta.2015.208

https://www.researchgate.net/profile/Maciej...lication_detail