Auto-Encoders
By Eric Antoine ScuccimarraIn one of my classes last semester we had to make a variational auto-encoder for the MNIST dataset. MNIST is a pretty simple and small dataset so that wasn't very difficult. Looking for something more challenging I decided to try to make a face autoencoder.
The first challenge was finding a suitable dataset. There are several public datasets, but they are inconsistent in terms of image size, shape and other important details. I ended up using several datasets - the celebA was the easiest one to use without having to do much work on it. But it is relatively small, consisting of only 200,000 images. I ended up using the ETHZ dataset from Wikipedia and IMDB, which are quite large but the images are all different shapes and sizes. So I had to do some pre-processing of the data to remove unusable images. I removed any images small than the input size I was using of 162x190, and I also removed any images that were wider than they were higher or bigger than 500x500. This dataset also contains some images which have been stretched out at the edges to bizarre proportions. I removed these by deleting any images where the 10th row or column was identical to the first row or column. Finally I resized the large images down to a more reasonable size. This resulted in a dataset of about 390,000 faces, all of which were roughly the right size and shape.
I decided to train my autoencoder as a normal autoencoder rather than a variational one, mostly due to the extra overhead required for the variational layers. I used a latent space of size 4096, and after training for 12 hours a day for a few weeks on Google CoLab the results were surprisingly accurate. Once the model seemed to start overfitting the training data I stopped training it so I could play around with it.
I wanted to try to do interpolation between faces, which was when I realized what the advantage of making the auto-encoder variational was. When I tried to interpolate between faces, because the latent space was not continuous, rather than working as one would expect it was more like adding the faces together. Training the autoencoders as variational forces the latent space to be continuous which makes interpolation possible, so I am currently trying to retrain the model as variational.
Since the non-variational autoencoder had started to overfit the training data I wanted to try to find other ways to improve the quality, so I added an discriminative network which I am also currently training as a GAN, using the autoencoder as the generator. I will update with results of that when I have results worth reporting.
The notebooks used are available on GitHub, and the datasets I used are on Google Cloud Storage, although due to their size and the cost of downloading them they are not publicly available.
Labels: python, pytorch, autoencoders
Comments
Please login to comment|
RognieFeeri
Jul 06, 2019 at 01:46 am |
Желая успокаиваться на Атлантическом побережье Кубы, дозволено выбрать престижнейший пляжный курорт Варадеро, расположенный для территории провинции Матанзас. Он находится примерно в трех часах езды на такси либо рейсовом автобусе от величественной столицы Кубы - Гаваны, где оборудован международный аэропорт. Бездействие и отдохновение в Варадеро Приобретая <a href=https://pangeya-travel.ru/>горящие туры</a> в Варадеро из Екатеринбурга и других городов России, позволительно бесконечно прогуливаться сообразно белоснежному песчаному пляжу, протянувшемуся вдоль курортного городка непрерывной полосой для двадцать девять километров. Большинство отелей выстроено у пляжной зоны, а сами пляжи получили через экспертов шабаш весомую оценку - они признаются чистейшими в мире. Спуск к океану крутой, следовательно пляжи Варадеро привлекает даже путешественников с детьми. Незабываемый <a href=http://www.planetanovosti.com/publ/otdykh/kak_nedorogo_provesti_otpusk_v_khorvatii/33-1-0-2498>пляжный отдых</a> в Варадеро дополняется купанием в океане, а протяженный коралловый риф защищает купающихся отдыхающих от высоких волн, позволяя прибрежным океанским водам хорошо прогреваться от солнечных лучей. Дайвинг и погружение в океанскую пучину в окрестностях рифа - один из основных видов досуга, а местные <a href=http://sport-weekend.com/gorjashhije-putjevki-kak-nje-popast-vprosak.htm>экскурсионные бюро</a> предложат морские прогулки и полеты на вертолете над Атлантическим побережьем. Погода и температура в Варадеро (Куба) Погода безотлагательно Беспричинно наподобие кубинский курортный городок расположен в зоне субтропического климата, безвременье в Варадеро позволяет <a href=http://region35.ru/vybirajem-gornolyzhnyj-tur.htm>туристам</a> купаться в океане кривой год. Побережье провинции Матанзас омывают теплые морские течения, благодаря чему температура прибрежных вод колеблется в диапазоне 23-24°С беспричинно от сезона. Однако беспогодица на Кубе в Варадеро имеет приманка особенности, беспричинно подобно влажность воздуха в этом уютном <a href=https://billionnews.ru/7792-zamok-kayzerburg.html>туристическом</a> городке превышает 80%, летом отдыхающих может колебаться жара, а зимой атмосфера порой охлаждается накануне 19°С. Экскурсии и туризм в Варадеро Изучая отзывы об отелях Варадеро, дозволено отметить высококлассное обслуживание отдыхающих, выгодную чтобы туристов систему "Все включено" и против невысокие цены на положение в комфортабельных гостиничных номерах. А в самом городке находятся интересные архитектурные постройки, между которых выделяется возведенный испанцами в 1897 году форт Эспаньол. Снова одной достопримечательностью, знакомящей <a href=http://www.gorodpavlodar.kz/News_71752_3.html>туристов</a> с историей Кубы, является католический моленная Иглесиа де Санта Эльвира, в архитектуре которого явственно прослеживаются черты колониального стиля. Увлекательные экскурсии в Варадеро позволят совершить морскую прогулку на романтичной яхте, поплавать вместе с дельфинами в океанских водах. А туристы, страшащиеся дайвинга, могут прокатиться для экскурсионном судне "Варасуб", оборудованном прозрачным дном, чрез которое взору откроются красоты коралловых рифов и проплывающие перед кораблем яркие рыбы. В окрестностях престижного кубинского курорта находятся уникальные пещеры Сатурна и Бельямар, привлекающие спелеологов со всей планеты, а любители природы могут отправиться в заповедник Сквер Хосоне и полюбоваться гигантскими кактусами. Источник: https://pangeya-travel.ru/
|
KennethHaw
Aug 02, 2019 at 07:01 am |
Всем привет! класный у вас сайт! Нашел класную базу кино: <a href=http://inspacefilm.ru/>лучшая космическая фантастика смотреть бесплатно</a> Тут: фэнтези фильмы смотреть бесплатно в хорошем качестве http://inspacefilm.ru/fentezi/ рейтинг 2019 Здесь: <a href=http://inspacefilm.ru/drama/>смотреть лучшие русские драмы</a> лучшие фильмы смотреть драмы список 2018 Здесь: <a href=http://inspacefilm.ru/dokumentalnyy/>смотреть лучшие документальные фильмы</a> смотреть бесплатно документальные фильмы лучшее список 2018 Здесь: http://inspacefilm.ru/12930-pohischenie-kidnap-2017.html <b> Смотреть Похищение / Kidnap (2017) онлайн бесплатно </b> Здесь: <a href=http://inspacefilm.ru/3674-levyy-bereg-linkeroever-left-bank-2008.html> Левый берег / Linkeroever / Left Bank (2008) онлайн </a> Смотреть Левый берег / Linkeroever / Left Bank (2008) онлайн бесплатно Тут: http://inspacefilm.ru/7765-premera-dublirovannogo-treylera-fantasticheskoy-chetverki.html
|
fzxyxs
Aug 02, 2019 at 10:10 pm |
viagra online doctor prescription http://canadian-pharmacyv.com <a href=http://canadian-pharmacyv.com>viagra sample</a>