Mastodon

GoSƐ – A terascale file-uploader

GoSƐ is a modern and scalable file-uploader focusing on scalability and simplicity. It is a little hobby project I’ve been working on over the last weekends.

The only requirement for GoSƐ is a S3 storage backend which allows to it to scale horizontally without the need for additional databases or caches. Uploaded files a divided into equally sized chunks which are hashed with a MD5 digest in the browser for upload. This allows GoSƐ to skip chunks which already exist. Seamless resumption of interrupted uploads and storage savings are the consequence.

And either way both upload and downloads are always directed directly at the S3 server so GoSƐ only sees a few small HTTP requests instead of the bulk of the data. Behind the scenes, GoSƐ uses many of the more advanced S3 features like Multi-part Uploads and Pre-signed Requests to make this happen.

Users have a few options to select between multiple pre-configured S3 buckets/servers or enable browser & mail notifications about completed uploads. A customisable retention / expiration time for each upload is also selectable by the user and implemented by S3 life-cycle policies. Optionally, users can also opt-in to use an external service to shorten the URL of the uploaded file.

Currently a single concurrent upload of a single file is supported. Users can observe the progress via a table of details statistics, a progress-bar and a chart showing the current transfer speed.

GoSƐ aims at keeping its deployment simple and by bundling both front- & backend components in a single binary or Docker image. GoSƐ has been tested with AWS S3, Ceph’s RadosGW and Minio. Pre-built binaries and Docker images of GoSƐ are available for all major operating systems and architectures at the release page.

GoSƐ is open-source software licensed under the Apache 2.0 license.

Live Demo

Screencast

Features

  • De-duplication of uploaded files based on their content-hash
    • Uploads of existing files will complete in no-time without re-upload
  • S3 Multi-part uploads
    • Resumption of interrupted uploads
  • Drag & Drop of files
  • Browser notifications about failed & completed uploads
  • User-provided object expiration/retention time
  • Copy URL of uploaded file to clip-board
  • Detailed transfer statistics and progress-bar / chart
  • Installation via single binary or container
    • JS/HTML/CSS Frontend is bundled into binary
  • Scalable to multiple replicas
    • All state is kept in the S3 storage backend
    • No other database or cache is required
  • Direct up & download to Amazon S3 via presigned-URLs
    • Gose deployment does not see an significant traffic
  • UTF-8 filenames
  • Multiple user-selectable buckets / servers
  • Optional link shortening via an external service
  • Optional notification about new uploads via shoutrrr
    • Mail notifications to user-provided recipient
  • Cross-platform support:
    • Operating systems: Windows, macOS, Linux, BSD
    • Architectures: arm64, amd64, armv7, i386

Roadmap

I consider the current state of GoSƐ to be production ready. Its basic functionality is complete. However, there are still some ideas which I would like to work on in the future:

Also checkout the GitHub Issue Tracker for a detailed overview.

noteblok.{de,net,org,dn42}

noteblok2Dies ist das neue Logo und Name meines Blogs.

Bisher gab es hier nur wenige persönliche Beiträge. Da ich das auch so beibehalten möchte, habe ich mich entschlossen meinen Namen aus dem Titel zu streichen. Vielleicht findet so auch mal der ein oder andere Gastbeitrag seinen Weg hierher.

DomainsWorld_IPv6_launch_badge_256

Mit dem neuen Namen hat sich auch die Domain geändert. Der Blog ist nun erreichbar unter noteblok.{de,net,org,dn42}. Über meine persönliche Domain gelangt man nun direkt zu ein paar Infos über mich.

Neben den neuen Domains sind nun auch alle Websiten/Blogs über IPv6 erreichbar 🙂

dn42dn42

Zudem ist der Blog auf über des dn42 Darknet erreichbar. Das dn42 ist ein dezentrales und dynamisches VPN Netzwerk. Es besteht aus einem Verbund von Freiwilligen Admins, die jeweils Peer-to-Peer Verbindungen über VPNs herstellen. Es baut damit auf dem bestehenden Internet auf. Zudem nutzt das dn42 mit BGP das gleiche Routing Protokoll.

Mit ein paar Freunden betreiben wir (/dev/nulll) das Autonome System AS 76100 und unterhalten Verbindungen (engl. peerings) mit zur Zeit 5 anderen Knoten.

 

Schreibblockade?!

So, nun geht es auch hier wieder weiter! Nach 7 Monaten Pause neigt sich auch mein 3. Semester an der RWTH nun dem Ende entgegen und ich möchte hier wieder etwas regelmäßiger schreiben!

Dass es hier lange keine Beiträge gab, sollte nicht darauf schließen lassen, dass ich nichts zu berichten hatte 😉 In den vergangenen Monaten hat sich viel getan. Ich habe unter anderem an vzlogger und HIDeKey gewerkelt. Ab diesem Semester arbeite arbeite ich beim Institut für Mensch-Maschine-Interaktion. Dort betreue ich die Mikrocontroller-AG und das Praktikum Informatik 1. Den Blog habe ich mal etwas aufgeräumt nutze nun Amazon Cloudfront als CDN.

In den nächsten Beiträgen möchte ich euch Erlang, eine funktionale Sprache zur parallel Programmierung, vorstellen und über meine ersten Erfahrungen mit digitalen Schaltungsentwurf auf FPGA’s berichten.

ROCK YOUR LIFE! in Aachen

Über die Hälfte der Studierenden haben in ihrer Familie einen akademischen Hintergrund. Wir denken, dass auch sozial benachteiligte Schüler das  Recht haben, ihre Potentiale zu entfalten und Chancen zu nutzen!

Dabei wollen wir Hauptschüler durch individuelle Coachingbeziehungen mit Studenten unterstützen.

Unsere Vision ist eine Gesellschaft, in der

  • Bildungsgerechtigkeit,
  • soziale Mobilität und
  • Integration

Realität sind. Zusammen mit 9 weiteren Gründungsmitgliedern haben wir dazu den ROCK YOUR LIFE! Standort Aachen gegründet. Wir sind eingetragener Verein und Teil des Deutschland weiten Social Franchising Netzwerkes.

Wenn du Lust hast dich sozial zu engagieren, freuen wir uns dich bei einem unserer wöchentlichen Treffen am Mittwoch kennen zu lernen (aachen@rockyourlife.de). Wir suchen noch begeisterte Mitstreiter für die Organisation unseres Standortes.  Werde Teil der Bewegung und sei einer der Ersten in Aachen. Wir freuen uns auf dich 😉

Willst du nur auf dem Laufenden bleiben kannst du dich gerne in unseren Newsletter eintragen.

Twitter

Nun habe ich auch angefangen zu twittern – gehört sich ja eigentlich, bei meinem Namen 😉 Eigentlich mach ich es nur um nicht jeweils im StudiVZ und Facebook etwas zu posten zu müssen… Einige meiner Freunde haben auch keine Facebook (aus Prinzip?!).

tw