Migrating Between Amazon Cloud Drives

This is a work in progress and may be updated.

I want to transfer a rather large amount of data between two different Amazon Cloud Drives for, ahem, reasons.

Get the rclone beta, I’m using v 1.36.

Authorize with the proxy server. Enter your creds on this site at your own risk.

Do this locally on your Mac/PC, once for each account, then copy the resulting config file ~/.rclone.conf to a server in the cloud.

ACD doesn’t support cloud-to-cloud copying, so you’ll have to download and re-upload everything. I’ll be doing this on a box with a 1 Gbit/s line.

These command options appear to work for me:

./rclone -vv --buffer-size=10G --acd-templink-threshold 0 --transfers 10 sync acd1:folder/ acd2:folder/

Some of the files appear to be in cold storage and need a couple of minutes to unfreeze, but rclone handles this just fine. In this first batch of transfers, rclone uses about 3GB of memory.

Larger files naturally transfer with less overhead and saturate the line at 700-900 Mbit/s. Smaller files slow down the process significantly, but running a copy of rclone for every top level folder with –transfers with a value of 10-30 each doesn’t appear to get rate limited too much, and with over 100 connections, I also get around 700Mbit/s for loads and loads of smaller files.

Update: Finished after a total of 3 days. Did a second and third run to make sure at least all file sizes match. Number of files and storage space reported by “Manage Storage” match 100%.

OVH Public Cloud Archive via scp/sftp/rsync

Hope this helps someone, as the official documentation is misleading.

When accessing OVH Public Cloud Archive via the scp/sftp/rsync gateway, the password is not a concatenation of tenant_name, username and password, but needs to have dots in between.

I think the safest way to get these values is to go to the panel, go to Cloud/Servers//OpenStack – add a new user for accessing pca, and click the wrench to “Downloading an Openstack configuration file”.

From that file, use OS_TENANT_NAME and OS_USERNAME, and the password you got when adding the user, join them with dots, and this should work:

scp filename [email protected]<region>.cloud.ovh.net:container/
password: OS_TENANT_NAME.OS_USERNAME.PASS

iOS 11: Opus Support in Podcast Feeds

iOS 11 comes with native playback support for the Opus audio codec inside the CAF container.

To generate files, use the afconvert tool on High Sierra.

afconvert input.wav -f caff -d opus -b 32000 output.caf

In Beta 1, there is no support for playing Opus in CAF files in Safari, but…

Podcasts.app supports Opus playback, if you claim the file is AAC, although it’s CAF containing Opus.

<enclosure url="http://example.com/test-48k.caf" length="51205493" type="audio/aac" />

For mono, speech-heavy podcasts, 48k is nearly transparent, 32k is very good, 16k is ok for a phone speaker and 8k has good, telephone-quality intelligibility.

Update: Here’s a test feed if you want to try it:
http://cdn.bitsundso.de/bitsundso/tmp/zPUQ2aSddX3wtTLd/feed.xml

Netzneutrale Alternative zu StreamOn

Bei Zero-Rating-Angeboten verlieren, wie bereits besprochen, alle: Der Anbieter, der Provider und der Kunde.

Folgende Alternative, bei der alle Beteiligten gewinnen, und die Netzneutralität gewahrt bleibt, würde ich vorschlagen:

Auf pass.telekom.de wird eine Option eingerichtet, die die Geschwindigkeit auf StreamOn-Niveau drosselt, also etwa 1,5Mbit/s. Und die Volumensberechnung wird damit auch eingestellt.

Damit lassen sich sehr viele Dienste im Internet vernünftig nutzen. Kein Anbieter muss sich dafür anmelden, das Netz der Telekom wird in gleicher Intensität wie von StreamOn-Nutzern genutzt, und Kunden können flexibel Tag für Tag entscheiden, ob sie lieber schnell oder ohne Volumensberechnung ins Netz möchten.

Als Incentive für Nutzer, teurere Verträge zu nutzen, würde das ebenso funktionieren. Nur in den teuren Tarifen, die jetzt StreamOn enthalten, würde es diesen Schalter geben.

O2 bietet ein ähnliches Modell an. Im O2 Free-Tarif wird zunächst das Inklusivvolumen des Vertrags bei voller Geschwindigkeit abgerechnet, danach wird nicht auf ISDN-Niveau gedrosselt, sondern auf 1Mbit/s. Außerdem wird der Zugriff auf das 3G-Netz beschränkt. LTE fällt dann weg.

Technisch machbar sind solche Modelle ohne Frage, z.B. wird bei der Telekom-Tochter Congstar der kostenlose “Messaging”-Tarif dauerhaft auf einen sehr geringe Geschwindigkeit gedrosselt. Sobald gezahlt wird, wird die Begrenzung auf einen anderen Wert gestellt und das gekaufte Volumen berechnet.

StreamOn auf der Telekom-Hauptversammlung

Thomas Lohninger hielt heute auf der Hauptversammlung eine Rede, die ich so zu 100% unterschreiben kann. Neben den bisher hier aufgeführten Gründen gegen StreamOn hier noch ein weiterer: Die Telekom schadet sich am Ende nur selbst damit.

Presseschau: StreamOn

Was ist in den letzten Tagen passiert? Diverse Publikationen haben sich der Geschichte angenommen, vor allem nach der eindringlichen Empfehlung der Verbraucherschützer, StreamOn zu untersagen.


Die ausführliche Begründung der Verbraucherzentrale ist sehr lesenswert und führt weitere Argumente gegen Zero-Rating-Angebote auf: Innovation wird erschwert, Kunden werden in teurere Mobilfunkverträge gedrängt.


Im Bezug auf meine Überlegungen, dieses Angebot von Anfang an zu boykottieren:


Auf Twitter beantwortet die Telekom kritische Nachfragen auf Kindergartenniveau: “Alles Quatsch” – ohne dass genau klar ist, auf welchen Teilaspekt genau eingegangen wird. Vielleicht ist alles, was sie da reden, tatsächlich Quatsch?


Vielleicht war die Idee, die Behauptung, niemand würde diskriminiert, zu überprüfen, doch nicht so schlecht. Denn selbstverständlich ist bitlove.org direkt abgelehnt worden. Wegen zu großer Offenheit? Wegen Download-Möglichkeiten? Werden grundsätzlich alle DRM-freien Angebote abgelehnt? Oder nur nach Tageslaune?

Downloads bei Netflix, Amazon Prime Video und Apple Music sind allerdings bei StreamOn zugelassen worden. Die Branchenriesen dürfen, der kleine Anbieter nicht. Das ist dann diskriminierend. Nur eben nicht für den Sprecher der Telekom. Der erklärt opportunistisch wie eh und je, dass das alles seine Richtigkeit hat.


Spotify fehlt wohl noch bei StreamOn, weil sie kostenlose und zahlende Nutzer trennen wollten. Da wollte die Telekom nicht mitspielen, und redet Spotify in ihre Geschäftsentscheidungen rein.


Die Stimmung bei den Kunden ist durch die “Endlich”-Kampagne allerdings schon vergiftet.

Der Backlash bei einem StreamOn-Verbot wird nämlich von den Mobilfunknutzern kommen, die bei den Anbietern auf unlimitiertes Streaming drängen werden.

“Endlich” StreamOn

Wir hatten bereits mehrfach in der Sendung über das Zero-Rating-Angebot der Telekom, StreamOn, gesprochen. Zunächst über die US-Version, BingeOn, und jetzt über das deutsche Pendant, das kürzlich mit einer relativ peinlichen Veranstaltung eingeführt wurde.

Es geht um Bits und so, ein Audio- und Video-Magazin, das ich seit über 10 Jahren betreibe. Die Telekom behauptet, sie würde kein Angebot diskriminieren, egal wie klein. Thomas Lohninger fordert bei netzpolitik.org, diese Behauptung durch die Anmeldung des eigenen Angebots zu überprüfen.

Das werde ich nicht tun, da die Anmeldung viele unkalkulierbare Risiken für den Anbieter birgt. Ganz abgesehen vom erneuten eklatanten Verstoß der Telekom gegen die Netzneutralität.

Unklarheiten

  • Fällt Bits und so unter die Audio- oder Video- oder unter beide Kategorien?

Der primäre Vertriebsweg für die Sendung ist als Podcast, sprich als RSS-Feed mit Enclosures. Daneben bieten wir aber zunehmend Video-Streams und potentiell künftig auch Downloads an, allerdings über die gleiche technische Grundlage, nämlich Apples HLS.

  • Was unterscheidet "Stream" und "Download"?

Sind Downloads ebenfalls von dem Angebot abgedeckt? HLS beispielsweise, wie es vermutlich größtenteils auch von Netflix und Konsorten, allerdings nicht von den Musik-Streamern genutzt wird, ist kein klassisches Streaming-Protokoll, sondern nutzt normale HTTP-Downloads von einzelnen Medien-Segmenten, die nacheinander abgespielt werden.
Damit ist ohnehin eine wirklich trennscharfe Unterscheidung der Zugriffe nicht möglich. Auch hier nutzen wir ein offenes Format, das z.B. auch in VLC abgespielt werden kann oder auf einem beliebigen Android-Smartphone, über dessen Player wir keine Kontrolle haben.

  • Wir kontrollieren die Großzahl der Clients nicht.

Podcasts sind als offenes Format nicht an eine bestimmte App gebunden, wie z.B. ein Streaming-Dienst wie Spotify. Was Clients in welcher Form mit den von uns bereitgestellten Podcast-Downloads anstellen, können wir nicht beeinflussen.

Risiken

Die AGB für StreamOn fordern unter anderem:

  • Jede Änderung an diesen Identifikationsmerkmalen muss der Telekom 4 Wochen im Vorhinein bekannt gegeben werden

Nein. Ich soll also für eine Änderung meiner Server, einer URL oder sonstiger Merkmale 4 Wochen abwarten? Das ist ja schlimmer als der Zertifikationsprozess für iPhone-Apps bei Apple.

  • Die Telekom kriegt Zugang zu allen Beta und vorab Versionen des Dienstes

Ebenfalls Nein.

  • Mache ich einen Fehler bei den Identifikationsmerkmalen, die über Zero-Rating oder nicht entscheiden, hafte ich für das fälschlich nicht berechnete Datenvolumen, das bei den Kunden nicht berechnet worden ist.

Eine kleine Fehlkonfiguration, und bis zu 50.000 Euro sind fällig. Nein.
Wie viel für ein falsch berechnetes Terabyte angesetzt wird, ist vorab nicht zu erfahren. Nach dem Kostenrechner in der Telekom Cloud verlangt die Telekom pro TB Traffic 64 Euro. Auf dem vermeintlich kostbareren Mobilfunknetz kann das anders aussehen.

Erpressbarkeit

Neben den genannten Unklarheiten und Risiken kommt aber noch das Grundproblem dazu, dass die Telekom erneut versucht, Anbieter und dessen Kunden gegeneinander auszuspielen.

StreamOn ist derzeit für den Anbieter und den Kunden kostenlos. Die Daumenschrauben werden vorsorglich schon einmal angelegt, aber noch nicht festgezogen.

In ein, zwei oder drei Jahren kann sich das ändern. Ich habe keine Versprechung gelesen, das Angebot würde auch dauerhaft gratis bleiben.

Schon am Tag der Ankündigung ließen sich Tweets wie dieser finden:

Kunden werden dazu bewegt, eher Dienste unter StreamOn zu nutzen, weil sie nicht gegen ihr Datenvolumen zählen. Tritt der Dienst dann unter dem Preisdruck des neuerdings kostenpflichtigen StreamOn-Dienstes dann aus, verliert er den Zugang zum Kunden, der sich dann eine Alternative sucht.

Umgekehrt kann sich die Telekom natürlich auch jederzeit überlegen, die Kunden für StreamOn zur Kasse zu bitten. Willste Netflix? Kostet 5 Euro extra bitte. Und da ist sie dahin, die Netzneutralität.

"Endlich"

Die Telekom verschleiert zunehmend, dass sie an dem ganzen Dilemma mit den künstlich knapp gehaltenen Datenvolumina selbst schuld ist. In der Einführungsveranstaltung für StreamOn wurde ein T-Azubi auf die Bühne gezerrt, der jammern sollte, wie schlimm es sei, wenn die SMS kommt, die die Drosselung auf Dialup-Geschwindigkeit ankündigt. Wer hat das denn in der Hand? Wer schickt denn diese SMS? Die Telekom selbst.

"Endlich" würde nur eine einzige Änderung rechtfertigen: Nämlich die Öffnung der Datenvolumina, und die Segmentierung der Preisstufen über die Geschwindigkeit der LTE-Verbindung. Ich bin mir absolut sicher, das Modell könnte wie in UK und Skandinavien hierzulande ebenso funktionieren, mit den gleichen oder besseren Umsätzen für die Anbieter. Das wäre ein "Endlich" wert. Die verlogene Beschwerde über die Drossel-SMS allerdings nicht.

Zero Rating verbieten!

Mich hätte aus Recherchegründen das Prozedere einer Anmeldung bei StreamOn als Anbieter interessiert, die Risiken und der erhebliche Aufwand, die Zeitverzögerung bei Änderungen an meinem Angebot sind es allerdings nicht wert. Ich möchte sogar der Forderung von Herrn Lohninger widersprechen: Kein Anbieter darf sich bei StreamOn anmelden, möchte er nicht über kurz oder lang von der Telekom erpresst werden. Die Politik und Bundesnetzagentur sind gefordert, Zero-Rating-Angebote umgehend zu verbieten.

Die Maus auf Band

Unser Hörer Andreas hat mich auf dieses einstündige Making-Of-Special von der Sendung mit der Maus hingewiesen:

http://www.ardmediathek.de/tv/Die-Sendung-mit-der-Maus/Die-Sendung-mit-der-Maus-Spezial-Wie-wi/Das-Erste/Video?bcastId=1458&documentId=42521062

Die Sendung mit der Maus hat natürlich einen besonderen Platz in meinem Herz: Als ich klein war, hatten wir nur einen Schwarzweiß-Fernseher, aber für die Sendung mit der Maus durfte ich zu den Nachbarn, um die Sendung auf dem Farbfernseher zu sehen. Und ich meine auch Janoschs Traumstunde, aber die Daten aus der Wikipedia wollen nicht so recht dazu passen.

Der Produktionsablauf, der gezeigt wird, fasziniert mich: Es wird zwar schon digital produziert, aber nur oberflächlich. Der Komponist faxt seine Noten zum digitalen Produzenten. Zwischen Redaktion, Produktion, Postproduktion, Finishing und Sender wird ein wilder Mix aus Bändern, DVDs und Sendebändern, die auf Disc daherkommen, hin- und hergetragen.

“Du kannst jetzt eine Kopie [von dem Sendeband] machen, für die Gebärdensprache-Version und die Untertitel” ist heute schon irgendwie ein bemerkenswerter Satz, wenn es dafür auch einen Server geben könnte.

Das einzige Element, das scheinbar ernsthaft digital existiert, sind die Maus-Animationen.

(Fast?) alle Rechner, die zu sehen sind, sind Macs von teilweise erheblichem Alter. Dicke 2010er iMacs, 2008er Mac Pros, eine Reihe von dicken MacBook Pros und ein einsamer 2013er Mac Pro beim Tonmeister, der auch nicht mehr weiß, warum er sich den angeschafft hat. Und natürlich läuft darauf Final Cut 7 forever.

Alles nicht wirklich überraschend, aber sehr interessant anzusehen. Wie hätte das Making-Of 1985 ausgesehen? Nicht viel anders, nur noch mit mehr echten Bändern.

Davinci Resolve 14

You can be this guy.

I previously praised Blackmagic Design for their ability to democratize video production on the hardware end, enabling live broadcast production at a cutthroat price.

Now they’re promising to do the same on the software side. They somehow shoehorned a full NLE into their acquisition, Davinci Resolve, a color editing suite. And they managed to somehow merge the recent acquisition, Fairlight Audio into Davinci Resolve as well, in just six months.

So, after that little love letter of a press announcement from NAB, they now have a fully featured video NLE, a non-music DAW, and color correction suite. Cross-platform on Mac, Windows, and Linux (!), with the light, yet very useful version being free (as in beer), and the full Studio version at $299, down from $999, matching FCP X’s pricing.

Now granted, this is still in beta, and Blackmagic doesn’t have the very best track record of shipping super stable products all the time, every time. But this just might be the missing link between the non-existing open source NLE and Audacity at the bottom free end, and the Mac-bound FCP X, and the subscription-ridden Premiere Pro. There even is a fair(light) chance that the DAW part could be a good fit for audio podcasting use.

They also announced collaboration features, a free server that can simply run on a workstation, and visual diffing of versioned timelines.

Mind. Blown.

Try the beta!