Gmail ruft Bilder vor, was zu geringfügig überhöhten Öffnungen führt

Die recent changes with Apple Mail - Schutz der Privatsphäre had us wondering – where else is prefetching happening? While false opens come as no huge surprise, we have additional details around the limited set of circumstances in which Gmail is prefetching images in emails sent to Gmail users. 

Der Gmail-Prefetch öffnet sich unter den folgenden Umständen:

1. Ein Google Mail-Empfänger ist bei der Google Mail-App (entweder im Web oder in der mobilen App) angemeldet und hat eine aktive Sitzung geöffnet.

2. Eine E-Mail wird an den Google Mail-Empfänger gesendet, während seine Sitzung aktiv/geöffnet ist.

3. In Google Mail werden alle Bilder unmittelbar vor der Anzeige der E-Mail in der Benutzeroberfläche vorgeladen.

4. This image prefetch is in addition to (and different from) Google Image Cache opens, which occurs when the user opens the email.

Die image prefetch only occurs when the user is logged into the Gmail application, comes from a Google IP address, and is requested using the following user-agent string:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.246 Mozilla/5.0

Bei der Untersuchung von Milliarden von Öffnungsereignissen können wir mit Sicherheit sagen, dass es sich bei diesen Öffnungen um falsche Öffnungen handelt, die nicht auf ein tatsächliches Öffnungsereignis des Nutzers hinweisen. Diese Öffnungsereignisse sind unabhängig und unterscheiden sich von nutzerinduzierten Öffnungsereignissen, die von Google Image Cache ausgelöst werden.

Auswirkungen von Gmail Prefetch

What are the implications of the false opens at Gmail? Thankfully, they are minor and nowhere near the Apple Mail Datenschutz Protection scale. 

In looking at over 9.8B Gmail recipient open events in December 2021, for most senders, we saw that false opens accounted for between 1-6% of open events. What this means is your open rate may be inflated by up to 2 percentage points. For example: If you currently have an overall open rate of 20% at Gmail, your correct open rate would be closer to 18%.  

Your specific false open rate may be significantly higher or lower than what we are reporting above. Because, the false opens are triggered based upon when users are using the Gmail application, your specific audience’s behavior and use-cases are the primary factors in how much you will be impacted by this anomaly.  

Erkennen und Ignorieren von vorgezogenen Öffnungen in Google Mail

For SparkPost senders, we have you covered. We have already updated our events API and event webhooks to automatically identify these Gmail Prefetch events using the neu eingeführt is_prefetched Flagge. We are also actively working to add the ability to distinguish prefetched and proxy opens in our Analytics Report UI and Metrics API. Stay tuned for future updates regarding the Report UI enhancements.

Für andere ist die Erkennung von Gmail Prefetch-Öffnungen immer noch relativ einfach. Für jedes Öffnungsereignis sollten Sie alle Öffnungsereignisse ignorieren (oder eindeutig kennzeichnen), die mit der folgenden User-Agent-Zeichenfolge übereinstimmen:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.246 Mozilla/5.0

We have been able to confirm that this string is unique to Google’s Prefetch Bot. 

Gmail Prefetch Detaillierte Analyse

As detailed above, Gmail prefetching only occurs in a limited set of circumstances. Prefetching does not occur with other mail clients. Instead, this behavior is specific to when a Gmail user has the Gmail app open within their web browser or is actively using the mobile app. Our best guess is that it’s a security scan before showing the email zum user in their browser.

Die vollständigen Kopfzeilen für die Bildanforderung sind unten aufgeführt. Ein paar Dinge werden Sie bemerken:

• The referer is set to http://mail.google.com. Interestingly, even though the user is on https://, Gmail still sets the referer zum http:// protocol when making the request. 

• Die Anfrage kommt von den Servern von Google Mail und nicht vom Browser des Nutzers. Die Client-IP wird immer zu einem Google-eigenen IP-Bereich aufgelöst.

• Im Gegensatz zu Google Image Cache lässt der User-Agent-String nicht erkennen, dass die Anfrage von einem Google-Bot stammt. Stattdessen sieht die User-Agent-Zeichenkette wie eine tatsächliche Bildanforderung eines Nutzers aus. Wir haben jedoch bestätigt, dass dieser User-Agent-String den Google Prefetch-Bot identifiziert.

• Die Öffnungsanfrage erfolgt innerhalb von Sekunden nach der Zustellung der E-Mail. Außerdem erfolgt die Anfrage, bevor die E-Mail in der Google Mail-Oberfläche des Benutzers erscheint. Dieses Verhalten legt die Vermutung nahe, dass die Anfrage Sicherheitszwecken dient.

• Der Prefetch scheint nur einmal pro ungelesenem Gmail-E-Mail-Thread zu erfolgen. Bei unseren umfangreichen Tests wurde nach dem Lesen einer Nachricht durch den Benutzer für alle weiteren E-Mails in dieser Thread-Gruppe keine Prefetch-Anforderung ausgelöst.

• Dieser Vorabruf ist von Google Image Cache getrennt. Unsere Tests zeigen, dass auch nach dem Vorabruf des Bildes eine separate Google Image Cache-Anfrage gestellt wird, wenn der Nutzer die E-Mail öffnet.

• Wenn ein Benutzer die mobile Google Mail-App geöffnet hat, wird der Prefetch für eine kurze Zeit fortgesetzt, auch nach dem Schließen der mobilen App.

Hier ist ein Beispiel dafür, wie die Anfrage-Header aussehen, wenn ein Bild vom Google Prefetch Bot angefordert wird:

  headers: {

    host: ‘{redacted}.m.pipedream.net’,

    ‘x-amzn-trace-id’: ‘Root={redacted}’,

    ‘accept-language’: ‘en-US’,

    referer: ‘http://mail.google.com/’,

    accept: ‘image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8’,

    from: ”,

    ‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.246 Mozilla/5.0’,

    ‘accept-encoding’: ‘gzip, deflate, br’

   },

   body: {},

   inferred_body_type: ‘FORM’,

   method: ‘GET’,

   url: ‘https://{redacted}.m.pipedream.net/header-1641a1.gif’,

   client_ip: ‘66.249.92.1’,

   query: {}

Wie bei Apples Mail Datenschutz Protection sollten Absender alle Öffnungsvorgänge mit Vorsicht behandeln. Öffnungen sind nur eine - und oft nicht die beste - der vielen Engagement-Metriken, die Absender überwachen und in ihre Entscheidungen über das Nutzerengagement einbeziehen sollten.