Fix bsky firehose - #1025
Conversation
…ous socket connection instead.
fe5c4a3 to
a9ac76a
Compare
|
|
||
|
|
||
| # Doesn't work when we need to do a full backup (because of storage saturation on a free railway account) | ||
| def subscribe_tap_railway(self, url: str, username: str = None, password: str = None) -> ClientConnection: |
There was a problem hiding this comment.
pas compris où et pourquoi ce code est utilisé
There was a problem hiding this comment.
Il n'est pas utilisé en effet, mais la doc de Bluesky de Tap proposait d'utiliser un outil (Railway) pour éviter d'avoir exéctuer Tap localement. Je rajoute le lien de leur doc à ce sujet. Tu penses que je devrais faire sauter cette commande quand même ?
| if cli_args.since: | ||
| cli_args.since = cli_args.since.replace(tzinfo=timezone.utc) | ||
| since_timestamp = int(cli_args.since.timestamp() * 1_000_000) | ||
| suffix += f"&cursor={since_timestamp}" |
There was a problem hiding this comment.
Prévoir d'afficher un warning voire d'envoyer bouler l'user quand le since_timestamp est au delà de 24h?
There was a problem hiding this comment.
En fait Bluesky est pas sévère au sujet de ce curseur. Si jamais il remonte au delà de 24h c'est ignoré et capé à 24h en amont (ce qui est bien pratique quand tu veux récupérer tout ce qui date du dernier jour sans avoir à écrire l'heure etc, un simple --since 2000 suffit :)). Par contre ça peut valoir le coup de proposer ce tips dans la doc
…pp_source + Added HTTP status code for Upstream failure in Bluesky
3 participants
minet bsky firehosecollect live Bluesky postsNeed this twitwi PR to be merged to actually work