bypass android rate limiting/ipban

this may or may not affect which metadata keys are returned.
invidious uses "CgIIAdgDAQ%3D%3D", ytdlp uses 'CgIIAQ=='. invidious'
parameter doesn't show view count, yt-dlp's does.

discovered here: https://github.com/LuanRT/YouTube.js/pull/624
invidious impl: https://github.com/iv-org/invidious/pull/4552
ytdlp commit: https://github.com/yt-dlp/yt-dlp/commit/e7b17fce14775bd2448695c8eb7379b8d31d3537

update youtube api calls to client version 18

same as yt-dlp: https://github.com/yt-dlp/yt-dlp/pull/9317

support ancient /v/<video_id> urls

these were used in the shockwave era; now they redirect to /watch.

fix inserting NULLs into videos table

* we set premiere to NULL instead of FALSE every time it was not a livestream
* ytshorts can't be livestreams of premiering videos (turns NULL->FALSE)

bypass eating disorder (and probably others) search results block

below the searchFrictionViewModel item is a infoPanelContentRenderer
item that shows a "Show anyway" searchEndpoint text link. this has
{params:8AEB} set to bypass this (sensible) warning and turns it into an
emergencyOneboxRenderer item, which serves results.

implement /feeds/videos.xml endpoint

navigating to youtube.com/feeds/videos.xml with an invidious redirection
addon enabled previously caused us to show a 404, making debugging very
inconvenient.

only do fallback_route('.channel') on video subpage

this is the only subpage the youtube.channel supports.

add link to youtube playlist from /watch

e.g. on /watch?v=6GWQBpvdC0c&list=PLJtitKU0CAehsdcybehbPFHObmWsKtQcY&index=1

search results: ignore community posts related entries

ignore searchFrictionViewModel

displays phone number of "Substance Abuse and Mental Health Services
Administration" or telefonseelsorge.de below "If you or someone you know
is having a hard time, talk to somebody today."

detect ip ban

this was in place for some time (when the test instance got banned).

note that this ban can't be bypassed with anti-captcha and the logic
for it doesn't anticipate that. you must remove your anti-captcha api
key from the config file!

note that during this time, invidious changed 'params' value of
get_video_info(); this was not in response to increased ip bans. we
still use the old value because it still works and the new one doesn't
return endcards.
c.f. https://github.com/iv-org/invidious/pull/4156

more aggressive sponsor blocking

now also including self-promotion. can sometimes feel a bit too jarring.

search: support new 'medium length' filter

support (hiding) youtube shorts everywhere

proper support for youtube shorts in search results, channel pages,
playlists, homepage/subscriptions - especially hiding them.

noshorts: always show videos with undeterminate shorts status

i.e, when shorts=NULL (can happen when we can't get metadata).
otherwise all videos during the metadata outage (e.g. ip blocked) won't
show.

add piped.video link to watch and error pages

using the legacy piped.kavin.rocks endpoint to avoid having to load
"3rd party" javascript/payloads, since both it and piped.video make api
calls to:
 - pipedapi.kavin.rocks
 - pipedproxy.kavin.rocks
 - pipedproxy-cdg.kavin.rocks

microformat published date is now a timestamp

this caused bugs when parsing the date. a timestamp was transformed into
e.g. 2023-10-12T12:00:00-07:00T00:00:00Z which dateutil (correctly)
rejects.

browse: fix removal of Filter list

hacky, but works.

protobuf: switch make_sp (search params) to new lib, cleanup old lib

minor change: extras was previously included even if empty, now isn't.

protobuf: replace make_playlist_params with new library

removes the large comment listing all the playlist types.

browse/protbuf: clean up new data structures

browse: replace make_channel_params with pyproto version

same semantics, cleanup follows.

vendor a modified and stipped down version of python-protobuf 0.0.1

- allow None in dict input (meaning "skip this field")
- replace custom exception with ValueError
- only support encoding from dict
- remove unused functions

browse: remove unused make_channel_params parameters page and v3

note that this removes the SearchOffset object from the "search"
subpage. stuff still seems to work, though.

browse: support shortened video age labels

surface n-sig throttling to ui

on watch?show=raw, this is treated as a fatal error.

watch: don't fail if itag specified on vevo scrambled video

browse/search: support gridVideoRenderer

use other 'params' value

8AEB is apparently used by shorts, and doesn't return viewCount. this
patch makes viewCount optional, but uses the other cargo-culted value
that does return viewCount (for now, at least).

*real* fix for 403 problem

apparently, youtube shorts adds '8AEB', another working parameter might
be 'CgIQBg%3D%3D'. all this is untested and we just cargo-culted 8AEB.

it turns out, this
1) isn't a tcp problem, but just googlevideo blacklisting generated urls
   on second/third(ish) reload
2) was known by newpipe and invidious for half a year.

avoiding youtubei.googleapis.com was a red herring, too.

more unsorted information:
https://github.com/TeamNewPipe/NewPipe/issues/9038#issuecomment-1289756816
https://github.com/TeamNewPipe/NewPipeExtractor/pull/960
https://github.com/ytdl-org/youtube-dl/issues/30725
https://github.com/iv-org/invidious/commit/09b9b758dea2e9dc502ba497a34ae02cbb37ae46

NewPipeExtractor writes in YoutubeStreamExtractor.java @a4db106:
// Workaround getting streaming URLs which can return 403 HTTP response
// codes by using stories parameter for Android client requests
// This behavior only happen in certain countries such as UK as of
// 10.29.2022

fix tcp streams aborting

since updating the android parameters, downloading of streams would sometimes
stop. it seems to be correlated to pausing the video, probably the browser
stops further buffering and resuming the download then fails.

these parameters are taken from newpipe (sdk version, user agent, app version)

not sure if using the correct api key helps, but doing this now anyways.

interestingly, switching the api host name to youtubei.googleapis.com (which
is what supposedly the android app uses) reintroduces the stream bug.

increase usefulness of logging of deleted videos

fix bug in shorts detection logic

a  (potential) short was marked as False instead of None either of these situations:
- length < 60 and aspect_ratio is None
- length is None and aspect_ratio < 1

use flash close mark from BMP

replaces VERY HEAVY SALTIRE from the SMP with MULTIPLICATION X from the
BMP. the closer equivalent would have been HEAVY MULTIPLICATION X, but I
like the sleeker look. this was done for client compatibility;
especially mobile browsers lack the former glyph.

mark upcoming livestreams as 'SOON'

livestreams currently live and finished livestreams will show 'LIVE'.
the latter is a limitation of our collected data (at the time of
crawling, livestreams have no duration which we could show).

reddit: validate some parameters and use HTTPExceptions

improve error view of browse.channel slightly

load pinned/hidden state and button on search results and in playlists

use redirect.invidious.io instead of hard-coding a fallback-instance.

note that some instances provide a redirect feature; this would be cool
to have on redirect. or api.invidious.io, but it isn't.
  https://invidious.snopyta.org/redirect?referer=%2Fwatch%3Fv%3D{video_id}

removed from reddit completely (who even used that?).

remove invidious redirection from ?show=raw

not very useful (not understood by <video> tags), can't easily be
modified to work with redirect.invidious.io

split common.innertube into youtube.cards and browse.innertube

a few things that were used in both places (G, mkthumbs,
log_unknown_card) now live in common.common.

support attribution_link redirects

remove vertical white space after closing all flashes

use resolve_url endpoint for channel canonicalisation

one less seperate place we call into youtube's frontend apis

we now support:
  - /channel/ucid
  - /c/vanity
  - /user/username
  - /@handle
  - /brandname

according to https://support.google.com/youtube/answer/6180214?hl=en
vanity urls and usernames are legacy, brand urls aren't documented at
all.

subscription feed: filter shorts if the user enabled the 'noshorts' setting

videos are displayed iff either noshorts config is false or not a shorts
video, but pinning overrides hiding. if shorts are shown, they are
marked 'shorts' instead of the length.

[DATABASE CHANGE: Migration below] allow setting user settings from profile page

CREATE TABLE IF NOT EXISTS user_settings(
       user_id INTEGER,
       setting TEXT NOT NULL,
       value TEXT NOT NULL,
       PRIMARY KEY(user_id, setting),
       FOREIGN KEY(user_id) REFERENCES users(id));

video metadata: prefer videoDetails over microformat for length

this short was registered as 61seconds long, so our is_short detection
didn't catch it: b2cy9BvaaY4

fix dismissing multiple flash()es

previously, dismissing one also dismissed all below.

improve shorts detection

if only one of length>60 or aspect>1 is available we can rule out a
shorts video. previously, we marked this state as undetermiable (NULL).

[DATABASE CHANGE: Migration below] store is-shorts flag in subscriptions

this will allow us to filter shorts from the subscription feed.

ALTER TABLE videos ADD COLUMN shorts BOOLEAN DEFAULT NULL;

add heuristic whether a video is a 'youtube shorts'

this requires moving the aspect ratio calculation to common; takting
this opportunity to s/aspectr/aspect/ and simplyfying AR css.

support /live/ and /shorts/ when pasting full youtube URL

fix subscription button on fallback channel page

nsasession: log request json

innertube: fix some unsupported types

reel* is youtube shorts (meh.)

fix ignoring continuationItemRenderer

fix aspect ratio of unplayable video poster

fix json responses for scrambled streams

watch: show error when video urls are scrambled/cyphered

previously, we didn't show any error, and just displayed the poster
image without playback functionality. example video: dqRZDebPIGs

common/g_v_i: improve 18+ playablility

cargo-cults some additional parameters. the following ones are sometimes
included, but don't seem to have an effect:
        "user": {
            "lockedSafetyMode": False,
        },
        "playbackContext": {
            "contentPlaybackContext": {
                "html5Preference": "HTML5_PREF_WANTS",
            },
        },

https://github.com/yt-dlp/yt-dlp/pull/545
https://github.com/TeamNewPipe/NewPipeExtractor/pull/780

common/g_v_i: use parameters from yt-dlp

previously, we used a mix of invidious, newpipe, ytdlp,
zerodytrash/YouTube-Internal-Clients values for no particular reason.
this should get us less distinct (we still are using the wrong api key).

browse: make selected channel subpage and sort order bold

fix channels with small number of videos

channels with a very small amount of videos return a onResponseReceivedActions
array with just 1 element instead of two. normally, [1] has the videos, and [0]
has a feedFilterChipBarRenderer object, containing continuation tokens for
"Latest" and "Popular".

examples: UCx6cailiCkg_mlMM7JX5yfA and UCqqnIXYyT9t3as2ZBisN33g

reddit: handle youtube.com/live/<video_id> urls

browse: hack channel title back in

switch to yt-style protobuf for channel videos/livestreams/shorts

shorts only works in this format; page>=2 still broken

make first page of shorts work

google-provided continuation gives an error, even though our protobuf structure looks right

WIP: port channel videos+livestreams

browse: implement channel livesteams subpage

fix video playback

android parameters needed updating, most importantly adding androidSdkVersion and user agent.

support /live/ urls

browse/channels: prepare for livestreams, shorts

browse/channels: remove nonfunctional 'oldest' sorting

hackily implement @usernames

browse/channel: fix popular sorting

don't rely on the fallback to support most popular videos.

fix (un)pinning/(un)hiding

somehow, this code broke; possibly due to a flask change?

search: stub out "Latest Shorts from <username>" result groups

fix channel pages

youtube changed some stuff again.

see also: https://github.com/TeamNewPipe/NewPipeExtractor/pull/944

youtube: support /shorts urls

minimal version, just redirect to /watch

reddit: support shorts urls

fix pinning videos for python > 3.6

this worked on 3.6/rhel7, but doesn't on 3.9/rhel8

don't crash when encountering a new "View corrections" card

https://support.google.com/youtube/answer/57404?hl=en
https://www.theverge.com/2022/6/15/23168884/youtube-add-corrections-feature-annotations-creators?scrolla=5eb6d68b7fedc32c19ef33b4

allow selecting muxed video quality

listing all urls in the <video> element doesn't work (in firefox at
least), so only load highest resolution one by default. we can then just
override that choice when a &itag=XX is present.

move inline styles to blueprint sheet

use simple links instead of text-only form submit buttons

this was done in the past to preserve some url parts, but isn't
necessary now.

fix "agegate bypass failed" error message

TVHTML5* playabilityStatus has only {status, reason}

clean up new agegate bypass

port yt-dlp#3233 agegate bypass

the change in embedUrl was cargo-culted from there, no idea if needed.

encard parser: videoDuration might be absent

possibly removed from every VIDEO card, not investigated.

fix reddit length parsing

- allow first group to be a single digit (e.g. 9:07 or 1:31:26)
- fix obviously wrong labels (e.g. 20:59:00 => 20:59) that occur
  relatively often

remove fetch_xml call from browse/playlist

no need for this, since youtube now apparently returns this information
for us.

allow sorting by most popular for fallback route

make music mix playlists work

needs some cleanup

remove UC->UU playlist hack

doesn't work on youtube-proper; iirc just cargoculted from invidious

improve reddit video length matching

- strict xx:yy or xx:yy:zz format
- ignore hours if 00 (not 00 minutes)

remove 2nd no-url bailout again

this replaces 18bf5ede; the problem was that without url, the call to
urlparse() would fail. bailing out at this point however breaks
livestreams (and premieres). the real fix is of course to not check for
geolocking if there's no url.

only show 'SOON' badge if video hasn't premiered yet

note: during the livestream phase, the final video length time will
already be shown.

finally good /c/ and /user/ matching

don't look up both types of channels and return just one, but do the
correct lookup in the first place. no point in doing the fallback lookup
now that i'm fairly certain the lookup does the right thing.

note: using @app.route('/<any(user, c):typ>/<user>/') doesn't work,
probably because it then doesn't override the hardcoded rule in
youtube/.

get_video_info: bail out if no stream url is found

this was triggered relatively often by the websub-webhook (who doesn't
need the url anyways).

implement displaying 'youtube mixes' in /channel/.../playlists