*real* fix for 403 problem

apparently, youtube shorts adds '8AEB', another working parameter might
be 'CgIQBg%3D%3D'. all this is untested and we just cargo-culted 8AEB.

it turns out, this
1) isn't a tcp problem, but just googlevideo blacklisting generated urls
   on second/third(ish) reload
2) was known by newpipe and invidious for half a year.

avoiding youtubei.googleapis.com was a red herring, too.

more unsorted information:
https://github.com/TeamNewPipe/NewPipe/issues/9038#issuecomment-1289756816
https://github.com/TeamNewPipe/NewPipeExtractor/pull/960
https://github.com/ytdl-org/youtube-dl/issues/30725
https://github.com/iv-org/invidious/commit/09b9b758dea2e9dc502ba497a34ae02cbb37ae46

NewPipeExtractor writes in YoutubeStreamExtractor.java @a4db106:
// Workaround getting streaming URLs which can return 403 HTTP response
// codes by using stories parameter for Android client requests
// This behavior only happen in certain countries such as UK as of
// 10.29.2022

fix tcp streams aborting

since updating the android parameters, downloading of streams would sometimes
stop. it seems to be correlated to pausing the video, probably the browser
stops further buffering and resuming the download then fails.

these parameters are taken from newpipe (sdk version, user agent, app version)

not sure if using the correct api key helps, but doing this now anyways.

interestingly, switching the api host name to youtubei.googleapis.com (which
is what supposedly the android app uses) reintroduces the stream bug.

increase usefulness of logging of deleted videos

fix bug in shorts detection logic

a  (potential) short was marked as False instead of None either of these situations:
- length < 60 and aspect_ratio is None
- length is None and aspect_ratio < 1

use flash close mark from BMP

replaces VERY HEAVY SALTIRE from the SMP with MULTIPLICATION X from the
BMP. the closer equivalent would have been HEAVY MULTIPLICATION X, but I
like the sleeker look. this was done for client compatibility;
especially mobile browsers lack the former glyph.

mark upcoming livestreams as 'SOON'

livestreams currently live and finished livestreams will show 'LIVE'.
the latter is a limitation of our collected data (at the time of
crawling, livestreams have no duration which we could show).

reddit: validate some parameters and use HTTPExceptions

improve error view of browse.channel slightly

load pinned/hidden state and button on search results and in playlists

use redirect.invidious.io instead of hard-coding a fallback-instance.

note that some instances provide a redirect feature; this would be cool
to have on redirect. or api.invidious.io, but it isn't.
  https://invidious.snopyta.org/redirect?referer=%2Fwatch%3Fv%3D{video_id}

removed from reddit completely (who even used that?).

remove invidious redirection from ?show=raw

not very useful (not understood by <video> tags), can't easily be
modified to work with redirect.invidious.io

split common.innertube into youtube.cards and browse.innertube

a few things that were used in both places (G, mkthumbs,
log_unknown_card) now live in common.common.

support attribution_link redirects

remove vertical white space after closing all flashes

use resolve_url endpoint for channel canonicalisation

one less seperate place we call into youtube's frontend apis

we now support:
  - /channel/ucid
  - /c/vanity
  - /user/username
  - /@handle
  - /brandname

according to https://support.google.com/youtube/answer/6180214?hl=en
vanity urls and usernames are legacy, brand urls aren't documented at
all.

subscription feed: filter shorts if the user enabled the 'noshorts' setting

videos are displayed iff either noshorts config is false or not a shorts
video, but pinning overrides hiding. if shorts are shown, they are
marked 'shorts' instead of the length.

[DATABASE CHANGE: Migration below] allow setting user settings from profile page

CREATE TABLE IF NOT EXISTS user_settings(
       user_id INTEGER,
       setting TEXT NOT NULL,
       value TEXT NOT NULL,
       PRIMARY KEY(user_id, setting),
       FOREIGN KEY(user_id) REFERENCES users(id));

video metadata: prefer videoDetails over microformat for length

this short was registered as 61seconds long, so our is_short detection
didn't catch it: b2cy9BvaaY4

fix dismissing multiple flash()es

previously, dismissing one also dismissed all below.

improve shorts detection

if only one of length>60 or aspect>1 is available we can rule out a
shorts video. previously, we marked this state as undetermiable (NULL).

[DATABASE CHANGE: Migration below] store is-shorts flag in subscriptions

this will allow us to filter shorts from the subscription feed.

ALTER TABLE videos ADD COLUMN shorts BOOLEAN DEFAULT NULL;

add heuristic whether a video is a 'youtube shorts'

this requires moving the aspect ratio calculation to common; takting
this opportunity to s/aspectr/aspect/ and simplyfying AR css.

support /live/ and /shorts/ when pasting full youtube URL

fix subscription button on fallback channel page

nsasession: log request json

innertube: fix some unsupported types

reel* is youtube shorts (meh.)

fix ignoring continuationItemRenderer

fix aspect ratio of unplayable video poster

fix json responses for scrambled streams

watch: show error when video urls are scrambled/cyphered

previously, we didn't show any error, and just displayed the poster
image without playback functionality. example video: dqRZDebPIGs

common/g_v_i: improve 18+ playablility

cargo-cults some additional parameters. the following ones are sometimes
included, but don't seem to have an effect:
        "user": {
            "lockedSafetyMode": False,
        },
        "playbackContext": {
            "contentPlaybackContext": {
                "html5Preference": "HTML5_PREF_WANTS",
            },
        },

https://github.com/yt-dlp/yt-dlp/pull/545
https://github.com/TeamNewPipe/NewPipeExtractor/pull/780

common/g_v_i: use parameters from yt-dlp

previously, we used a mix of invidious, newpipe, ytdlp,
zerodytrash/YouTube-Internal-Clients values for no particular reason.
this should get us less distinct (we still are using the wrong api key).

browse: make selected channel subpage and sort order bold

fix channels with small number of videos

channels with a very small amount of videos return a onResponseReceivedActions
array with just 1 element instead of two. normally, [1] has the videos, and [0]
has a feedFilterChipBarRenderer object, containing continuation tokens for
"Latest" and "Popular".

examples: UCx6cailiCkg_mlMM7JX5yfA and UCqqnIXYyT9t3as2ZBisN33g

reddit: handle youtube.com/live/<video_id> urls

browse: hack channel title back in

switch to yt-style protobuf for channel videos/livestreams/shorts

shorts only works in this format; page>=2 still broken

make first page of shorts work

google-provided continuation gives an error, even though our protobuf structure looks right

WIP: port channel videos+livestreams

browse: implement channel livesteams subpage

fix video playback

android parameters needed updating, most importantly adding androidSdkVersion and user agent.

support /live/ urls

browse/channels: prepare for livestreams, shorts

browse/channels: remove nonfunctional 'oldest' sorting

hackily implement @usernames

browse/channel: fix popular sorting

don't rely on the fallback to support most popular videos.

fix (un)pinning/(un)hiding

somehow, this code broke; possibly due to a flask change?

search: stub out "Latest Shorts from <username>" result groups

fix channel pages

youtube changed some stuff again.

see also: https://github.com/TeamNewPipe/NewPipeExtractor/pull/944

youtube: support /shorts urls

minimal version, just redirect to /watch

reddit: support shorts urls

fix pinning videos for python > 3.6

this worked on 3.6/rhel7, but doesn't on 3.9/rhel8

don't crash when encountering a new "View corrections" card

https://support.google.com/youtube/answer/57404?hl=en
https://www.theverge.com/2022/6/15/23168884/youtube-add-corrections-feature-annotations-creators?scrolla=5eb6d68b7fedc32c19ef33b4

allow selecting muxed video quality

listing all urls in the <video> element doesn't work (in firefox at
least), so only load highest resolution one by default. we can then just
override that choice when a &itag=XX is present.

move inline styles to blueprint sheet

use simple links instead of text-only form submit buttons

this was done in the past to preserve some url parts, but isn't
necessary now.

fix "agegate bypass failed" error message

TVHTML5* playabilityStatus has only {status, reason}

clean up new agegate bypass

port yt-dlp#3233 agegate bypass

the change in embedUrl was cargo-culted from there, no idea if needed.

encard parser: videoDuration might be absent

possibly removed from every VIDEO card, not investigated.

fix reddit length parsing

- allow first group to be a single digit (e.g. 9:07 or 1:31:26)
- fix obviously wrong labels (e.g. 20:59:00 => 20:59) that occur
  relatively often

remove fetch_xml call from browse/playlist

no need for this, since youtube now apparently returns this information
for us.

allow sorting by most popular for fallback route

make music mix playlists work

needs some cleanup

remove UC->UU playlist hack

doesn't work on youtube-proper; iirc just cargoculted from invidious

improve reddit video length matching

- strict xx:yy or xx:yy:zz format
- ignore hours if 00 (not 00 minutes)

remove 2nd no-url bailout again

this replaces 18bf5ede; the problem was that without url, the call to
urlparse() would fail. bailing out at this point however breaks
livestreams (and premieres). the real fix is of course to not check for
geolocking if there's no url.

only show 'SOON' badge if video hasn't premiered yet

note: during the livestream phase, the final video length time will
already be shown.

finally good /c/ and /user/ matching

don't look up both types of channels and return just one, but do the
correct lookup in the first place. no point in doing the fallback lookup
now that i'm fairly certain the lookup does the right thing.

note: using @app.route('/<any(user, c):typ>/<user>/') doesn't work,
probably because it then doesn't override the hardcoded rule in
youtube/.

get_video_info: bail out if no stream url is found

this was triggered relatively often by the websub-webhook (who doesn't
need the url anyways).

implement displaying 'youtube mixes' in /channel/.../playlists

ignore another advert search result

for youtubekids.com, when searchign for youtube kids

ignore hashtag related search results

includingResultsForRenderer is shown when searching e.g. for '#foo' to
also show results for 'foo'. hashtagTileRenderer is a link to
'/hashtag/<search_query>' telling you that there are X videos from X
channels about that topic.

ignore useless info message search result

happens when searching for a youtube url, e.g.
    /search?q=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dxxxxxxxxxxx

ignore another search result ad type

remove old commented out templating code

fix COURSE/"learning playlist" special-casing

this appears to no longer be needed. new test case (since the tomscott
playlist can't be searched for any more):
- PLRqwX-V7Uu6Zy51Q-x9tMWIv9cueOFTFA
  "Code! Programming with p5.js" by "The Coding Train"
- /search?q=The+Coding+Train&type=playlist
- /channel/UCvjgXvBlbQiydffZU7m1_aw/playlists

port videoid_from_thumbnail() to |G()

search results: only parse first itemSectionRenderer

no idea why i switched that around (no comment in eaa6b44 about it
either), so reverting that. let's us remove flatten() now.

don't throw 500 error when logging unknown card type

oops :D

port parse_channel_items() to |G()

and remove now obsolete listfind(), first(), findall()

don't break when video in /channel/ has no title

apparently, a gridVideoRenderer item can have no 'title' key.

found in the wild on:
- /channel/UChi1hV75qQtKOHatzOWKk5A/ (twice!)
- /channel/UC07djtPESgvXX0B1UFjW9jA/

hackily add back publish date to /watch

this is relatively hidden intentionally, since we don't want to
encourage too many requests to the show=meta endpoint.

expose additional metadata link in 'more actions' section

also emojifies invidious/youtube links there

fix reddit 'more' button

implement /watch?show=meta to get metadata removed from ANDROID api

prefer microformat.publishDate

applies to g_v_i(metaOnly). videoDetails.publishDate is "0" for premiere
videos.

remove rating and thumbs up/down, as that is now removed from the response

use correct published time for database when available

now, premiere videos are properly crawled_at=now(); published_at=soon()

[DATABASE CHANGE: Migration below] mark premiering videos with 'SOON' badge

their premiering date is now captured correctly, too.

ALTER TABLE videos ADD COLUMN premiere BOOLEAN DEFAULT 0;

handle missing averageRating

seems to be absent from responses now sometimes

try /c/ before /user/ when canonicalizing user names

especially for <instance_host>/<something>; this returned the wrong
channel, if there is both a /c/ and a /user/ with the same id.
example:
  c/BoyBoyProductions => UC_S45UpAYVuc0fYEcHN9BVQ (would be correct)
  user/BoyBoyProductions => UC2ct7L3mSnprF5o0GAWLzrg (this was selected)

tell the user to log in to view livestreams/geolocked videos, if applicable.

allow limiting proxy to authenticated users

g.proxy_on should be accessed through getattr(g, 'proxy_on', None).
This allows for the following states:
  True: proxy can be used
  False: proxy use is denied; try logging in
  None: proxy is disabled globally

expose reddit sort orders to users

ask for forgiveness when finding video_url

previously, this caused exceptions on utils.py pull, probably due to
scheduled videos, but haven't investigated that.

undo reddit continuation/pagination harmonisation

macros.pagination -> macros.more

hard-codes label text, removes obsolete direction marker

replace querystring_page() by jinja2 code inside the macro

removes handling of obsolete special cases and prev-page-handling. also
remove back button from subscriptions page, since nothing else uses that
feaure any more.
note: {% set _nil = ... %} simulates a {% do ... %} expression, which
isn't available by default in flask's jinja config.

allow linking to timestamps with macros.card; use it in reddit/