fix channels with small number of videos

channels with a very small amount of videos return a onResponseReceivedActions
array with just 1 element instead of two. normally, [1] has the videos, and [0]
has a feedFilterChipBarRenderer object, containing continuation tokens for
"Latest" and "Popular".

examples: UCx6cailiCkg_mlMM7JX5yfA and UCqqnIXYyT9t3as2ZBisN33g

reddit: handle youtube.com/live/<video_id> urls

browse: hack channel title back in

switch to yt-style protobuf for channel videos/livestreams/shorts

shorts only works in this format; page>=2 still broken

make first page of shorts work

google-provided continuation gives an error, even though our protobuf structure looks right

WIP: port channel videos+livestreams

browse: implement channel livesteams subpage

fix video playback

android parameters needed updating, most importantly adding androidSdkVersion and user agent.

support /live/ urls

browse/channels: prepare for livestreams, shorts

browse/channels: remove nonfunctional 'oldest' sorting

hackily implement @usernames

browse/channel: fix popular sorting

don't rely on the fallback to support most popular videos.

fix (un)pinning/(un)hiding

somehow, this code broke; possibly due to a flask change?

search: stub out "Latest Shorts from <username>" result groups

fix channel pages

youtube changed some stuff again.

see also: https://github.com/TeamNewPipe/NewPipeExtractor/pull/944

youtube: support /shorts urls

minimal version, just redirect to /watch

reddit: support shorts urls

fix pinning videos for python > 3.6

this worked on 3.6/rhel7, but doesn't on 3.9/rhel8

don't crash when encountering a new "View corrections" card

https://support.google.com/youtube/answer/57404?hl=en
https://www.theverge.com/2022/6/15/23168884/youtube-add-corrections-feature-annotations-creators?scrolla=5eb6d68b7fedc32c19ef33b4

allow selecting muxed video quality

listing all urls in the <video> element doesn't work (in firefox at
least), so only load highest resolution one by default. we can then just
override that choice when a &itag=XX is present.

move inline styles to blueprint sheet

use simple links instead of text-only form submit buttons

this was done in the past to preserve some url parts, but isn't
necessary now.

fix "agegate bypass failed" error message

TVHTML5* playabilityStatus has only {status, reason}

clean up new agegate bypass

port yt-dlp#3233 agegate bypass

the change in embedUrl was cargo-culted from there, no idea if needed.

encard parser: videoDuration might be absent

possibly removed from every VIDEO card, not investigated.

fix reddit length parsing

- allow first group to be a single digit (e.g. 9:07 or 1:31:26)
- fix obviously wrong labels (e.g. 20:59:00 => 20:59) that occur
  relatively often

remove fetch_xml call from browse/playlist

no need for this, since youtube now apparently returns this information
for us.

allow sorting by most popular for fallback route

make music mix playlists work

needs some cleanup

remove UC->UU playlist hack

doesn't work on youtube-proper; iirc just cargoculted from invidious

improve reddit video length matching

- strict xx:yy or xx:yy:zz format
- ignore hours if 00 (not 00 minutes)

remove 2nd no-url bailout again

this replaces 18bf5ede; the problem was that without url, the call to
urlparse() would fail. bailing out at this point however breaks
livestreams (and premieres). the real fix is of course to not check for
geolocking if there's no url.

only show 'SOON' badge if video hasn't premiered yet

note: during the livestream phase, the final video length time will
already be shown.

finally good /c/ and /user/ matching

don't look up both types of channels and return just one, but do the
correct lookup in the first place. no point in doing the fallback lookup
now that i'm fairly certain the lookup does the right thing.

note: using @app.route('/<any(user, c):typ>/<user>/') doesn't work,
probably because it then doesn't override the hardcoded rule in
youtube/.

get_video_info: bail out if no stream url is found

this was triggered relatively often by the websub-webhook (who doesn't
need the url anyways).

implement displaying 'youtube mixes' in /channel/.../playlists

ignore another advert search result

for youtubekids.com, when searchign for youtube kids

ignore hashtag related search results

includingResultsForRenderer is shown when searching e.g. for '#foo' to
also show results for 'foo'. hashtagTileRenderer is a link to
'/hashtag/<search_query>' telling you that there are X videos from X
channels about that topic.

ignore useless info message search result

happens when searching for a youtube url, e.g.
    /search?q=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dxxxxxxxxxxx

ignore another search result ad type

remove old commented out templating code

fix COURSE/"learning playlist" special-casing

this appears to no longer be needed. new test case (since the tomscott
playlist can't be searched for any more):
- PLRqwX-V7Uu6Zy51Q-x9tMWIv9cueOFTFA
  "Code! Programming with p5.js" by "The Coding Train"
- /search?q=The+Coding+Train&type=playlist
- /channel/UCvjgXvBlbQiydffZU7m1_aw/playlists

port videoid_from_thumbnail() to |G()

search results: only parse first itemSectionRenderer

no idea why i switched that around (no comment in eaa6b44 about it
either), so reverting that. let's us remove flatten() now.

don't throw 500 error when logging unknown card type

oops :D

port parse_channel_items() to |G()

and remove now obsolete listfind(), first(), findall()

don't break when video in /channel/ has no title

apparently, a gridVideoRenderer item can have no 'title' key.

found in the wild on:
- /channel/UChi1hV75qQtKOHatzOWKk5A/ (twice!)
- /channel/UC07djtPESgvXX0B1UFjW9jA/

hackily add back publish date to /watch

this is relatively hidden intentionally, since we don't want to
encourage too many requests to the show=meta endpoint.

expose additional metadata link in 'more actions' section

also emojifies invidious/youtube links there

fix reddit 'more' button

implement /watch?show=meta to get metadata removed from ANDROID api

prefer microformat.publishDate

applies to g_v_i(metaOnly). videoDetails.publishDate is "0" for premiere
videos.

remove rating and thumbs up/down, as that is now removed from the response

use correct published time for database when available

now, premiere videos are properly crawled_at=now(); published_at=soon()

[DATABASE CHANGE: Migration below] mark premiering videos with 'SOON' badge

their premiering date is now captured correctly, too.

ALTER TABLE videos ADD COLUMN premiere BOOLEAN DEFAULT 0;

handle missing averageRating

seems to be absent from responses now sometimes

try /c/ before /user/ when canonicalizing user names

especially for <instance_host>/<something>; this returned the wrong
channel, if there is both a /c/ and a /user/ with the same id.
example:
  c/BoyBoyProductions => UC_S45UpAYVuc0fYEcHN9BVQ (would be correct)
  user/BoyBoyProductions => UC2ct7L3mSnprF5o0GAWLzrg (this was selected)

tell the user to log in to view livestreams/geolocked videos, if applicable.

allow limiting proxy to authenticated users

g.proxy_on should be accessed through getattr(g, 'proxy_on', None).
This allows for the following states:
  True: proxy can be used
  False: proxy use is denied; try logging in
  None: proxy is disabled globally

expose reddit sort orders to users

ask for forgiveness when finding video_url

previously, this caused exceptions on utils.py pull, probably due to
scheduled videos, but haven't investigated that.

undo reddit continuation/pagination harmonisation

macros.pagination -> macros.more

hard-codes label text, removes obsolete direction marker

replace querystring_page() by jinja2 code inside the macro

removes handling of obsolete special cases and prev-page-handling. also
remove back button from subscriptions page, since nothing else uses that
feaure any more.
note: {% set _nil = ... %} simulates a {% do ... %} expression, which
isn't available by default in flask's jinja config.

allow linking to timestamps with macros.card; use it in reddit/

harmonize 'more' button between browse/* and reddit/

now only the subscription feed uses the special features of the
pagination macro. preparation for getting rid of this.

only show 'more' button on reddit

mimic recent changes in /browse/

port search to new api; use continuation tokens here too

allow specifying fetch_ajax() endpoint and make payload configurable

in preperation to move search to new api

add NO-URL error description

use continuation token instead of manually paginated results

this is how youtube does it, and this also works for channel?sort=oldest

improve makefile

commit database change to setup.sql

makefile: automatically generate hmac secrets for config.ini

describe what each module does in advance install section

enable proxy by default

listen on port 8080 by default to encourage reverse-proxying

update installation instructions

provide a semi-automatic install mechanism

use systemd timers instead of cronjobs

remove webhooks gunicorn

this is too much complexity for a default install. running webhooks
externally will still be supported (as that's what s.gir.st will
continue to do).

allow running setup.sql/guest.sql multiple times

[DATABASE CHANGE: Migration below] implement on-line user creation

ALTER TABLE users ADD COLUMN is_admin BOOLEAN DEFAULT 0;
UPDATE users SET is_admin = 1 WHERE name = "admin"; -- replace with your username

remove now unused cipher fetching code

now independent of jwz's youtubedown :^)

switch to ANDROID player API

provideds unthrottled and even unscrambled streams. we do have to give
up some metadata: category, availableCountries, infocards, published.

redirect thumnail urls

requests to these urls are probably caused by invidious-redirect
extensions.

take full youtube.com urls as path, and redirect accordingly

this version only handles redirections to /watch for now.

add method to allow downloading though yt-dlp

https://github.com/iv-org/invidious/pull/1730
https://github.com/yt-dlp/yt-dlp/commit/df0c81513e0bb37986d00c532a5ad8cef31a24ea

split stream_map.adaptive into *_video and *_audio

fix try_int() to actually return something

urgh.

avoid contacting innertube api when video id is obviously wrong

avoid int(request.args.get('page'))

this throws a ValueError when ?page=abc. the replacement returns a
default value, or None instead.

fix ?show=audio for unplayable videos

they might have metadata, but can still be UNPLAYABLE.

handle the case when we can't connect to googlevideo

note: we should also verify the ?mn param's contents

fix url extraction of non-embeddable livestreams

test id: 31NX4zpsKuI

allow /embed/ urls with final /

handle geolocked videos not available in the server's region

example video: cjPWJycHImg

make channel page sorting link(-ish) instead of a select box