вопросы по программе (смотрят: 2)

[blfоx]

Пара вопросов/предложений появилось:

1. ведет ли программа на сервере статистику активности спам номеров ? Я к чему, когда я помечаю номер как нежелательный, он соответственно с отзывом сервером учитывается. После того как номер попадает в спам номера и программа начинает в активном режиме автоматически такой звонок отбивать, она ж уже не спрашивает меня -- спам это или нет... Так вот, она на сервер статистику о том, что мне звонили и номер был отбит -- отправляет ? Если нет, то получается, что после попадания в спам, о том что номер активный сервер не знает ? И получается, что спустя какое то время номер автоматически (по долгой неактивности) из спама пропадет ? Или это не так работает ?

2. Есть такой блокировщик рекламы Adblock/Ublock... И хорош он тем, что позволяет подключать свои спамлисты, которые могут создаваться не только автором и по алгоритмам программы, но и самим сообществом. А не реализовать ли подобный функционал (с возможностью подключения своих онлайн списков)... Например в опции черный/белый список... Например в белый список сообщество могло бы вносить организации. И кому надо чтобы из организаций к нему прозванивались, тот мог бы в своих настойках программы просто поставить галку -- добавить онлайн список по такому то URL в белый список. Естественно использование таких онлайн листов на свой страх и риск, как потребуется и создатель/модератор таких листов. То есть идея по сути как ваш глобальный онлайн список, но с возможностью чтоб:
1. само сообщество могло создавать и администрировать такие листы
2. возможно создание листов по категориям (организации, курьеры, банки, мошенники) и т.п.

И еще дополню:

3. Если в программе ввести возможность выбора города (в котором программа используется), то можно базу собранную с учетом регионов разбить на "региональные куски". Чем уменьшить объем базы и увеличить тем самым производительность. Понятно что мошенники будут звонить в любой регион (скажем так они будут универсальны), но вот рекламщики...

 

[JonIrenicus]

+1 за внешний список организаций, но, думаю, это в очень далёкой перспективе, т.к. требует очень большой работы хотя бы на уровне администрирования.

 

[zigumba]

1. ведет ли программа на сервере статистику активности спам номеров ? Я к чему, когда я помечаю номер как нежелательный, он соответственно с отзывом сервером учитывается. После того как номер попадает в спам номера и программа начинает в активном режиме автоматически такой звонок отбивать, она ж уже не спрашивает меня -- спам это или нет... Так вот, она на сервер статистику о том, что мне звонили и номер был отбит -- отправляет ? Если нет, то получается, что после попадания в спам, о том что номер активный сервер не знает ? И получается, что спустя какое то время номер автоматически (по долгой неактивности) из спама пропадет ? Или это не так работает ?

Да, информация о блокировке номера отправляется на сервер, учитывается и используется. Но сделано это очень осторожно, чтобы не нарушить анонимность пользователей. Информация о блокировке номера отправляется на сервер только в том случае, если этот номер уже занесен в общую базу Фильтра Звонков.

1. само сообщество могло создавать и администрировать такие листы
2. возможно создание листов по категориям (организации, курьеры, банки, мошенники) и т.п.

Это очень-очень интересно. Такие списки должны работать только онлайн? Этого будет достаточно. Офлайн накладывает много ограничений.

Чем уменьшить объем базы и увеличить тем самым производительность. Понятно что мошенники будут звонить в любой регион (скажем так они будут универсальны), но вот рекламщики...

Не очень понимаю как это должно работать. Например, для региона Урал мы вырезаем из базы Москвы. Спамеры из москвы прозвонятся.

 

[blfоx]

Да, информация о блокировке номера отправляется на сервер, учитывается и используется. Но сделано это очень осторожно, чтобы не нарушить анонимность пользователей. Информация о блокировке номера отправляется на сервер только в том случае, если этот номер уже занесен в общую базу Фильтра Звонков.



Это очень-очень интересно. Такие списки должны работать только онлайн? Этого будет достаточно. Офлайн накладывает много ограничений.


Не очень понимаю как это должно работать. Например, для региона Урал мы вырезаем из базы Москвы. Спамеры из москвы прозвонятся.

Смотрите, приложение отправляя стаистику по номеру на сервер (она же ведется) так же отправляет и регион в котором засветился прозвон с этого номера (регион можно просить указать в настройках программы у пользователя). И соответственно мы на этой основе можем скомпоновать уже на сервере базы по регионам.. То есть если мы видим что некие номера звонят в РАЗНЫЕ регионы -- этих добавляем во все регионы...
Но если мы видим что есть некоторые спамеры которые прозванивают только, к примеру МСК, СПБ, то не имеет смысл в каком нибудь Асбесте тащить в оффлайн этот список... Для Асбеста мы можем взять тех, кто прозванивает независимо от региона + Асбест (ну как пример).

 

[zigumba]

регион можно просить указать в настройках программы у пользователя

Нет необходимости, регион определяется по IP адресу пользователя.

И соответственно мы на этой основе можем скомпоновать уже на сервере базы по регионам

Я подозреваю, что большенство спамеров и мошенников не таргетируются по определенным регионам.

Например я видел номер, с которого идет спам о продаже квартир. Номер для всех регионов используется один и тот же, от региона зависит только проговариваемый роботом текст - квартиры в Москве, квартиры в Санкт-Петербурге, квартиры с Ставропое и так далее.

А мошенникам так совсем наплевать у жителя какого региона красть деньги.

Но в целом идея очень интересная, я сделаю анализ данных в ближайшее время.

 

[zigumba]

Смотрите, приложение отправляя стаистику по номеру на сервер (она же ведется) так же отправляет и регион в котором засветился прозвон с этого номера (регион можно просить указать в настройках программы у пользователя). И соответственно мы на этой основе можем скомпоновать уже на сервере базы по регионам.. То есть если мы видим что некие номера звонят в РАЗНЫЕ регионы -- этих добавляем во все регионы...
Но если мы видим что есть некоторые спамеры которые прозванивают только, к примеру МСК, СПБ, то не имеет смысл в каком нибудь Асбесте тащить в оффлайн этот список... Для Асбеста мы можем взять тех, кто прозванивает независимо от региона + Асбест (ну как пример).

Сделал анализ данных.

К сожалению, тут все упирается в производительность серверов. Каждый номер после добавления нового отзыва необходимо "пересчитывать", проверять регионы отзывов и записывать новые данные в базу. Количество отзывов в день сейчас может доходить до 500000. Плюс нужно иметь запас мощностей, плюс нужно обработать все существующие отзывы. Получается, что нужно производить примерно 15 пересчетов в секунду, каждый персчет это несколько запросов к разным огромным базам данных. Итого, чтобы это реализовать по очень приблизительной оценке, необходимо дополнитеьно арендовать серверов на 600-800 евро в месяц + их администрирование, итого 1000+ евро в месяц ежемесячно только для работы одной небольшой функции.

 

[kubik0]

Про разные регионы ясность внесли, а что с добавлением своих спамлистов? Ведь это интересная функция. Как вариант базы можно же хранить на устройстве и обновлять ручками, это забота пользователя будет, никак не разработчика.

 

[zigumba]

Про разные регионы ясность внесли, а что с добавлением своих спамлистов? Ведь это интересная функция. Как вариант базы можно же хранить на устройстве и обновлять ручками, это забота пользователя будет, никак не разработчика.

В каком виде Вы предлагаете хранить такие списки на устройстве? Честно говоря, пока не очень представляю это технически.

 

[MonbJIan]

С вашего позволения процитирую вопрос человека, который задал его на 4пда, тоже интересовала эта тема.

Есть вопрос.
Журнал Последние номера.
под каждым номером есть обозначение
- значок часы - дата - время
или
- значок wifi + дата - время
Я так понимаю, что если значок wifi, значит номер был проверен в он-лайн режиме по базе данных. А если часы - то по локальной базе, скаченной в телефон.
Можно подробнее осветить как эти значки понимать?
Например.
Куда первым делом обращается приложение в момент звонка? К локальной базе или к он-лайн?
Почему если номер не имеет отрицательных отзывов, нейтральный то есть, но в журнале я вижу (чаще всего)- часы? Разве не было попытки проверить его в он-лайн?
(wifi я вообще редко вижу в журнале)
Почему я вообще редко вижу в журнале wifi, не смотря на то, что телефон постоянно в интернет (по wifi или 4g, я не отключаю интернет совсем)? Что-то мешает приложению пойти в интернет в момент звонка?

 

[blfоx]

В каком виде Вы предлагаете хранить такие списки на устройстве? Честно говоря, пока не очень представляю это технически.

ну смотрите... В устройстве УЖЕ есть черный и белый локальный список (правильно же ?). Этот же список УЖЕ где то на устройстве хранится ? Хотелось бы иметь настройки внутри черного/белого списка, вместо номеров, указать, например:
List name: my new list
URL: http://mysite.ru/mylist.txt
Sync interval: 1 hour
----
соответственно каждый может создать такой список...
Обозвать его, например organisation.txt
там будет, да хоть в прямом виде список телефонов
А программа по Sync interval его подгружает и добавляет к черному/белому (локальному) списку еще и эти номера (в зависимости от того, в каком чреном или белом списке, мы прописали URL-список).
А дальше, дело за эентузиастами которые НА СВОИХ ресурсах могут создавать СВОИ параллельные списки/правила, и делиться ими с окружающими, администрировать их и т.п.
Это:
1. Разгрузит сервера ФЗ (т.к. списки физически могут где угодно находиться)
2. Позволит сообществу самому администрировать список
3. решит проблемы с категориями... То есть смотрите, допустим кто то будет вести список организаций (телефонов). Неважно Альфа, Тиньков, Ростелеком.. Но понятно что там организации... Этот список кому надо тот поключит к себе в белый список... Кому надо в черный... вот он получит полностью бокировку конкретной категории...
4. Те кто будет вести наиболее актуальные, популярные и наиболее востребованные списки (а это можно определять по частоте использования и отзывах) -- их можно поощрять =)
Вот как то так... То есть я предлагаю примерно как списке в блокировщиках рекламы (Ublock Origins/Adblock plus).

Более того, на некоторых моделях телефонов, есть свой функцинал черных/белых списков (Huawei/Xiaomi и т.п.), если программа не успевает обрабтать такой объем данных, можно же запихать эти данные в списки самого телефона (для тех моделей, которые это поддерживают). То есть опять же опция "использовать списки телефона" так же помогли бы разгрузить функционал программы (по сути программа будет только обновлять и наполнять эти списки.

 

[fufsusfuf]

Про разные регионы ясность внесли, а что с добавлением своих спамлистов? Ведь это интересная функция. Как вариант базы можно же хранить на устройстве и обновлять ручками, это забота пользователя будет, никак не разработчика.

Поддерживаю.
Удобно было бы переносить эти базы на новый аппарат или делится между пользователями.

 

[zigumba]

С вашего позволения процитирую вопрос человека, который задал его на 4пда, тоже интересовала эта тема.

Я отвечу на 4ПДА, иначе задавший вопрос не увидит ответ.

 

[zigumba]

А программа по Sync interval его подгружает и добавляет к черному/белому (локальному) списку еще и эти номера (в зависимости от того, в каком чреном или белом списке, мы прописали URL-список).
А дальше, дело за эентузиастами которые НА СВОИХ ресурсах могут создавать СВОИ параллельные списки/правила, и делиться ими с окружающими, администрировать их и т.п.

Не получится, все упирается в производительность телефона. В локальном черном списке может быть несколько десятков тысяч записей, не более. Если будет больше, ФЗ при входящем звонке не успеет выполнить поиск и звонок пройдет.

Для быстрого поиска база данных должна быть преобразована в специальный оптимизированный формат на сервере и уже потом загружена на телефон. В таком случае возможен поиск по миллионам записей очень быстро. Делать на телефоне это нельзя, слишком большая нагрузка на процессор, не все телефоны потянут. И будет выжираться аккумулятор.

Поэтому либо такие базы будут маленькими, что не имеет смысла. Либо их необходимо преобразовывать в нужный формат на наших серверах и она будет заменять основную базу (потому что искать по двум базам поочереди не хватит времени при звонке), что тоже не имеет смысла.

 

[zigumba]

Подобное можно сделать разработав какой-то простой открытый и оптимизированный формат хранения таких баз, но тут уж нужно отдельное приложение, в формат ФЗ никак не вписывается.

 

[blfоx]

Не получится, все упирается в производительность телефона. В локальном черном списке может быть несколько десятков тысяч записей, не более. Если будет больше, ФЗ при входящем звонке не успеет выполнить поиск и звонок пройдет.

Для быстрого поиска база данных должна быть преобразована в специальный оптимизированный формат на сервере и уже потом загружена на телефон. В таком случае возможен поиск по миллионам записей очень быстро. Делать на телефоне это нельзя, слишком большая нагрузка на процессор, не все телефоны потянут. И будет выжираться аккумулятор.

Поэтому либо такие базы будут маленькими, что не имеет смысла. Либо их необходимо преобразовывать в нужный формат на наших серверах и она будет заменять основную базу (потому что искать по двум базам поочереди не хватит времени при звонке), что тоже не имеет смысла.

Тогда если каким то образом мы на сервере сможем валидировать правильность выставленных категорий, разделить серверную базу на категории и позволить в программе выбирать для черного/белого РАЗНЫЕ категории, это будет идеальным решением.
Я просто хочу еще обратить внимание на такой момент:
Из звонков которые поступают есть звонки:
1. от компаний
2. реклама компаний
3. курьеры
4. мошенники
5. опросы
-----
так вот в нынешнем виде можно сказать что почти все эти категории (кроме 3) условно считают спамерскими. И в целом меня это устраивает.
Но. Надо понимать, что некоторым, например, действительно надо получать звонки от компаний (тинбков, сербанк и т.п.)
или опросы (оцените качество обслуживания) или например люди хотят чтоб все поступало КРОМЕ мошенников.
ногие как раз для блокировки именно мошенников ставят программу (а потом жалуются, что до них Ростелеком не дозвонился).
То есть, если мы сможем провести работу над точной категооризацией уже существующей базы и впоследствии возможностью в программе выбирать какие категории должны прозваниваться, а какие должны отбиваться -- то было бы идеальным решением (сферический конь в вакууме).

И еще момент. Я думаю было бы неплохо, предусмотреть для тех кто пользует программу в пассивном режиме кнопку "неверно указана категория (жалоба на блокировку)", которую можно сразу завести на наш форум в проверку списков =)

 

[zigumba]

Тогда если каким то образом мы на сервере сможем валидировать правильность выставленных категорий, разделить серверную базу на категории и позволить в программе выбирать для черного/белого РАЗНЫЕ категории, это будет идеальным решением.
Я просто хочу еще обратить внимание на такой момент:
Из звонков которые поступают есть звонки:
1. от компаний
2. реклама компаний
3. курьеры
4. мошенники
5. опросы
-----
так вот в нынешнем виде можно сказать что почти все эти категории (кроме 3) условно считают спамерскими. И в целом меня это устраивает.
Но. Надо понимать, что некоторым, например, действительно надо получать звонки от компаний (тинбков, сербанк и т.п.)
или опросы (оцените качество обслуживания) или например люди хотят чтоб все поступало КРОМЕ мошенников.
ногие как раз для блокировки именно мошенников ставят программу (а потом жалуются, что до них Ростелеком не дозвонился).
То есть, если мы сможем провести работу над точной категооризацией уже существующей базы и впоследствии возможностью в программе выбирать какие категории должны прозваниваться, а какие должны отбиваться -- то было бы идеальным решением (сферический конь в вакууме).

И еще момент. Я думаю было бы неплохо, предусмотреть для тех кто пользует программу в пассивном режиме кнопку "неверно указана категория (жалоба на блокировку)", которую можно сразу завести на наш форум в проверку списков =)

Валидировать правильность оценки - не представляю как. У банковских телефонов очень часто больше голосов что это мошенники например.
Поменять категоризацию, к сожалению, уже нельзя. Это пришлось бы переписывать половину серверного ПО.
Но дать возможность выбирать определенные категории для блокировки теоретически возможно.
Жалобы... сначала посмотрим как будет работать глобальный черный и белый списки. Если хорошо, можно будет мсделать и жалобы.

 

[ASteZ]

. сначала посмотрим как будет работать глобальный черный и белый списки.

Я уже вижу что по некоторым номерам согласия нет..
Я все же предлагаю уйти от boolean флага спам/не спам в базе к некоторому значению "вероятность спама" - со значениями от 0 до 100 - все равно это один байт.
И иметь настройку чувствительности - возможно с учётом категории.
Потому как кто то боится пропустить звонок своего банка, а кого то задолбали банковские маркетологи с их "выгодными" предложениями. И аналогично по остальным категориям

 

[Январь]

Возможно не в тему.
Но не нашел подходящей.
Взял планшет. С функцией звонков. Самсунг.
Как бы звонить не собираюсь. В самой системе нет запрета на звонки только от контактов.
Скачал ФЗ и там есть такая настройка. Что порадовало))))
Сейчас вот задумался. Другой функционал программы на планшете не требуется.
Вопрос, стоит ли покупать лицензию?
Или на планшете, при таком использовании она не потребуется.

 

[blfоx]

Возможно не в тему.
Но не нашел подходящей.
Взял планшет. С функцией звонков. Самсунг.
Как бы звонить не собираюсь. В самой системе нет запрета на звонки только от контактов.
Скачал ФЗ и там есть такая настройка. Что порадовало))))
Сейчас вот задумался. Другой функционал программы на планшете не требуется.
Вопрос, стоит ли покупать лицензию?
Или на планшете, при таком использовании она не потребуется.

не потребуется, но авторы от поддержки донатом я думаю не будут против

 

[JonIrenicus]

5. опросы
-----
так вот в нынешнем виде можно сказать что почти все эти категории (кроме 3) условно считают спамерскими

Так проблема в определениях. Например у меня отвалился инет, я позвонил в техподдержку, мне починили, после чего перезвонил автомат или человек, чтобы убедится в качестве проведённых работ. Это ОПРОС, но это НЕ НУЖНО блокировать, т.к. с помощью данного опроса улучшают качество данных услуг.